Wir bei ILLUIN Technology freuen uns, die EinfĂŒhrung von CroissantLLM (1.3B) bekannt zu geben, einem neuartigen Sprachmodell (LLM), das speziell auf die BedĂŒrfnisse französischsprachiger Unternehmen zugeschnitten ist. Dieses Open-Source-Modell ist leichtgewichtig, industrialisierbar, ethisch und transparent und stellt einen bedeutenden Fortschritt in der Welt der kĂŒnstlichen Intelligenz dar.
Eine fruchtbare Zusammenarbeit fĂŒr Innovation
CroissantLLM ist das Ergebnis einer engen Zusammenarbeit zwischen den Teams von ILLUIN Technology und dem MICS-Labor von CentraleSupĂ©lec. Diese Synergie hat dazu beigetragen, den Stand der Technik und die französischsprachige Open-Source-Software zu verbessern, zu einer Zeit, in der Unternehmen aller Branchen offene und im Alltag leicht zu handhabende Lösungen fĂŒr generative KI benötigen.âDieses neue Sprachmodell entspricht nicht nur den Erwartungen der Industrie, sondern steht auch im Einklang mit unseren Werten Offenheit, Ethik und Transparenz.â
Ein umweltfreundliches Modell
In einem Umfeld, in dem die Auswirkungen der Technologie auf die Umwelt zu einem wichtigen Thema werden, zeichnet sich CroissantLLM durch seine Leichtigkeit aus. Dieses Modell kann ohne den Einsatz von GPUs, die in der Regel sehr energieintensiv sind, eingesetzt werden. Diese Eigenschaft spiegelt unser Engagement fĂŒr verantwortungsvolle industrielle technologische Innovation wider, die im Einklang mit den Herausforderungen der Energieeffizienz steht. đż
Eine souverÀne und ethische Innovation
CroissantLLM wurde auf dem Rechner Jean Zay trainiert, wobei offene und vollstĂ€ndig transparente Daten verwendet wurden, die den Bestimmungen des AI Act entsprechen. Dieses Modell verkörpert somit eine souverĂ€ne, transparente, ethische und verantwortungsbewusste Innovation und ist ein groĂer Vorteil fĂŒr Unternehmen, die generative KI-Lösungen vertrauensvoll integrieren möchten.
Technische Details zu CroissantLLM
Folgendes macht CroissantLLM besonders geeignet fĂŒr den industriellen Kontext:
- đŻ 1,3 Milliarden Parameter: Ein âkleinesâ Modell, ideal fĂŒr industrielle Anwendungen.
- đ Mehrsprachig: Vorab trainiert mit einer Mischung aus Französisch, Englisch und Code.
- đ Leistung: Das leistungsstĂ€rkste französischsprachige Modell seiner GröĂe mit einer Leistung, die der von LLaMa-13B fĂŒr Ăbersetzungen đ«đ· / đŹđ§ entspricht.
- đ± FlexibilitĂ€t: LĂ€uft auf CPU und Telefon, was eine kostengĂŒnstige Nutzung in der Produktion ermöglicht.
Akademische BeitrĂ€ge und verfĂŒgbare Ressourcen
Wir sind stolz darauf, unsere Fortschritte mit der akademischen und industriellen Gemeinschaft zu teilen:
- đ„ CroissantLLM und seine zahlreichen Varianten werden unter der MIT-Lizenz veröffentlicht, wodurch die Wiederverwendung durch die akademische Gemeinschaft gefördert wird.
- đ Der bislang gröĂte Korpus fĂŒr das Vorabtraining in französischer Sprache, der zahlreiche Datentypen umfasst, die alle unter freizĂŒgigen Lizenzen stehen.
- đ FrenchBench: Ein Benchmark zur Bewertung hochwertiger LLM fĂŒr relevante industrielle Aufgaben, einschlieĂlich DatensĂ€tzen, die von ILLUIN Technology zur VerfĂŒgung gestellt werden.
Zugriff auf Ressourcen
Mehr erfahren und Zugang zu Ressourcen:
Danksagung
Dieses Projekt wĂ€re ohne die immense Arbeit der F&E-Teams, die viele Monate lang daran gearbeitet haben, nicht zustande gekommen. Ein groĂes Dankeschön an Manuel Faysse, Gautier Viaud, AntĂłnio Loison, Pierre Colombo, Celine Hudelot, Renaud Monnet, Paul-Henry CournĂšde, Robert VESOUL, Nuno Miguel Guerreiro, Patrick Fernandessowie andie UniversitĂ€t Paris-Saclay. đ
