Chez ILLUIN Technology, nous sommes ravis d’annoncer le lancement de CroissantLLM (1.3B), un modèle de langage (LLM) inédit, spécialement conçu pour répondre aux besoins des entreprises francophones. Ce modèle, open-source, léger et industrialisable, éthique et transparent marque une avancée significative dans l’univers de l’intelligence artificielle.

 

Une collaboration fructueuse pour l’innovation

CroissantLLM est le fruit d’une étroite collaboration entre les équipes d’ILLUIN Technology et le laboratoire MICS de CentraleSupélec. Cette synergie a permis de contribuer à l’état de l’art et l’open-source francophone, à l’heure où les entreprises de tous les secteurs ont besoin de solutions d’IA générative ouvertes et facilement manipulables au quotidien. “Ce nouveau modèle de langage répond non seulement aux attentes industrielles, mais il est aussi aligné avec nos valeurs d’ouverture, d’éthique, et de transparence“.

 

Un modèle respectueux de l’environnement

Dans un contexte où l’impact environnemental de la technologie devient une préoccupation majeure, CroissantLLM se distingue par sa légèreté. Ce modèle peut être déployé sans l’utilisation de GPUs, généralement très gourmands en énergie. Cette caractéristique reflète notre engagement envers une innovation technologique industrielle responsable, en phase avec les enjeux de sobriété énergétique. 🌿

 

Une innovation souveraine et éthique

CroissantLLM a été entraîné sur le calculateur Jean Zay, utilisant des données ouvertes et sourcées avec une transparence totale, en conformité avec les régulations du AI Act. Ce modèle incarne ainsi une innovation souveraine, trtansparente, éthique et responsable, un atout majeur pour les entreprises qui souhaitent intégrer des solutions d’IA générative en toute confiance.

 

Détails techniques de CroissantLLM

Voici ce qui rend CroissantLLM particulièrement adapté au contexte industriel :

• 🎯 1.3 milliards de paramètres : Un “petit” modèle idéal pour des applications industrielles.
• 📚 Multilingue : Pré-entraîné sur un mélange de français, d’anglais, et de code.
• 🏆 Performance : Le modèle francophone le plus performant pour sa taille, avec une performance équivalente à LLaMa-13B pour la traduction 🇫🇷 / 🇬🇧.
• 📱 Flexibilité : Fonctionne sur CPU et sur téléphone, ce qui permet une utilisation peu coûteuse en production.

 

Contributions académiques et ressources disponibles

Nous sommes fiers de partager nos avancées avec la communauté académique et industrielle :

• 🥐 CroissantLLM et ses nombreuses variantes sont publiés sous licence MIT, favorisant la réutilisation par la communauté académique.
• 📄 Le plus grand corpus de pré-entraînement en français existant à ce jour, couvrant de très nombreuses typologies de données toutes sous licences permissives.
• 📊 FrenchBench : Un benchmark d’évaluation de LLM de haute qualité sur des tâches industrielles d’intérêt, comprenant des jeux de données mis à disposition par ILLUIN Technology.

 

Accédez aux ressources

Pour en savoir plus et accéder aux ressources :

• Rapport technique
• Jeux de données et modèles
• Blog post

 

Remerciements

Ce projet n’aurait pas vu le jour sans l’immense travail des équipes de R&D, qui y ont contribué pendant de nombreux mois. Un grand merci à Manuel Faysse, Gautier Viaud, António Loison, Pierre Colombo, Celine Hudelot, Renaud Monnet, Paul-Henry Cournède, Robert VESOUL, Nuno Miguel Guerreiro, Patrick Fernandes ainsi qu’à l’Université Paris-Saclay. 👏