En ILLUIN Technology, nos complace anunciar el lanzamiento de CroissantLLM (1.3B), un modelo de lenguaje (LLM) inédito, especialmente diseñado para responder a las necesidades de las empresas francófonas. Este modelo, de código abierto, ligero e industrializable, ético y transparente, supone un avance significativo en el mundo de la inteligencia artificial.
Una colaboración fructífera para la innovación
CroissantLLM es el resultado de una estrecha colaboración entre los equipos de ILLUIN Technology y el laboratorio MICS de CentraleSupélec. Esta sinergia ha permitido contribuir al estado actual de la técnica y al código abierto francófono, en un momento en el que las empresas de todos los sectores necesitan soluciones de IA generativa abiertas y fáciles de manejar en el día a día.«Este nuevo modelo de lenguaje no solo responde a las expectativas de la industria, sino que también está en consonancia con nuestros valores de apertura, ética y transparencia».
Un modelo respetuoso con el medio ambiente
En un contexto en el que el impacto medioambiental de la tecnología se está convirtiendo en una preocupación importante, CroissantLLM destaca por su ligereza. Este modelo puede implementarse sin necesidad de utilizar GPU, que suelen consumir mucha energía. Esta característica refleja nuestro compromiso con una innovación tecnológica industrial responsable, en consonancia con los retos de la eficiencia energética. 🌿
Una innovación soberana y ética
CroissantLLM se ha entrenado en el superordenador Jean Zay, utilizando datos abiertos y de origen totalmente transparente, de conformidad con la normativa de la Ley de IA. Este modelo encarna así una innovación soberana, transparente, ética y responsable, una ventaja importante para las empresas que desean integrar soluciones de IA generativa con total confianza.
Detalles técnicos de CroissantLLM
Esto es lo que hace que CroissantLLM sea especialmente adecuado para el contexto industrial:
- 🎯 1300 millones de parámetros: un modelo «pequeño» ideal para aplicaciones industriales.
- 📚 Multilingüe: Preentrenado en una mezcla de francés, inglés y código.
- 🏆 Rendimiento: el modelo francófono más eficaz para su tamaño, con un rendimiento equivalente al de LLaMa-13B para la traducción 🇫🇷 / 🇬🇧.
- 📱 Flexibilidad: funciona en CPU y en teléfonos, lo que permite un uso económico en producción.
Contribuciones académicas y recursos disponibles
Estamos orgullosos de compartir nuestros avances con la comunidad académica e industrial:
- 🥐 CroissantLLM y sus numerosas variantes se publican bajo licencia MIT, lo que favorece su reutilización por parte de la comunidad académica.
- 📄 El mayor corpus de preentrenamiento en francés existente hasta la fecha, que abarca una gran variedad de tipologías de datos, todos ellos bajo licencias permisivas.
- 📊 FrenchBench: un benchmark de evaluación de LLM de alta calidad en tareas industriales de interés, que incluye conjuntos de datos proporcionados por ILLUIN Technology.
Acceda a los recursos
Para obtener más información y acceder a los recursos:
Agradecimientos
Este proyecto no habría visto la luz sin el inmenso trabajo de los equipos de I+D, que han contribuido a él durante muchos meses. Muchas gracias a Manuel Faysse, Gautier Viaud, António Loison, Pierre Colombo, Celine Hudelot, Renaud Monnet, Paul-Henry Cournède, Robert VESOUL, Nuno Miguel Guerreiro, Patrick Fernandesy ala Universidad Paris-Saclay. 👏
