[Konfetti]

Wie hat sich die MAIF mit einer optimalen MLOps-Infrastruktur ausgestattet, um ihre KI-Projekte zu skalieren?

Der Kontext, der Bedarf 📍

In einem sich ständig verändernden Umfeld ist die digitale Transformation ein unverzichtbarer Hebel für Unternehmen, die wettbewerbsfähig bleiben wollen. Die MAIF, ein wichtiger Akteur im französischen Versicherungswesen, hat diesen Wandel vollzogen, indem sie KI in ihre Dienstleistungen integriert hat, um das Kundenerlebnis zu verbessern und ihre internen Prozesse zu optimieren.

Angesichts der zunehmenden Verbreitung von KI in verschiedenen Anwendungsfällen – automatische Generierung von Antworten, Zusammenfassung von Telefongesprächen, Optimierung von Supportprozessen – ist eine neue Herausforderung entstanden: der Übergang vom Experimentieren zur Industrialisierung. Dieser Prozess umfasst die Skalierung von KI-Lösungen sowie die Integration robuster Tools für die Beobachtbarkeit (Überwachung, Alarmierung), Datensicherheit und Governance. Die MAIF hat außerdem die Notwendigkeit zum Ausdruck gebracht, eine „technische Überwachung” für MLOps- und LLM Ops-Praktiken zu strukturieren, indem On-Premise- und Cloud-Infrastrukturen über Azure kombiniert werden, um sowohl Flexibilität als auch die Einhaltung strenger regulatorischer Anforderungen zu gewährleisten.

Der umgesetzte Ansatz, die Lösung 🛠

Um diesen Herausforderungen zu begegnen, wurde unser Team gebeten, die MAIF bei der Industrialisierung ihrer KI-Lösungen und der Umsetzung eines soliden Ansatzes für MLOps (Machine Learning Operations) und LLM Ops (Large Language Model Operations) zu unterstützen. Damit werden zwei Ziele verfolgt: die Zuverlässigkeit der Forschungs- und Entwicklungspipelines zu erhöhen und gleichzeitig die schnelle Produktionsreife von KI-Lösungen zu erleichtern.

Wir haben einen hybriden Ansatz vorgeschlagen, der die Cloud (über Azure) und lokale Infrastrukturen kombiniert, um die Anforderungen an Sicherheit, Compliance und Leistung zu erfüllen. Die Integration von MLOps- und LLM Ops-Prozessen gewährleistet nicht nur die Reproduzierbarkeit von KI-Experimenten, sondern auch eine kontinuierliche Überwachung vom Entwurf bis zur Bereitstellung in der Produktion.

Wichtigste durchgeführte Aktivitäten ✅

Die Industrialisierung der KI-Dienste bei der MAIF erforderte die Implementierung zahlreicher technischer Lösungen und spezifischer Optimierungen.
Hier sind die wichtigsten durchgeführten Aktivitäten:

- Konsolidierung der KI-Teams: Wir haben die internen Kompetenzen in den Bereichen MLOps und LLM Ops gestärkt und geeignete Tools und Frameworks für ein besseres Modelllebenszyklusmanagement (Nachverfolgung, Bereitstellung, Überwachung) bereitgestellt.
- Integration von MLOps-Lösungen in F&E-Pipelines: Durch die Hinzufügung von Lösungen zur Nachverfolgung von Experimenten und zur Reproduzierbarkeit über MLflow konnten die KI-Entwicklungsprozesse strukturiert und gleichzeitig die Rückverfolgbarkeit von Daten und Modellen verbessert werden.
- Optimierung der KI-Pipelines: Wir haben die Leistung durch verteilte Berechnungen und Datenqualität optimiert und Echtzeit-Pipelines mit Apache Kafka integriert, um eine reibungslose Verarbeitung in großem Maßstab zu gewährleisten.
- Implementierung von Speicherlösungen: Einsatz von Feature Stores zur Zentralisierung von KI-Funktionen und zur Verbesserung des Zugriffs auf und der Nutzung von Daten während des gesamten Modelllebenszyklus.
- Bereitstellung und Überwachung von LLM: Die LLM wurden auf Azure mit Echtzeit-Überwachungslösungen bereitgestellt, die Anwendungsfälle wie die Generierung automatischer Antworten und die Zusammenfassung von Gesprächen abdecken, mit kontinuierlicher Überwachung, um Modellabweichungen (Drift) zu vermeiden.

Der technische Stack, die verwendeten Modelle 🤖

Die Ergebnisse, die erzielten Gewinne ✨

Die Ergebnisse dieser Zusammenarbeit mit der MAIF sind auf mehreren Ebenen spürbar und bringen unmittelbare Vorteile in Bezug auf die Leistungsfähigkeit und Zuverlässigkeit der KI-Lösungen.

📊 Zuverlässige und leistungsstarke KI-Lösungen in der Produktion

Durch die Integration vonKI-Lösungen in die Produktion konnten sowohl die internen Prozesse als auch der Kundenservice zuverlässiger gestaltet werden. Die Skalierung der Modelle über die Azure-Cloud und optimierte Pipelines haben die Leistung erheblich verbessert und gleichzeitig eine bessere Datenverwaltung gewährleistet.

🧑‍💻 Verbesserung der internen Kompetenzen und Selbstständigkeit

Dank der Konsolidierung der Teams und der Einführung bewährter Verfahren in MLOps und LLM Ops haben die Teams der MAIF ihre Kompetenzen im Bereich des Lebenszyklusmanagements von KI-Modellen ausgebaut. Dadurch sind sie nun in der Lage, ihre KI-Lösungen autonomer zu verwalten und weiterzuentwickeln.

👀 Beobachtbarkeit und Sicherheit von KI-Diensten

Durch die Implementierung von Tools zur Überwachung,Warnung und Sicherung der Modelle konnte die Leistung der KI-Lösungen kontinuierlich überwacht werden, wodurch Anomalien schnell erkannt und Modellabweichungen (Drift) verhindert werden konnten. Die Sicherung der Daten und Pipelines hat ebenfalls das Vertrauen in diese Systeme gestärkt.

Fazit

Die Industrialisierung der KI-Lösungen bei der MAIF hat es ermöglicht, das Experimentieren zu einem echten Wettbewerbsvorteil zu machen. Durch die Integration robuster, skalierbarer und sicherer Pipelines bei gleichzeitiger Einführung einer strengen Governance mittels MLOps- und LLM Ops-Praktiken positioniert sich die MAIF nun an der Spitze der KI-Innovation. Dank dieses Ansatzes ist das Unternehmen in der Lage, zukünftige Herausforderungen zu meistern und gleichzeitig operative Exzellenz und eine kontinuierliche Verbesserung der Dienstleistungen zu gewährleisten.