SH-LLM

Die lokale Ausführung von LLMs ist technisch anspruchsvoll. Sie erfordert spezielle Hardware, fundierte Kenntnisse der Systemintegration und Fachwissen im Bereich der Modellarchitektur, über die die meisten KMU nicht verfügen. Gleichzeitig wirft die Verwendung cloudbasierter LLMs ernsthafte Bedenken hinsichtlich Datenschutz und Vertraulichkeit auf – insbesondere beim Umgang mit sensiblen Daten oder bei der Arbeit unter strengen Vorschriften wie der DSGVO. Standard-APIs sind zudem teuer und für domänenspezifische Anwendungsfälle schlecht geeignet, sodass KMU keine praktischen, konformen oder kostengünstigen KI-Lösungen zur Verfügung stehen.

Das Projekt begegnet diesen Herausforderungen durch das lokale Hosting eines Open-Source-LLM (beginnend mit LLama und DeepSeek) auf fortiss-Hardware, wodurch eine vollständige Kontrolle über Daten und Infrastruktur ermöglicht wird. Diese Konfiguration ermöglicht das Experimentieren mit verschiedenen Modellen, Feinabstimmungsstrategien und Bereitstellungsarchitekturen, die auf die Bedürfnisse von KMU zugeschnitten sind.

• Möglichkeit, KMU-spezifische LLM-Workloads sicher auf fortiss-Hardware auszuführen, wodurch Datenschutz, Einhaltung gesetzlicher Vorschriften und vollständige Kontrolle über sensible Informationen gewährleistet sind
• Ein greifbarer Demonstrator: Ein realer Prototyp, der die Fähigkeiten eines selbst gehosteten, geschäftsorientierten LLM-Systems demonstriert, das für Engagement, Akquise und internes Lernen eingesetzt wird
• Grundlage für die Zusammenarbeit in der Industrie: Eine robuste technische und organisatorische Basis für zukünftige Industrieprojekte mit selbst gehosteter KI, die maßgeschneiderte Lösungen und langfristige Partnerschaften mit KMU ermöglicht

01.03.2025 - 30.06.2025