OpenGuard

OpenGuard ist ein Richtlinien-Framework, das benutzerdefinierte Regeln durchsetzt, um eine sichere Interaktion mit Large Language Models (LLMs) zu gewährleisten. Mit AgentGuard bietet OpenGuard zudem eine richtlinienbasierte Überwachung und Steuerung von KI-Agenten, um während der Ausführung regelkonformes Verhalten und nachvollziehbare Entscheidungen sicherzustellen.

Darüber hinaus verfügt OpenGuard über Hallucination Detection, eine Funktion zur Identifikation von Antworten, deren Inhalte von überprüfbaren Fakten oder der tatsächlichen Sachlage abweichen.

Der Hallucination-Checker kombiniert Beam Search Sampling (BSS) mit semantischer Konsistenzanalyse, um faktische Inkonsistenzen systematisch zu erkennen. BSS erzeugt mehrere Antwortkandidaten, die unterschiedliche plausible Antworten und die zugrunde liegende Vertrauensverteilung des Modells abbilden. Anschließend werden diese Antworten anhand ihrer semantischen Ähnlichkeit gruppiert und mithilfe von Natural Language Inference (NLI) auf Entailment- und Widerspruchsbeziehungen analysiert.

Zur Quantifizierung potenzieller Halluzinationen nutzt OpenGuard einen Bewertungsmechanismus, der Token-Wahrscheinlichkeiten mit semantischen Ähnlichkeitsmetriken kombiniert und so eine präzisere Einschätzung der faktischen Konsistenz ermöglicht. Falls Beam Search Sampling lediglich eine einzelne Antwort liefert, kommt zusätzlich ein Chain-of-Verification-(CoVe)-Mechanismus zum Einsatz, um die Selbstkonsistenzprüfung zu erweitern und die Zuverlässigkeit der Ergebnisse weiter zu erhöhen.

OpenGuard bietet damit einen strukturierten und nachvollziehbaren Ansatz zur Verbesserung der Vertrauenswürdigkeit von LLM-generierten Inhalten und unterstützt Organisationen dabei, KI-Anwendungen und KI-Agenten verantwortungsvoll, sicher und regelkonform einzusetzen.