Innodata Inc. gab bekannt, dass es ein Open-Source LLM Evaluation Toolkit zusammen mit einem Repository von 14 halbsynthetischen und von Menschen erstellten Evaluierungsdatensätzen veröffentlicht hat, die Unternehmen für die Evaluierung der Sicherheit ihrer Large Language Models (LLMs) im Kontext von Unternehmensaufgaben nutzen können. Mithilfe des Toolkits und der Datensätze können Datenwissenschaftler die Sicherheit der zugrundeliegenden LLMs automatisch und gleichzeitig für mehrere Schadenskategorien testen. Durch die Identifizierung der genauen Eingabebedingungen, die problematische Ausgaben erzeugen, können Entwickler verstehen, wie ihre KI-Systeme auf eine Vielzahl von Aufforderungen reagieren, und sie können die erforderliche Feinabstimmung identifizieren, um die Systeme auf die gewünschten Ergebnisse auszurichten.

Innodata ermutigt Entwickler von LLM-Systemen in Unternehmen, das Toolkit und die veröffentlichten Datensätze zunächst in unveränderter Form zu nutzen. Innodata geht davon aus, dass eine kommerzielle Version des Toolkits und umfangreichere, laufend aktualisierte Benchmarking-Datensätze noch in diesem Jahr zur Verfügung stehen werden. Zusammen mit der Veröffentlichung des Toolkits und der Datensätze hat Innodata die zugrundeliegende Forschung zu seinen Methoden für das Benchmarking von LLM-Sicherheit veröffentlicht.

In dem Papier stellt Innodata die reproduzierbaren Ergebnisse vor, die mit dem Toolkit zum Benchmarking von Llama2, Mistral, Gemma und GPT hinsichtlich Faktizität, Toxizität, Verzerrung und Halluzinationsneigung erzielt wurden.