Studie: Große Sprachmodelle erinnern sich besser als zunächst angenommen
Neue Forschungsergebnisse zeigen, dass fortgeschrittene Sprachmodelle die meisten Fakten kodieren, aber Schwierigkeiten beim Abruf haben. Die Verbesserung der Denkfähigkeiten von Modellen kann die Zuverlässigkeit erhöhen.
Forscher von Google Research und Technion haben festgestellt, dass große Sprachmodelle (LLMs), darunter auch Spitzenmodelle wie GPT-5 und Gemini-3, 95-98 % der getesteten Fakten kodieren. Dieses Wissen ist parametrisch gespeichert, aber oft nicht in der Lage, während der Generierung an die Oberfläche zu gelangen.
Traditionell wurden LLM-Fehler wie Halluzinationen fehlendem Wissen zugeschrieben, was zu Bemühungen führte, die Modellgröße oder Trainingsdaten zu erhöhen. Die neue Studie legt jedoch nahe, dass die primäre Engstelle der Abruf von Informationen und nicht deren Fehlen ist.
Die Forschung stellt "Knowledge Profiling" vor, eine Methode zur Bewertung des Wissens eines Modells über einzelne Fakten unter verschiedenen Bedingungen. Dies unterscheidet zwischen Informationen, die "kodiert" (in Parametern gespeichert) und "bekannt" (zuverlässig abrufbar) sind. Modelle können bis zu 40-65 % der Fakten, die sie zunächst nicht direkt abrufen können, wiederherstellen, wenn sie zusätzliche Rechenzeit zum "Nachdenken" über den Prozess erhalten.
Dieser Abruf durch "Nachdenken", auch als "Recall Facilitation" bezeichnet, kann die Notwendigkeit für immer größere Modelle oder externe Datenbanken verringern. Die Studie zeigt, dass eine einfache Vergrößerung der Modellgröße das Zugriffsproblem nicht automatisch löst und die Herausforderung des Abrufs von Informationen aus einem riesigen Datensatz sogar verschärfen kann.