RAG-Inferenzkosten 6-fach senken durch Datenfilterung vor LLM
Die Analyse von VentureBeat schlägt eine architektonische Änderung für RAG-Systeme vor, die LLM-Aufrufe erheblich reduziert. Dieser Ansatz kann Kosten senken und die Auditierbarkeit verbessern, indem deterministische und abrufbasiere Lösungen priorisiert werden.
VentureBeat stellt einen neuen Ansatz für den Aufbau von Retrieval Augmented Generation (RAG) -Systemen vor, insbesondere für regulierte Branchen, der die Kosten drastisch senkt und die Auditierbarkeit verbessert. Die herkömmliche Methode, alle mehrdeutigen Fälle direkt an ein großes Sprachmodell (LLM) weiterzuleiten, ist kostspielig und nach der Tatsache schwer zu überprüfen. Die vorgeschlagene „Kaskadenarchitektur“ zielt darauf ab, die meisten Fälle ohne LLM-Intervention zu lösen, wodurch die Inferenzkosten um das bis zu Sechsfache reduziert werden.
Die Analyse hebt hervor, dass eine gängige RAG-Architektur, bei der jeder mehrdeutige Fall an ein LLM gesendet wird, für Demos funktioniert, aber in Hochrisikoumgebungen, die eine langfristige Rechenschaftspflicht erfordern, versagt. Zu den Hauptproblemen gehören die Auditierbarkeit, da „das Modell basierend auf abgerufenen Kontexten entschieden hat“ keine ausreichende Erklärung ist. Die Kosten steigen ebenfalls schnell mit dem Volumen, wenn jeder Fall einen LLM-Aufruf erfordert. Darüber hinaus können LLMs bei geradlinigen Fällen, die deterministische Ergebnisse haben sollten, inkonsistent sein.
Die Kaskadenarchitektur löst dies, indem sie das LLM als Eskalationspfad nutzt. Stufe eins beinhaltet deterministische Methoden: Auflösung klarer Regeln und exakter Übereinstimmungen ohne jegliche Modellaufrufe. Diese Stufe wird voraussichtlich die Mehrheit der Fälle bearbeiten, oft mehr als die Hälfte. Stufe zwei nutzt die Abrufung: Für Fälle, die nicht deterministisch gelöst wurden, werden relevante Beweise abgerufen. Nur die verbleibenden Fälle, der tatsächliche Rückstand, den die Stufen eins und zwei nicht lösen konnten, werden in Stufe drei an das LLM gesendet. Diese letzte Stufe verarbeitet einen kleinen Teil der Fälle (etwa 10-15%), was die Kosten erheblich senkt und die Konsistenz verbessert.
Der Artikel betont auch die Gestaltung von Prompts für „asymmetrisches Risiko“, die das LLM anweisen, Unsicherheit als Grund für eine Eskalation zu behandeln und die Konsequenzen unterschiedlicher Fehlertypen explizit zu berücksichtigen. Dies steht im Gegensatz zu neutralen Prompts, die alle Fehler gleich behandeln. Auch die Bewertungsmetriken müssen angepasst werden, mit separaten Messungen für die Abrufqualität und die endgültige Klassifizierung sowie mit Auswertungsdatensätzen, die schwierige Fälle übermäßig berücksichtigen, die die endgültige LLM-Stufe erreichen.