RAG-pohjaisen järjestelmän kustannuksia voi leikata 6-kertaiseksi suodattamalla tietoa
VentureBeatin analyysi ehdottaa RAG-järjestelmien arkkitehtuurin muutosta, jossa LLM-kutsuja vähennetään merkittävästi. Tämä voi leikata kustannuksia ja parantaa auditointikykyä.
VentureBeat esittää uudenlaisen lähestymistavan Retrieval Augmented Generation (RAG) -järjestelmien rakentamiseen, erityisesti säänneltyjä aloja varten. Perinteinen tapa reitittää kaikki tapaukset kielimallille (LLM) on kallis ja vaikeasti auditoitava. Uusi "kaskadiarkkitehtuuri" vähentää LLM-kutsujen tarvetta merkittävästi, leikaten kustannuksia jopa kuusinkertaisesti ja parantaen järjestelmän selitettävyyttä.
Analyysin mukaan yleisin RAG-järjestelmien arkkitehtuuri reitittää kaikki epäselvät tapaukset suoraan kielimallille. Tämä voi toimia demoympäristössä, mutta ei sovellu tilanteisiin, joissa päätösten on kestettävä tarkastelua pitkän ajan kuluttua. Suurin ongelma on auditoitavuus: pelkkä "malli päätti haetun kontekstin perusteella" ei riitä selitykseksi. Lisäksi kustannukset nousevat nopeasti skaalattaessa, kun suuri määrä tapauksia vaatii LLM-kutsun. Kolmas ongelma on mallin epäjohdonmukaisuus helppojen tapausten kohdalla, jotka tulisi ratkaista deterministisesti.
Kaskadiarkkitehtuuri ratkaisee nämä ongelmat asettamalla LLM:n eskalaatiopoluksi. Ensimmäinen vaihe on deterministinen: selkeät säännöt ja täsmäytökset ratkaistaan ilman mallia. Tämän vaiheen odotetaan hoitavan suurin osa tapauksista (usein yli puolet). Toinen vaihe hyödyntää hakua: tapauksiin, joita ei voitu ratkaista ensimmäisessä vaiheessa, haetaan relevanttia todistusaineistoa. Vasta kolmannessa vaiheessa ne tapaukset, joita edelliset vaiheet eivät pystyneet ratkaisemaan, ohjataan LLM:lle. Tämä vaihe näkee vain vähäisen osan tapauksista (noin 10-15%), mikä vähentää merkittävästi kustannuksia ja parantaa johdonmukaisuutta.
Lisäksi analyysi korostaa "epäsymmetrisen riskin" huomioimista kehotteiden suunnittelussa. LLM:lle tulee antaa ohjeet käsitellä epävarmuutta eskalaatiotekijänä ja ottaa huomioon eri virhetyyppien seuraukset. Tämä eroaa neutraalista kehotteesta, joka kohtelee kaikkia virheitä samanarvoisina. Myös arviointimetriikoita on mukautettava: haun ja lopullisen luokittelun laatua on mitattava erikseen, ja arviointijoukon on sisällettävä riittävästi vaikeita tapauksia.