VentureBeat julkaisee uuden avoimen lähdekoodin AI-reititysjärjestelmän
VentureBeat on julkaissut ACRouter-nimisen avoimen lähdekoodin kehyksen, joka reitittää pyyntöjä älykkäämmin eri tekoälymalleille, optimoiden kustannuksia ja suorituskykyä.
VentureBeat Software esitteli uuden avoimen lähdekoodin ohjelmistokehysnsä, Agent-as-a-Routerin, ja sen ensimmäisen toteutuksen, ACRouterin. Tämä järjestelmä on suunniteltu dynaamisesti ohjaamaan tekoälypyyntöjä sopivimmille malleille, pyrkien parantamaan kustannustehokkuutta ja nopeutta verrattuna aiempiin staattisiin menetelmiin.
Perinteiset mallien reititysjärjestelmät ovat usein staattisia, perustuen joko käsin määriteltyihin sääntöihin tai esikoulutettuihin malleihin, jotka eivät pysty sopeutumaan muuttuviin tilanteisiin tai oppimaan käyttöönoton aikana. ACRouter ratkaisee tämän ongelman hyödyntämällä Context-Action-Feedback (C-A-F) -silmukkaa. Tämä silmukka kerää tietoa mallien onnistumisista ja epäonnistumisista tehtävien suorittamisessa ja käyttää tätä palautetta parantaakseen tulevia reitityspäätöksiä.
Tutkimusten mukaan ACRouter ylitti staattiset reitittimet ja kalliiden, aina huippumallien käyttöön turvautuvien strategioiden suorituskyvyn merkittävästi. Testausten aikana se saavutti jopa 2,6 kertaa paremman kustannustehokkuuden verrattuna pelkästään tehokkaimpia malleja käyttäviin ratkaisuihin ilman tarvetta kouluttaa suuria malleja tai luoda monimutkaisia sääntöjä. Järjestelmä pystyy itsenäisesti optimoimaan toimintaansa yritysten tekoälyratkaisuissa.
ACRouter koostuu kolmesta ydinmoduulista: Orkestroija (Orchestrator) valitsee sopivan mallin, Vahvistaja (Verifier) arvioi mallin tuloksen ja Muisti (Memory) tallentaa palautetta tulevaa käyttöä varten. Tämän arkkitehtuurin tukena on työkalukerros, joka mahdollistaa todellisten suoritusympäristöjen, kuten koodin tulkkien, integroinnin palautteen keräämiseksi.