Writerin tekoälyjärjestelmä vähentää kulutusta lähes 40 %
Yritys Writer esittelee uuden tavan vähentää tekoälyn token-kulutusta jopa 38 % muuttamatta perustavanlaatuista tekoälymallia, mikä alentaa kustannuksia merkittävästi.
Yritys Writer on esitellyt uuden lähestymistavan tekoälyjärjestelmien kustannusten hallintaan. Tutkimus osoittaa, että tekoäly "harnessin" eli orkestrointikerroksen optimointi voi vähentää tokenien käyttöä tehtävää kohden jopa 38 %, mikä johtaa kustannussäästöihin jopa 61 % onnistunutta tehtävää kohden. Tämä saavutetaan ilman perustavanlaatuisen tekoälymallin muokkaamista.
Perinteisesti yritykset ovat pyrkineet alentamaan tekoälyn käyttökustannuksia lisäämällä laskentatehoa tai turvautumalla "tokenmaxxingiin", eli massiivisen konteksti-ikkunan käyttämiseen ja suurten token-määrien kuluttamiseen hyvän järjestelmäsuunnittelun sijaan. Writerin tutkimus keskittyy orkestrointikerrokseen, joka hallinnoi perustavanlaatuisten mallien toimintaa, ja osoittaa, että sen optimointi on avainasemassa kustannustehokkuuden parantamisessa.
"Tiimit käyttävät suuria token-määriä, koska se on hetkellisesti halvin korjaus ja koska useimmat insinöörit työskentelevät nykyään niin", sanoi Writerin toimitusjohtaja Waseem AlShikh. Hän korosti, että per-token-hintojen lasku voi peittää alleen tehottomuuden, sillä token-per-tehtävä -kulutus voi kasvaa merkittävästi monimutkaisissa agenttisovelluksissa.
Optimoinnin keskeisiä keinoja ovat järjestelmäkehotteen välimuistiin tallentaminen, vuorovaikutushistorian tiivistäminen, työkalujen hallinta, tiedonhakustrategiat ja virheidenhallinta. Nämä tekijät ovat insinööritiimien helposti hyödynnettävissä parantamaan tekoälyn suorituskykyä ja pienentämään kustannuksia. Writerin tutkimus korostaa, että harnessin tulee olla ohjelmistokehityksen ensisijainen kohde, ei enää pelkkä API-yhteys käyttöliittymään.
Writerin tutkijat testasivat optimoitua harnessiaan kuudella eri perustavanlaatuisella mallilla, mukaan lukien omat mallinsa. Vertailu paljasti, että optimoitu harness vähensi keskimääräisen tehtävän kustannuksen 41 %:lla (21 sentistä 12 senttiin) ja token-kulutuksen 38 %:lla (14,2k tokenista 8,8k tokeniin) ilman, että tehtävien suorituskyky kärsi.