Anthropic-insinööri selittää Claude-mallin heikentyneen kirjoituskyvyn syitä
Anthropicin Claude-tekoälymallin kirjoituskyky on heikentynyt, koska sitä on koulutettu tuottamaan tekstiä muille tekoälymalleille sopivaksi, ei ihmisille.
Tekoälymallien kehitys matematiikan, ohjelmoinnin ja päättelyn saralla on ollut nopeaa, mutta kirjoituskyvyn osalta tulokset ovat jääneet jälkeen tai jopa heikentyneet. Anthropicin Claude-malli ei ole poikkeus.
Anthropicin Claude-mallin kehityksestä vastaava insinööri Jackson Kernion selitti 9. syyskuuta, että myöhempien malliversioiden optimoinnissa on keskitytty enemmän matemaattisiin ja koodaustaitoihin. Tämä on vaikuttanut mallin tekstintuottokykyyn.
Kernionin mukaan Claude-malleja on koulutettu laajasti tuottamaan teknisiä selityksiä muille tekoälymalleille. Tämä on johtanut "Claude-tyylin" kehittymiseen, jossa teksti on optimoitu tekoälyn ymmärrettäväksi, mutta voi vaikuttaa ihmislukijasta erikoiselta tai liian tiiviiltä.
"Mallit on säädetty sopimaan LLM-psykologiaan", Kernion kuvaili. Hän vertasi ilmiötä tilanteeseen, jossa vain autististen henkilöiden ryhmä kehittää oman sisäisen kommunikaatiotapansa, joka on tehokas ryhmän sisällä, mutta vaikeasti ymmärrettävä ulkopuolisille.
Kernionin mukaan ongelman ytimessä on vahvistusoppimisen palkitsemisjärjestelmä. Pyrkimys parantaa tekoälyn ymmärrystä voi johtaa siihen, että malli tuottaa tekstiä, joka on optimoitu toisten tekoälyjen tarpeisiin. Anthropic on kuitenkin löytänyt paremman tasapainon Opus 5.5 -versiossa, ja Kernion on tyytyväinen sen kirjoituskykyyn Opus 4.6:n jälkeen.