Programuotojų laukia pokyčiai: nemokamo dirbtinio intelekto era baigiasi, o sąskaitas didina viena priežastis

Dirbtinio intelekto pagalbininkai programavimui per pastaruosius metus tapo įprastu įrankiu. Tačiau kartu vis garsiau kalbama apie tai, kad jų palaikymas kainuoja gerokai daugiau, nei daugelis vartotojų įsivaizdavo. 

Kad suprastume, iš kur atsiranda šios sąskaitos, pirmiausia reikia suvokti, kas yra žetonas ir kaip veikia šiuolaikiniai modeliai.

Kas yra žetonas?

Žetonas – tai žodis arba jo dalis, taip pat tarpai, skyrybos ženklai ar programavimo simboliai. Pavyzdžiui, sakinyje „katė sėdėjo ant kilimo“ modelis gali atskirti ne tik žodžius, bet ir tarpus tarp jų kaip atskirus žetonus. Kinų rašmenys ar sudėtingesni simboliai taip pat gali būti suskaidyti į kelis žetonus.

Kiekvienas žetonas paverčiamas į skaitinį vektorių – vadinamąją įterptį. Ji atspindi žodžio reikšmę ir ryšį su kitais žodžiais. Šis žingsnis yra išmokstamas treniruojant konkretų modelį, tačiau pats žetonų rinkinys – taip vadinamas „tokenizatorius“ – yra techninis sprendimas, nusprendžiantis, kaip tekstas bus skaidomas.

Kodėl tai taip brangu?

Didžiausia kaina kyla ne iš pačių žetonų, o iš to, kaip modeliai su jais dirba. Dabartiniai didieji kalbos modeliai yra auto-regresiniai: jie kiekviename žingsnyje paima visą iki tol matytą tekstą, priima sprendimą ir sugeneruoja tik vieną naują žetoną. Tada visas tekstas, įskaitant naują žetoną, vėl siunčiamas per tinklą.

Žmogus atsakydamas į klausimą neperskaito visos ankstesnės pokalbio istorijos nuo nulio. DI modeliai taip nedaro – kiekvienam naujam žingsniui jie peržiūri visą kontekstą. Nors pasitelkiami tarpinių skaičiavimų talpyklos (vadinamas KV kaupimas), didelė dalis darbo vis tiek kartojama.

Kaina skaičiuojama pagal įvesties ir išvesties žetonų skaičių. Dabartiniai paslaugų teikėjai dažnai ima kelis eurus už 1 000 000 įvesties žetonų ir kelis kartus daugiau už 1 000 000 išvesties žetonų. Skamba nedaug, kol nesupranti, kad vienas sudėtingesnis seansas gali sunaudoti šimtus tūkstančių žetonų.

Agentai ir programavimo pagalbininkai

Didžiausias išlaidų augimas matomas vadinamuosiuose agentiniuose programavimo įrankiuose, pavyzdžiui, „GitHub Copilot“. Skirtingai nuo paprasto pokalbio roboto, agentas turi prieigą prie failų sistemos ir gali pats nuskaityti, keisti bei kurti failus.

Pavyzdžiui, paprastas prašymas „surask klaidą autentifikacijos kode ir ją pataisyk“ verčia agentą kelis kartus: priimti užklausą, sugeneruoti „mintis“, paprašyti nuskaityti failą, perskaityti tūkstančių žetonų ilgio failą, vėl mąstyti, prašyti kito failo, galiausiai sukurti pataisų rinkinį ir parašyti paaiškinimą vartotojui.

Kiekviename žingsnyje į kontekstą sugrįžta ne tik nauja informacija, bet ir viskas, kas buvo anksčiau: pradinė užklausa, sistema nurodymai, visi perskaityti failai ir ankstesnės „mintys“. Taip vienas, atrodytų, nedidelis pataisymas gali išbrinkti iki 50 000 ar net daugiau žetonų.

Nenuostabu, kad kai kurie tiekėjai pereina nuo fiksuoto mėnesinio mokesčio prie atsiskaitymo už žetonus. Subsidijuotas „kiek nori, tiek naudok“ etapas baigiasi, o įmonėms tenka rimtai skaičiuoti, ar agentiniai įrankiai iš tiesų atsiperka.

Realistiškesnis naudojimas greičiausiai bus mišrus: greitos, trumpos užklausos, kodo užbaigimas ir tik retais atvejais – ilgi agentų seansai, kai akivaizdu, kad sutaupytas programuotojo laikas viršys žetonų kainą eurais.