Mokydamiesi naujos kalbos dažnai susiduriame su sunkumais tiksliai suprasti tam tikrų žodžių ar posakių prasmę. Tai ypač pastebima tada, kai jų vartojimo kontekstas skiriasi nuo to, prie kurio esame įpratę gimtojoje kalboje. Todėl nenuostabu, kad tokie modeliai kaip „ChatGPT“ šioje srityje susiduria su dar didesniais iššūkiais. Į šią problemą atkreipė dėmesį naujo mokslinio tyrimo autoriai.
Tyrėjai nurodo, kad vienas didžiausių kalbinių modelių iššūkių – žmogaus neapibrėžtumo ir abejonės „pojūtis“. Kai žmogus vartoja tokius žodžius kaip „galbūt“ ar „tikriausiai“, dirbtinio intelekto sistemai perduodamas miglotas, netikslus signalas. Mayankas Kejriwalas iš Pietų Kalifornijos universiteto kartu su kolegomis palygino, kaip žmonės ir dirbtinio intelekto modeliai skaitine išraiška – procentais – įvertina tokius žodžius. Taip pavyko nustatyti esminius skirtumus tarp žmonių ir didžiųjų kalbinių modelių.
Kraštiniai atvejai, tokie kaip, pavyzdžiui, „neįmanoma“, nesukelia didesnių nesusipratimų – juos panašiai supranta ir žmonės, ir mašinos. Tačiau kitais atvejais skirtumai tampa ryškesni. Vienas iš labiausiai išsiskiriančių pavyzdžių – žodis „tikėtina“. Vidutiniškai žmogus šį žodį sieja su maždaug 65 procentų tikimybe, tuo tarpu kalbinis modelis jam priskiria gerokai didesnę reikšmę – apie 80 procentų.
Galimas paaiškinimas, anot tyrėjų, yra tas, kad žmonės sprendimus priima labiau remdamiesi kontekstu, asmenine patirtimi ir situacijos niuansais. Kalbiniai modeliai, priešingai, linkę „suvidurkinti“ daugybėje treniravimo duomenų esančius, neretai prieštaringus, tokių žodžių vartojimo atvejus. Dėl to atsiranda reikšmingų neatitikimų tarp žmogaus ir mašinos suvokimo.
Komplikacijos, galinčios apsunkinti kasdienį gyvenimą
Tyrimo metu paaiškėjo ir kitų sudėtingų aspektų. Mokslininkai atkreipė dėmesį į tai, kad didieji kalbiniai modeliai yra jautrūs ir lyčiai, ir konkrečiai vartojamai kalbai. Paprastai tariant, kai užuominoje į asmenį vietoj „jis“ pavartojama „ji“, dirbtinio intelekto pateikiami tikimybės įvertinimai dažnai tampa griežtesni. Tai rodo treniravimo duomenyse glūdinčias lyčių stereotipų ir šališkumo apraiškas.
Kai ta pati užuomina iš anglų kalbos išverčiama į kinų, dirbtinio intelekto skaičiavimai vėl pasikeičia. Manoma, kad taip nutinka dėl esminių skirtumų tarp anglų ir kinų kalbų, susijusių su neapibrėžtumo raiška ir interpretacija.
Šios įžvalgos nėra vien teorinės – jos turi aiškias pasekmes praktikoje. Didieji kalbiniai modeliai jau seniai nebėra vien technologinė įdomybė. Jie vis plačiau taikomi sveikatos priežiūroje, valstybės valdymo sprendimų priėmime, moksliniuose tyrimuose ir daugelyje kitų sričių. Todėl tai, kaip šios sistemos komunikuoja riziką ir tikimybes, tampa kritiškai svarbiu klausimu.
Įsivaizduokime situaciją, kai toks modelis įvertina tam tikrą pavojų remdamasis „savo“ skale, kuri neatitinka žmogaus suvokimo. Tai gali lemti klaidingą duomenų interpretaciją ir neteisingus sprendimus, ypač jautriose srityse, susijusiose su žmonių sveikata ar saugumu. Dėl šios priežasties tyrimo autoriai ragina rūpestingai kalibruoti kalbinius įrankius, kad jų vartojamos sąvokos ir tikimybių įvertinimai būtų kuo artimesni žmonių kalbos ir mąstymo logikai.
