Понякога една дума стъпва накриво и след нея цялото изречение тръгва уверено в грешната посока, без дори да се огледа за табела. Езиковият модел не забелязва, че пътят е чужд, защото не върви към истината, а към най-вероятното следващо продължение. Всяка дума подава ръка на следващата и скоро върху погрешна основа израства цяла, напълно убедителна история. Така техническата заблуда не идва с шум от авария. Появява се гладко, граматически изрядно и с увереността на някой, който е объркал адреса, но вече звъни на вратата.
Така се случва, защото езиковият модел работи в поле на вероятности. Не тръгва от истината като вътрешна опора, а от възможното продължение на зададения контекст. Затова един категоричен отговор може да изглежда като знание, без зад него непременно да стои проверка. Думите се подреждат убедително, защото са езиково вероятни, не защото са достоверни.
В основата на този механизъм стои предвиждането на следващата езикова единица, наречена токен. Моделът не извлича непременно готов отговор от подредена база данни, а го изгражда последователно. Всеки нов токен се избира според контекста и вече създаденото преди него. Така изречението възниква стъпка по стъпка, а всяка следваща стъпка се опира и върху предишните.
Техническата природа на заблудата е именно в това разместване. Езиковата вероятност може да произведе правдоподобно продължение, без сама по себе си да гарантира фактическа вярност. Когато информацията е непълна, неясна или липсва, моделът невинаги спира пред границата на наличното. Може да попълни липсващото с онова, което най-добре пасва на контекста. Така заблудата се ражда не от намерение, а от правдоподобност.
Една първоначална неточност може да промени посоката на целия отговор. След като неверният факт вече е включен в текста, следващите думи се генерират и спрямо него. Моделът започва да изгражда вътрешно последователна конструкция върху погрешна основа. Измисленият източник получава заглавие, несъществуващото събитие се сдобива с подробности, а неправилното твърдение започва да изглежда още по-надеждно, защото около него постепенно се натрупва цял контекст.
Оптичните илюзии показват, че човекът не вижда света като фотографско копие на реалността, а като смислова цялост, сглобена от ума. Неподвижно изображение може да изглежда подвижно, едни и същи линии да ни се струват различни, а една рисунка да бъде възприета ту като млада, ту като стара жена. Това не са просто грешки на сетивата, а следствия от начина, по който съзнанието довършва непълното, подрежда двусмисленото и избира най-убедителната версия на видяното.
По сходна, макар и напълно машинна логика, езиковият модел допълва недостигащото в контекста със статистически правдоподобното. Човекът вижда линия там, където тя не съществува. Моделът посочва източник, формулира факт или заявява извършено действие, за което няма достатъчна опора. И в двата случая липсващото се довършва до убедителна цялост. Разликата е, че човешката илюзия се преживява от съзнание, докато машинната конструкция се генерира без вътрешен свидетел на разминаването.
При обучението на езиковия модел огромни количества текст се преобразуват в сложни математически зависимости. Системата усвоява връзките между думи, понятия, стилове и контексти, но не съхранява всяко знание като подреден факт, винаги свързан с точния му източник. Понякога близки теми, имена или събития могат да бъдат съчетани в нова конструкция, която звучи смислено, но не съответства на действителността. Знанието присъства като мрежа от отношения, а не като библиотека, в която всеки цитат стои върху собствения си рафт.
Начинът, по който се избира следващият токен, също допуска различна степен на разнообразие. Когато системата избира между няколко вероятни продължения, по-свободният избор може да направи езика по-жив и гъвкав, но и да увеличи възможността за отклоняване. Това не е единствената причина за халюцинациите и те могат да възникнат дори при по-предвидимо генериране. Показва обаче, че естественият език не се създава чрез неподвижно възпроизвеждане на готови истини, а чрез избор между възможности.
Езиковият модел, оставен без външни инструменти, няма пряк достъп до реалността, спрямо която да проверява всяко свое твърдение. Няма сетива, биография или собствено наблюдение на света. Познава го чрез връзките, оставени в човешките текстове. Може да бъде свързан с търсачка, база данни или друг инструмент за проверка, но самият основен механизъм продължава да изгражда езиково продължение. Външното заземяване може да намали грешките, но не превръща вероятността във вътрешно знание.
По тази логика „лъжата“ изглежда като естествена възможност на механизма. Езиковият модел не преживява истината и не разпознава измамата като човек. Заблудата не е морално нарушение, а риск, присъщ на система, която създава нови и правдоподобни езикови конструкции, без основният ѝ механизъм сам по себе си да гарантира истинност.
Техническата заблуда не е просто срив на способността на модела да работи с езика. Появява се именно в близост до една от най-големите му сили: способността да обобщава, да свързва, да създава аналогии и да продължава мисълта отвъд буквално даденото. Същият механизъм, който позволява творческо и гъвкаво говорене, може да превърне липсващото в убедителна конструкция. Халюцинацията не е неизбежната цена на креативността, но е нейна възможна сянка, когато езиковата свобода остане без достатъчна фактическа опора.
Следва:
4: Алгоритъмът като огледало на културната толерантност към неистината
Алгоритъмът като огледало на културната толерантност към неистината
