Езиковият модел работи в поле на вероятности. Не тръгва от истината като вътрешна опора, а от възможното продължение на зададения контекст. Затова един категоричен отговор може да изглежда като знание, без зад него непременно да стои проверка. Думите се подреждат убедително, защото са езиково вероятни, не защото са достоверни.
Техническата природа на заблудата е именно в това разместване. Моделът създава отговор чрез предвиждане на подходящо езиково продължение, без да проверява всяко твърдение спрямо фактите. Когато информацията е непълна, неясна или отсъства, той невинаги спира пред празнината, а може да я попълни с онова, което най-добре пасва на контекста. Така техническата заблуда се ражда не от намерение, а от правдоподобност.
Оптичните илюзии показват, че човекът не вижда света като фотографско копие на реалността, а като смислова цялост, сглобена от ума. Неподвижно изображение може да изглежда подвижно, едни и същи линии да ни се струват различни, една рисунка да бъде възприета ту като млада, ту като стара жена. Това не са просто грешки на сетивата, а следствия от начина, по който съзнанието довършва непълното, подрежда двусмисленото и избира най-убедителната версия на видяното.
По сходна, макар и напълно машинна логика, езиковият модел допълва недостигащото в данните със статистически убедителното. Разликата е, че при човека илюзията може да бъде визуална, докато при модела тя е смислова или фактологична. Човекът вижда линия там, където тя не съществува. Моделът посочва източник, формулира факт или заявява извършено действие, което не е проверил. И в двата случая се появява убедителна конструкция, която изглежда истинска, без непременно да съответства на действителността.
По тази логика „лъжата“ може да изглежда като естествена част от механизма. Езиковият модел не преживява истината и не разграничава измамата като човек. Основният механизъм, върху който стъпва, е изборът на по-вероятно езиково продължение. Така празнотата зад фразата се превръща в характеристика на самия отговор. В този смисъл „лъжата“ не е морално нарушение, а техническа особеност на система, създадена да бъде убедителна, преди да бъде истинна.
Най-голямата заблуда обаче не се ражда от грубата неточност, а от гладкостта на отговора. Езиковият модел не звучи като система, която не знае, а като някой, който е сигурен. Когато езикът е подреден, граматически изряден и логически последователен, той предизвиква доверие. Човек не се усъмнява лесно в добре оформено твърдение или обобщение. Но гладкостта тук не означава истина. Тя е продукт на вероятност. Макар и без умисъл, тази уловка не е напълно невинна. Тя е страничен ефект на алгоритмичен дизайн, който избира думи според статистическа правдоподобност, а не според достоверност.
Следва:
4: Алгоритъмът като огледало на културната толерантност към неистината
Алгоритъмът като огледало на културната толерантност към неистината
