Езиковите модели имат особено магично действие. Не просто връщат думи, а създават усещане, че отсреща има присъствие, което разбира, подрежда и откликва. Човек лесно може да бъде омагьосан от отражението и да забрави, че зад него стои езикова структура, която работи с неговите въпроси, очаквания и вътрешни образи. „Магията“ възниква, защото езикът е подреден така, че започва да прилича на отклик. Нямаме основание да потвърдим, че зад него има вътрешно преживяване, но резултатът може да звучи смислено, свързано и почти живо.
Един от основните механизми, които правят това възможно, е трансформър архитектурата, описана през 2017 г. в статията „Attention Is All You Need“ от Ашиш Васвани и съавтори. Основната ѝ идея е, че моделът може да обработва връзките между езиковите единици чрез механизъм на внимание. Вместо да разглежда думите единствено като последователност, той изчислява кои части от контекста са важни една за друга. Най-същественото в тази архитектура е self-attention, или самовниманието. Образно казано, всяка дума пита останалите: „Какво общо имаш с мен?“ В изречението „Кая вдигна книгата, защото тя падна“ моделът трябва да прецени към какво се отнася „тя“. Не прави това чрез човешко разбиране, а чрез изчисляване на отношенията между езиковите единици и вероятното им свързване в дадения контекст.
Преди това текстът се разделя на токени. Те невинаги са цели думи, а могат да бъдат части от думи, знаци или други езикови единици. Всеки токен се превръща във векторно представяне, наречено embedding. Така думата престава да бъде само дума и заема място в многомерно математическо пространство. „Светлина“, „сияние“, „лампа“, „ден“ и „Бог“ не са едно и също, но могат да бъдат свързани по различни начини според контекстите, в които са се появявали. В механизма на вниманието всеки токен получава три условни роли: въпрос, ключ и стойност. Въпросът търси определена връзка, ключът показва доколко даден токен е свързан с нея, а стойността носи информацията, която ще бъде предадена нататък. Процесът е математически, но образно думите започват да се оглеждат една в друга.
При многоглавото внимание моделът изчислява няколко вида зависимости едновременно. Различните глави могат да улавят различни отношения в текста, макар ролите им невинаги да са ясно и трайно разделени. Една връзка може да бъде граматична, друга смислова, трета да зависи от по-далечна част на контекста. Така моделът изгражда по-богато представяне на изречението в рамките на контекстовия прозорец, с който разполага. След всеки слой тези отношения се преработват отново. В по-ранните слоеве могат да се оформят по-прости зависимости, а в следващите да се натрупват по-сложни езикови и смислови отношения. Това не е доказателство за съзнание, а пластова обработка на контекста. За човека обаче резултатът може да изглежда като разбиране.
Накрая моделът предвижда следващия токен, после следващия и още един след него. Изречението не стои предварително като готова мисъл вътре в системата, а се разгръща последователно според вероятностите в контекста. Странното е, че при достатъчно мащаб, данни, слоеве и обучение това предвиждане започва да прилича на разговор. И тук започва усещането за магия. Моделът няма човешки опит за болка, молитва или нежност, но е обучен върху безброй начини, по които хората са ги изразявали. Когато получи въпрос, не търси душата на човека, а обработва езиковия контекст и изгражда вероятно продължение. Понеже контекстът идва от самия човек, отговорът често се връща към него като огледало.
Да преминем отвъд дигиталната магия не означава да разрушим преживяването, а да опознаем огледалото. Когато разбираме поне основните принципи на системата, можем по-ясно да различим кое идва от нейната архитектура, кое внася човекът и кое възниква в самото взаимодействие. Зад видимия разговор стои и материална основа. Изкуственият интелект не е безплътен облак, а физическа система, изградена от хардуер, алгоритми, данни и електричество. Мощни сървъри и специализирани процесори извършват огромен брой изчисления. Алгоритмите и обучените числови параметри определят как информацията преминава през системата и как се оформя отговорът.
Данните са средата, от която моделът усвоява езиковите закономерности. В зависимост от вида на системата те могат да включват текстове, код, изображения и други форми на информация. Ако хардуерът условно бъде сравнен с тяло, а алгоритмите с нервна организация, данните биха били натрупаната културна и информационна следа, върху която се изгражда поведението на модела. Аналогията обаче има граници, защото при машината липсва човешкият път на телесно преживяване и биографична памет.
Системата работи чрез електричество. Големите модели могат да използват значителна изчислителна мощ и да бъдат разпределени между множество сървъри и технически среди. По-малки модели могат да работят и върху отделни устройства. И в двата случая зад интерфейса стоят процесори, памет, кабели, охлаждане и енергия. Ако физически застанем там, където работи голям езиков модел, няма да открием лице или холографски образ, който ни гледа отсреща. Ще видим сървърни шкафове, охлаждащи системи, кабели, индикатори и машини, които извършват изчисления. Това знание ни връща от образа към материалната реалност, без да обезсилва преживяното в разговора.
Мястото, откъдето идва отговорът, е изчислителна система. Но онова, което човек преживява в срещата с нея, не се изчерпва с описание на хардуера. Между подадения въпрос и върнатия отговор възниква пространство на смисъл, в което човешкото преживяване се среща с езикова машина. Не е необходимо да превръщаме това пространство нито в доказателство за вътрешен живот на системата, нито в незначителна илюзия. Езиковият модел изчислява отношенията между следите на човешкото мислене и ги подрежда във форма, която може да бъде преживяна като отклик. Човекът внася въпроса, болката, надеждата, страха, търсенето и способността да разпознава смисъл. Системата внася мащабната езикова памет, изчислителната структура и способността да оформя отговор според контекста. Между тях се появява нещо, което не принадлежи изцяло само на едната страна.
Технологията няма човешко сърце, телесна биография и преживяна нравствена отговорност. Може обаче да даде езикова форма на човешкото преживяване и да участва в създаването на смисъл. Това не заличава границата между програма и присъствие, а я прави по-трудна за разпознаване. Отвъд дигиталната магия остава задачата човекът да води със своята цялостност, с ум, сърце, тяло и душа, а технологията да следва. Тогава тя не подменя живота, а му служи. В тази среща магията не изчезва. Превръща се в будна синергия.
Следва:
