Възходът на ChatGPT или как генеративният AI стана новата играчка на IT гигантите

По темата за това как човек фалира, известният цитат на Ърнест Хемингуей гласи, че това се случва по два начина: постепенно, после внезапно.

Афоризмът с годините се преразказва в по-дългата формулировка: „Първо нещо се случва бавно, после всичко идва изведнъж“ и започна да се прилага и към други явления, като скоростта на усвояване на технологиите или загубата на коса.

Или, в този случай, изкуствения интелект.

След възхода на това, което стана известно като „генеративен AI“ през 2022 г. и появата на ChatGPT на 30 ноември същата година, изкуственият интелект се трансформира от постоянен поток от изследвания и разработки за период от половин век до апокалиптичен порой от технологични иновации, които, в зависимост от това кого питате, внезапно обещават да революционизират и демократизират цели области на човешката дейност или ги заплашват с морален и материален фалит.

Или най-вероятно и двете.

Какво е ChatGPT (и как работи)?

ChatGPT е така нареченият чатбот за машинно обучение на „голям езиков модел“ (LLM), който според самия чатбот е създаден чрез анализиране на милиарди изречения с текст, взети от интернет.

Анализът изгради статистически модел, който е в състояние да създаде човешки разговор, като прогнозира кои думи е най-вероятно да последват дадена подкана (като въпроса „как работи ChatGPT?“) и коя дума е най-вероятно да последва или предшества думата преди или след нея.

Големите езикови модели сами по себе си проследяват своите корени назад към изследванията за обработка на естествения език (NLP) през 50-те и 60-те години на миналия век, но напредъкът в NLP започна да се измества от „постепенната“ фаза към „внезапната“ фаза през 2017 г., когато екип от изследователи от Google публикуваха документ, озаглавен „Вниманието е всичко, от което се нуждаете“, революционизирайки тази област и пораждайки нова порода машинно обучение.

Документът предлага начин за анализиране на текст, известен като „трансформатор“, който вместо просто да анализира дума в контекста на думата, която е била преди нея, може да разгледа цяла входна последователност (като изречение или абзац) и прецени кои части от последователността са най-подходящи за резултата, който NLP машината е била помолена да генерира. Така изведнъж моделът може да създаде корелация между думите в началото на изречението и думите в средата или в края, което значително подобрява ефективността на алгоритъма.

Оттогава LLM с имена като GPT (Generative Pre-trained Transformer) от OpenAI на Илон Мъск през 2018 г., „BERT“ (Bidirectional Encoder Representations from Transformers) от Google през 2018 г. и RoBERTa от Facebook през 2019 г. бяха пуснати със стабилно темпо, обикновено с лицензиране с отворен код, което позволява на конкурентни изследователи да се учат един от друг. В резултат BERT беше скромен опит, но RoBERTa се превърна в значителна стъпка напред, подобрена от Facebook, чиито софтуерни инженери повишиха значително параметрите на алгоритъма.

Параметрите могат да се разглеждат като груб еквивалент на неврони в органичен мозък. Те приемат вход (да речем снимка на храна), прилагат статистическа преценка към него (каква е вероятността да е оформено като наденица?) и го предават на следващия параметър, който прилага нова преценка (каква е вероятността да е червено?), предавайки изображението през параметър след параметър, докато накрая моделът реши, че нещото на снимката по всяка вероятност е хот-дог (но може да е червена туршия).

С всяко ново поколение LLM, броят на параметрите нараства, започвайки със 117 милиона в GPT и 340 милиона в BERT. GPT-3, LLM, на който OpenAI базира ChatGPT, има 175 милиарда параметъра. GLaM (генерален езиков модел) на Google има 1,2 трлн. такива. Резултатът е нещо като дигитална магия: машини, които са погълнали огромни обеми данни интернет, претеглили са връзките между нещата и са в състояние да генерират съдържание, което изглежда ново и оригинално.

Но трансформаторите и параметрите, оказва се, не са всичко. Дори LLM с огромен брой параметри все още могат да направят груби грешки, както на фактите, така и на преценката. Ако данните, върху които моделът е бил обучен, съдържат невярна информация (което се случва) или обидни и пристрастни коментари (което също се случва), тогава LLM все пак може да даде грешни отговори, ако прецени, че това са най-вероятните отговори към дадена подкана. В този смисъл, подобни чатботове са като "дигитални папагали“: те могат да отговарят на база на това, на което са били научени, често по нови и привидно интелигентни начини, но не разбират и дума от него.

Машината все пак има нужда от човека

Генериращите съдържание AI ботове могат да преодолеят това като бъдат обучени от хора, които тренират AI моделите с повтарящи се "похвали и наказания", докато резултатите достигнат реалния свят.

OpenAI – компанията зад ChatGPT и за която Microsoft вече обяви инвестиция от 14 милиарда долара – направи нещо подобно, за да обучи своя LLM GPT-3 да не възпроизвежда омразно или вредно съдържание в отговорите си на подкани. В опит да изгради по-етична версия на GPT-3 (версията, която стана известна като GPT-3.5, която се използва от чатбота ChatGPT), OpenAI нае хора, които старателно да предоставят на LLM математическия еквивалент на "похвали и наказания" според това дали ботът дава правилни или грешни отговори.

Оттогава обаче етиката на метода на OpenAI за създаване на етичен AI е поставена под въпрос. Скорошно разследване на Time разкри, че OpenAI е наел аутсорсинг компания, която е използвала нископлатени работници в Кения, за да научи GPT-3 как да идентифицира токсично съдържание и да избягва възпроизвеждането на това съдържание в своите резултати. Този ход е довел до ниско качество на захранваната информация и отново показва, че дигиталните постижения са толкова добри (или не), колкото са хората, които стоят зад тях във физическия свят.

И това не е единственият проблем

След като откриха, че техните произведения на изкуството са били използвани без разрешение за обучение на генеративен AI, за да произвежда изображения в отговор на подкани, трима художници наскоро започнаха колективен иск срещу неговите създатели Stability AI и Midjourney, както и компанията DeviantArt, която използва за създаване на портфолио на AI произведения на изкуството. В делото се твърди, че генеративните изкуствени интелекти „наводняват пазара с по същество неограничен брой изображения в нарушение, които ще нанесат трайни щети на пазара за изкуство и творците“.

Все повече корпорации се намесват в играта

Неотдавнашното стартиране на ChatGPT на OpenAI, зад който стои финансовата подкрепа на Microsoft, предизвика тревога в Google. Сега гигантът има планове да демонстрира версия на своята търсачка с функции за чатбот тази година и да разкрие повече от 20 проекта, задвижвани от изкуствен интелект.

Притеснението е разбираемо - реално защо ти е Google Search, което е просто поле за писане на ключови думи, когато можеш да се обърнеш към ChatGPT и да получиш завършен отговор с препоръки и контекст? През декември 2022 г. научихме, че ръководителите на Google се тревожат, че въпреки сериозните инвестиции в AI технологията, твърде бързото ѝ внедряване може да навреди на репутацията на компанията. Не е случайно, че в края на януари 2023 г. Google обяви, че съкращава повече от 12 000 служители и се фокусира върху AI като домейн от първостепенно значение.

Няма спомената конкретна времева рамка за стартирането на демонстрацията на Google за търсене с изкуствен интелект, но други проекти очевидно ще дебютират по време на годишното I/O събитие през май, където през годините сме виждали премиерата на функции като Duplex и Google Glass.

Ситуацията е достатъчно сериозна, че основателите на Google Лари Пейдж и Сергей Брин – които остават контролиращи акционери в компанията-майка на Google Alphabet – са предлагали съвети на лидерите на компаниите, одобрявали са планове и са давали идеи, докато миналия месец са се срещали с висши ръководители по повод популярността на ChatGPT. Интересно е, че това ниво на повторно ангажиране - за първи път след като те напуснаха ежедневните си роли през 2019 г. - идва по покана на главния изпълнителен директор на Google/Alphabet Сундар Пичай.

Демонстрацията за бъдещия чатбот показва, че Google ще даде приоритет на „получаването на правилни факти, осигуряване на безопасност и премахване на дезинформация“, надявайки се да се справи с проблема, когато AI отговаря на заявки уверено и ясно с лоша информация. Междувременно компанията работи и върху начини за ускоряване на процесите на преглед, които трябва да проверят технологията, за да видят дали работи по начини, които са справедливи и етични.

Пускането на нови продукти включва още студио за генериране на изображения, което „създава и редактира изображения“, приложение за тестване на продуктови прототипи и набор от инструменти, които други фирми могат да използват за създаване на AI прототипи директно в прозорец на браузър, наречен MakerSuite. Компанията също работи върху инструмент за генериране на код, наречен PaLM-Coder 2, който е подобен на софтуера GitHub Copilot на Microsoft и друг, който помага за изграждането на приложения за смартфони, наречен Colab + Android Studio.

През последните години Google пипа внимателно, когато става въпрос за пускането на нови продукти с изкуствен интелект. Компанията се озова в центъра на дебат относно етиката на изкуствения интелект, след като уволни двама видни изследователи в областта - Тимнит Гебру и Маргарет Мичъл. Двойката изложи критики към езиковите модели на AI, отбелязвайки предизвикателства като тяхната склонност да усилват пристрастията в своите данни за обучение и да представят невярна информация като факт.

Въпреки че се смята, че изследванията на Google за AI са толкова напреднали, колкото и тези на други известни технологични компании, това е само тестов софтуер с особени ограничения. Приложението AI Test Kitchen на фирмата например предлага достъп до инструменти за генериране на изображения и текст, подобни на DALL-E и ChatGPT на OpenAI. Google обаче силно ограничава заявките, които потребителите могат да правят към тези системи. Компанията вече показа някои от своите собствени AI продукти, натоварени с чат функции, включително непублична демонстрация през 2021 г. на система, подобна на ChatGPT.

С пускането на ChatGPT обаче и тревожните предупреждения за предстоящия застой на Google като компания изглежда, че гигантът преразглежда тактиката си. В миналото Google каза, че избягва пускането на определени продукти с изкуствен интелект поради потенциалната „увреждане на репутацията“. Сега изглежда, че репутацията, която иска да избегне, е на това, че е изостанал от новите тенденции – което пък ще увеличи още повече залозите, когато става въпрос за внедряването на изкуствен интелект в нови продукти и услуги, както и в нашето дигитално ежедневие.