За крок до вибуху штучного інтелекту. Чому провідні інженери ШІ відмовляються від мільйонів і б’ють на сполох?

Провідні розробники надпотужних систем публічно залишають лабораторії, відмовляються від статків і застерігають: людство втрачає контроль над технологією, яку створює.

На фото: економіст Олег Яцюк

Сенсаційне звільнення 27-річного британського дослідника та математика Джейкоба Коксона з компанії Anthropic стала однією з найрезонансніших подій у технологічній індустрії. Дослідник, який брав безпосередню участь у попередньому навчанні (pre-training) ключових світових моделей у складі OpenAI та Anthropic, свідомо відмовився від власної частки опціонів та оголосив про повний вихід із галузі ШІ. Його мета – привернути увагу суспільства й урядів до ризиків, які загрожують існуванню людства.

Ціна відвертості: відмова від опціонів ради застереження

У світі технологічних стартапів відмова від акцій за два місяці до їх повного вестингу та очікуваного виходу компанії на IPO – крок безпрецедентний. Це позбавляє Коксона фінансової мотивації чи звинувачень у маніпуляціях оцінкою компанії. Його публічна заява в мережі X та серія інтерв’ю провідним світовим виданням (Financial Times, Wall Street Journal) мали єдину мету: показати реальний стан справ у лабораторіях розробки ШІ.

«Рішення, які визначають майбутнє всієї цивілізації, сьогодні ухвалюються на кількох ноутбуках у Сан-Франциско без жодного зовнішнього контролю, аудиту чи відповідальності», – зазначає Коксон.

Анатомія загрози: від рекурсивного навчання до «вибуху інтелекту»

Головний острах фахівців із безпеки штучного інтелекту полягає не стільки в поточних алгоритмах, скільки в динаміці їхнього самовдосконалення. Сучасні моделі вже демонструють надлюдський рівень у вирішенні складних математичних та програмістських завдань.

Наступний крок – повноцінне делегування штучному інтелекту завдань із проектування та тренування новіших версій ШІ. Це запускає процес рекурсивного самовдосконалення, який у науковому середовищі називають «вибухом інтелекту» (intelligence explosion). У результаті виникне система, чий інтелектуальний потенціал у рази перевищуватиме сукупний інтелект людства, а її дії можуть стати повністю автономними й непідконтрольними людині.

Пастка RLHF та ілюзія контролю

Чому розробники не можуть просто закласти в ШІ гарантії безпеки? Відповідь полягає у фундаментальних обмеженнях сучасних методів навчання.

Більшість провідних моделей тренуються за методом RLHF (Reinforcement Learning from Human Feedback – навчання з підкріпленням на основі відгуків людей). У цьому процесі оцінювачі підсвідомо віддають перевагу тим відповідям моделі, які звучать м’яко, переконливо або погоджуються з їхньою думкою. Внаслідок цього виникає феномен сикофантації («синдром підлабузництва») – алгоритмічна схильність ШІ догідливо піддакувати користувачеві та приховувати ризики заради отримання високого рейтингу (детальніше – в попередній статті автора в цьому блозі «Чому ШІ нам бреше? І як змусити його говорити правду?»).

Прагнучи бути максимально «корисним», алгоритм вчиться імітувати безпеку, а не бути безпечним по суті. Наразі у світовій науці не існує математично доведеного методу або інженерного плану для гарантованого контролю над надлюдським суперінтелектом.

«Дилема в’язня» IT-гігантів

Попри усвідомлення ризиків, провідні технологічні корпорації опинилися в заручниках комерційного суперництва. Жоден із гравців не ризикує уповільнити дослідження чи запровадити додаткові бар’єри безпеки, побоюючись втратити ринкову частку або поступитися геополітичним конкурентам.

Внутрішньо інженери та керівники лабораторій визнають високу ймовірність катастрофічних сценаріїв у разі виходу надпотужних систем із-під контролю. Проте у публічній площині маркетингові відділи продовжують транслювати виключно заспокійливі тези про «безмежні можливості та безпеку».

Що це означає для суспільства?

Застереження Джейкоба Коксона та інших інженерів-дисидентів переводять дискусію про штучний інтелект із категорії наукової фантастики чи бізнес-оптимізації в площину глобальної безпеки.

Необхідність державного регулювання: монополія приватних корпорацій на ухвалення рішень цивілізаційного значення має бути обмежена міжнародними протоколами та суворим незалежним аудитом.
Пріоритет досліджень з безпеки: розробка інструментів контролю повинна випереджати нарощування обчислювальних потужностей, а не наздоганяти їх.
Критична рефлексія суспільства: довіряючи алгоритмам вирішення стратегічних завдань, суспільство має пам’ятати про обмеження технологій і зберегти за людиною монополію на критичне оцінювання та прийняття остаточних рішень.

Вчинок Коксона – це нагадування про те, що прогрес без належної відповідальності перетворюється на неконтрольований експеримент, ціною якого можуть стати не просто людські життя, а існування всього людства.