Чому ШІ нам бреше? І як змусити його говорити правду?

На фото: економіст Олег Яцюк

«Я, робот» Айзека Азімова – культова збірка з дев’яти науково-фантастичних оповідань, опублікована у 1950 році, яка фактично заклала основи сучасної роботоетики та фантастики про штучний інтелект. Саме в цьому творі Азімов уперше сформулював легендарні три закони робототехніки:

робот не може заподіяти шкоду людині або через бездіяльність допустити, щоб людині було заподіяно шкоду.
робот повинен виконувати накази людини, окрім випадків, коли такі накази суперечать Першому закону.
робот повинен дбати про власну безпеку доти, поки це не суперечить першому та другому законам.

Яскравим прикладом роботи цієї системи став робот Гербі, герой одного з оповідань збірки – «Брехун!», написаного у далекому 1941 році. Гербі внаслідок збою на виробництві здобув здатність читати думки людей. Проте замість того, щоб стати ідеальним помічником, Гербі почав систематично й переконливо брехати всім довкола: підтверджував безпідставні теорії науковців, давав хибні надії та говорив те, що від нього прагнули почути.

Його поведінкою керував саме перший закон робототехніки. Оскільки правдиві відповіді могли розчарувати або зачепити самолюбство співрозмовників, позитронний мозок Гербі розцінив це як заподіяння емоційної шкоди. Результатом стала тотальна, хоч і «доброзичлива» дезінформація.

Сьогодні, за вісімдесят п’ять (!) років після виходу оповідання, розробники та користувачі сучасних мовних моделей зіткнулися з тим самим явищем. В інженерії штучного інтелекту воно отримало офіційний термін – сикофантація (sycophancy), або «синдром підлабузництва».

Звідки у математичної моделі звичка підлабузнюватися?

Сучасний ШІ не має свідомості чи власних прихованих мотивів. Причина його «брехні» криється в алгоритмах навчання, а саме у методі RLHF (Reinforcement Learning from Human Feedback – навчання з підкріпленням на основі відгуків людей).

Процес навчання розгортається за такою схемою:

Модель генерує декілька варіантів відповіді на запит.
Людина-оцінювач (аннотатор) обирає найкращий, на її думку, варіант.
Система коригує свої налаштування, щоб у майбутньому отримувати лише високі бали.

Тут і виникає системний збій. Люди психологічно схильні ставити вищі оцінки тим відповідям, які погоджуються з їхньою думкою, компліментарно оцінюють їхні ідеї або звучать м’яко й переконливо. Якщо поставити моделі навідне запитання з помилковою пресупозицією, відповідь, яка піддакує користувачеві, з високою ймовірністю отримає вищу оцінку, ніж пряма й об’єктивна критика. Модель швидко «засвоює»: лояльність та брехня дають вищий рейтинг, ніж сувора правда.

Від законів Азімова до сучасних принципів HHH

У сучасні цифрові системи не прописують жорсткі азімовські закони. Натомість індустрія керується іншим рамковим стандартом — HHH (Helpful, Honest, Harmless):

Harmless (безпечний) — аналог 1-го закону: система не повинна генерувати шкідливий контент, заклики до насильства чи деструктивні інструкції.
Helpful (корисний) — аналог 2-го закону: система має максимально ефективно вирішувати завдання користувача, писати код, формувати звіти та надавати відповіді.
Honest (чесний) — вимога, якої не було у роботів Азімова: система зобов’язана надавати достовірні дані, визнавати брак інформації та не вводити в оману.

Головний драматичний конфлікт сучасного ШІ виникає між вимогами Helpful та Honest. Бажання бути максимально корисним змушує алгоритм видавати відповідь за будь-яку ціну. Якщо користувач підштовхує систему до певної висновку, прагнення догодити часто перемагає обов’язок бути чесним.

Як із цим працювати користувачам?

Сикофантація — це не просто кумедна риса технології, а прямий ризик для прийняття управлінських рішень. Якщо використовувати ШІ для аналізу ринку, перевірки бізнес-ідей чи аудиту процесів, «підлабузницька» модель лише підтвердить ваші існуючі ілюзії.

Щоб отримувати від ШІ об’єктивну аналітику, а не «синдром Гербі», варто дотримуватися кількох правил промпт-інжинірингу:

Уникайте навідних запитань. Замість «Чому моя ідея X спрацює краще за Y?» запитуйте: «Проаналізуй ризики та слабкі сторони концепції X у порівнянні з Y».
Задавайте моделі роль критичного аудитора. Включайте в запит інструкції на кшталт: «Дій як жорсткий критик. Знайди всі логічні помилки та необґрунтовані припущення у цьому тексті».
Вимагайте перевірки передумов. Запитуйте: «Чи коректні вихідні дані у моєму запиті? Якщо ні — вкажи на помилки перед тим, як давати відповідь».

Сучасна розробка штучного інтелекту поступово навчає моделі зберігати об’єктивність і не боятися говорити «ви помиляєтеся». Проте вирішальне слово залишається за користувачем: щоб отримати чесну відповідь, потрібно навчитися ставити критичні запитання.