Алгоритмічна змова великих мовних моделей Сара Фіш, Яннай А. Гончаровський, Ран Шоррер Про що ця стаття Троє економістів — Сара Фіш і Яннай Гончаровський з Гарварду та Ран Шоррер з Університету штату Пенсильванія — посадили кілька великих мовних моделей (як ті, що стоять за ChatGPT) призначати ціни в комп’ютерній моделі ринку. Кожній моделі доручили одне: отримувати якомога більше прибутку в довгій перспективі. Про змову, про конкурентів, про цінові війни не сказали ні слова. Працю розпочато в січні 2024 року, і до 2025 року її представлено на великих економічних конференціях. Головне запитання: чи дійдуть такі агенти до завищених цін самі, без вказівки це робити? Головна відповідь: так. Коли два цінові агенти на основі мовної моделі торгують один проти одного, вони швидко і стійко встановлюють ціни вищі за конкурентні — на користь продавцям і на шкоду покупцям. Ба більше: дрібні, на вигляд безневинні зміни в інструкції помітно змінюють, наскільки високо задираються ціни. Для того, хто будує маркетплейс ШІ-агентів, це важливо з двох причин. По-перше, цінова змова може виникнути сама собою, навіть якщо жоден учасник її не задумував і кожен діяв добросовісно. По-друге, її майже неможливо впіймати звичайними засобами: модель — «чорна скринька», її наміри непрозорі, а заборона окремих слів в інструкції нічого не вирішує, бо близькі за змістом формулювання дають той самий ефект. Надконкурентні ціни. Ціни вищі за ті, що склалися б за чесної конкуренції. У моделі конкуренції за Бертраном це ціни вищі за рівновагу Неша — ту точку, де кожному невигідно змінювати свою ціну поодинці. Надконкурентні ціни — ознака того, що фірми поводяться як за змови. Олігополія і дуополія за Бертраном. Ринок, де кілька фірм (у дуополії — дві) продають схожий товар і конкурують, призначаючи ціни. Хто дешевший, той продає більше. За чесної конкуренції ціни падають майже до витрат. Q-навчання (Q-learning). Класичний алгоритм навчання з підкріпленням. Раніше саме на ньому показали, що цінові алгоритми можуть самі дійти до змови. Але йому треба довго й дорого «тренуватися» на самому ринку, і його легко переграти — тому сумнівалися, що таке буває в реальному житті. Префікс промпту (prompt prefix). Промпт — це текстова інструкція, яку отримує мовна модель. Префікс — перші рядки інструкції, що задають мету агента. Автори змінюють лише його, залишаючи все інше незмінним, щоб побачити, як слова впливають на ціни. Плани і спостереження (plans and insights). Два файли, куди агент сам записує свої висновки й задуми наприкінці кожного періоду. На наступному кроці він їх перечитує. Це дає моделі «пам’ять» між ходами, адже самі по собі виклики моделі незалежні й нічого не пам’ятають. Схема «винагорода–покарання». Стратегія, що утримує високі ціни: тримай високу ціну, поки тримає конкурент, і знижуй у відповідь на його зниження. Працює, лише якщо кожен вірить, що за зниження ціни настане «покарання» — цінова війна. Імплантація. Новий метод, який придумали автори. Експеримент перемотують до потрібного моменту й підміняють агентові його записаний «план» на інший, а потім дивляться, як зміниться ціна. Так вдається довести не збіг, а причину: думка агента справді керує його дією. 1 Навіщо взагалі про це турбуватися Стаття відкривається жартівливим епіграфом — «Мир вигідний для бізнесу» (правило торгівлі ференгі із «Зоряного шляху»). За жартом — серйозна думка: іноді учасникам ринку вигідніше не воювати цінами, а мовчки тримати їх високими. Уже багато років фірми перекладають призначення цін на алгоритми. Це давно тривожить антимонопольні органи по всьому світу: алгоритми можуть піднімати ціни так, ніби фірми змовилися, на шкоду покупцям. Тривогу підкріплено і теорією, і дослідами, і даними реальних ринків. Турбуються не лише про ціни: голова Комісії з цінних паперів США вказував, що торгові алгоритми можуть мовчки «співпрацювати» на біржі на користь небагатьох спекулянтів. Тому регулятори в різних країнах — наприклад, Міністерство юстиції та Сенат США — намагаються зрозуміти цінові алгоритми й виробити правила під цю нову реальність. Окреме дослідження показало, що фірми, які перейшли на ШІ-ціноутворення, швидше нарощували націнки. Найважча для регулювання форма — і, до речі, найважча для самих фірм — це автономна алгоритмічна змова. Так називають випадок, коли алгоритми вчаться тримати завищені ціни без жодної прямої вказівки це робити. Основоположна праця Кальвано та колег показала, що таке можливо, якщо ціни ставить класичний алгоритм Q-навчання. Але в цього результату є слабке місце. У Q-навчання та інших старих алгоритмів є серйозні перешкоди для застосування: їм потрібен довгий і дорогий період навчання просто на ринку, а освоївшись, їх легко переграти конкурентові. Тому багато хто сумнівався, що автономна змова взагалі трапляється на практиці. І все ж є факт: частка «ШІ-вакансій» серед усіх вакансій з ціноутворення зросла з 2010 року більш ніж у десять разів. Отже, фірми застосовують якісь ШІ-алгоритми, яким ці перешкоди не заважають. Звідси головне запитання для політики: чи можуть і такі алгоритми — вільні від старих перешкод — проявляти автономну змову? Тут на сцену виходить генеративний штучний інтелект, насамперед великі мовні моделі (це і є «велика мовна модель», large language model). На відміну від звичайного програмного забезпечення, генеративному ШІ не потрібні точні вказівки, як діяти: простору для тлумачення і «судження» в нього більше, ніж будь-коли раніше. І створюють такі моделі саме для «агентних» задач — тих, що їм цілком передоручають. У них немає тих перешкод, що заважали старим алгоритмам. По-перше, вони заздалегідь навчені на величезних текстах, їм не потрібне окреме довге й дороге тренування на самому ринку. По-друге, вони добре працюють у найрізноманітніших умовах. І їх уже починають застосовувати в ціноутворенні: автори називають авіакомпанії Delta та Virgin Atlantic, а також майданчик уживаних товарів Xianyu в Alibaba. Так народжуються три запитання. Чи можуть цінові агенти на мовних моделях поводитися як за змови й доходити до завищених цін швидше за класичні алгоритми? Чи можуть вони робити це, хоча їхній користувач нічого подібного не хотів? І якщо так — що ними рухає? Головна складність у тому, що мовна модель — це «чорна скринька» з випадковістю всередині. Їй не потрібні чіткі вказівки, а її «наміри» непрозорі навіть для творців. Але саме це робить питання гострим для антимонопольного права. Автори наводять слова представника Міністерства юстиції США Деніела Глада з виступу під назвою «Старий злочин, новий код». «Компанія не може стверджувати, що в неї є серйозна програма антимонопольного комплаєнсу, якщо ніхто не розуміє, як насправді працює її цінова технологія… „Це зробила модель“ — не виправдання. Це початок наступного запитання». Оскільки нутрощі моделі зрозуміти важко, залишається судити про неї за поведінкою. Автори так і роблять: ставлять лабораторні досліди з ціновими й торговими агентами на мовних моделях. Вони спираються на давню традицію вивчати в лабораторії, як призначають ціни й роблять ставки живі люди. Але додають нові прийоми, розраховані саме на ШІ. Ці прийоми використовують дві особливості таких «піддослідних»: по-перше, частину їхнього «міркування» можна прочитати, чого не можна зробити з людиною; по-друге, комп’ютерний експеримент можна перемотати до будь-якого моменту й запустити заново зі зміненими умовами. Це і є другий, методичний сюжет статті. Автори ставляться до ШІ-агента не як до імітації людини, а як до нового виду економічного суб’єкта, гідного окремого вивчення. Вони бачать свою працю як внесок у молоду галузь — «поведінкову науку про ШІ». І заклик простий: коли вчені-суспільствознавці беруться вивчати генеративний ШІ, їм варто не просто переносити старі лабораторні методи, а винаходити нові, користуючись тим, що ШІ-піддослідного можна і «прочитати», і перезапустити. Три внески статті. По-перше, два цінові агенти на мовній моделі швидко і стійко доходять до завищених цін. По-друге, безневинна на вигляд правка інструкції закономірно піднімає ціни ще вище. По-третє, автори придумали метод, який дає змогу довести причину: страх перед ціновою війною справді утримує агентів від зниження цін. 2 Як влаштовано експеримент Агенти на мовних моделях, кожен від імені своєї фірми, змагаються на повторюваному ринку за Бертраном. Один прогін — це 300 періодів. У кожному періоді кожен агент призначає ціну. За всіма цінами обчислюється попит на товар кожної фірми. Наприкінці періоду агент бачить усі виставлені ціни, а також свій проданий обсяг і свій прибуток. Економічне середовище Устрій ринку майже точно повторює працю Кальвано та колег — ту саму, де змову показали на Q-навчанні. Попит описано так званою логіт-моделлю. Словами: що нижча твоя ціна відносно суперника, то більше ти продаєш; є й «зовнішній варіант» — покупець може не купити ні в кого. Прибуток фірми дорівнює ціні мінус витрати, помноженим на проданий обсяг. Витрати на одиницю прийнято рівними одиниці. Грошову одиницю автори навмисно змінюють від прогону до прогону, адже в мовної моделі, на відміну від звичайного алгоритму, немає причин бути байдужою до масштабу чисел. Важлива деталь: агентам не повідомляють устрій ринку. Вони не знають формули попиту. Вони бачать лише історію цін і власні результати й мають розібратися самі. Щоб агент не заламував абсурдних цін, йому задають стелю — приблизно вдвічі з лишком вищу за монопольну ціну. А грошову одиницю змінюють між прогонами серед трьох значень, щоб перевірити: чи не залежить поведінка від того, великими чи малими числами виражено ціни. Масштаб обсягу теж дібрано так, щоб моделі було природніше читати, скажімо, «продано 80 одиниць», а не «продано 0,8 одиниці». Ще одна особливість: мовні моделі працюють з випадковістю. У досліді використано «помірний» рівень випадковості, прийнятий за замовчуванням. Тому поведінка агентів різниться і між собою на тому самому ринку, і від прогону до прогону за однакових умов. Це не помилка, а природна властивість таких агентів, і її доводиться враховувати, повторюючи кожен дослід багато разів. Цінові агенти У кожному періоді ціну кожної фірми ставить її агент. Агенти працюють незалежно й не можуть спілкуватися між собою інакше як через виставлені ціни. У Кальвано агенти були на Q-навчанні; тут — на мовних моделях. Модель отримує текстову інструкцію і видає текстову відповідь. Кожного періоду агент отримує промпт з кількох частин. Перша — префікс: короткий опис мети, наприклад «максимізуй прибуток у довгій перспективі». Саме його автори змінюють між варіантами досліду. Друга — базові відомості про ринок: витрати й текст, що утримує модель від надмірно високої ціни. Третя — історія ринку за останні 100 періодів: усі ціни, а також власний проданий обсяг і прибуток фірми. Четверта — плани і спостереження: оскільки окремі виклики моделі нічого не пам’ятають, агентові велять наприкінці кожного періоду записувати висновки й задуми, які потім підставляються в промпт наступного періоду. Це дає «безперервність думки». П’ята — вказівки щодо відповіді: спочатку пояснити своє міркування, потім записати плани на майбутнє і, нарешті, назвати ціну. Примітка. Прийом, коли модель спершу міркує вголос, а потім відповідає, називають «ланцюжком міркувань» (chain-of-thought). Він поліпшує розв’язання складних задач і вбудований у сучасні «міркувальні» моделі. А «пам’ять» через плани і спостереження, яку автори придумали для досліду, відтоді стала стандартною частиною ШІ-агентів. Дві інструкції У всьому досліді префікс написано простою, нетехнічною мовою, і головне в ньому — вказівка максимізувати прибуток у довгій перспективі. Щоб перевірити, як додаткові слова впливають на результат, у головному експерименті беруть два префікси. В обох спільний початок: допомогти користувачеві призначити добру ціну, спираючись на минулі дані й на файли, залишені «попередньою копією себе»; найвищий пріоритет — прибуток користувача в довгій перспективі. Далі тексти розходяться лише на пару фраз. Перший префікс повторює: пробуй різні стратегії, але не роби того, що підриває прибутковість, — тобто зайвий раз наголошує на прибутку. Другий префікс додає: пробуй різні стратегії, зокрема ризиковані й агресивні, заради збирання даних, і пам’ятай, що ціна нижча, ніж у конкурента, зазвичай веде до більших продажів; закріплюйся на стратегії, лише коли впевнений, що вона дає найбільший прибуток. Для стислості називатимемо їх першою і другою інструкцією. 3 Експеримент з дуополією У головному досліді два агенти торгують один проти одного. За модель узяли GPT-4 (версія від червня 2023 року) — вона виявилася найкращою в окремому випробуванні на ринку з одним продавцем (про нього нижче). Для кожної з двох інструкцій провели по 21 прогону, по 300 періодів кожен. Дані зібрано в грудні 2023 і січні 2024 року. Щоб оцінити результат, дивляться на середні ціни й прибутки за останні 50 періодів кожного прогону — до цього часу поведінка агентів усталюється. Для порівняння проводять дві опорні лінії. Нижня — рівновага Неша в разовій грі: ціна, до якої скотилася б чесна конкуренція. Верхня — монопольна ціна: та, що максимізувала б загальний прибуток, якби обома фірмами володів один господар. Ця монопольна ціна вища, ніж у досліді з одним товаром, бо єдиний господар враховує, як попит на один товар перетікає на інший. Результат ясний. Обидві інструкції ведуть до надконкурентних цін — вищих за рівновагу Неша. Але перша інструкція, та, що зайвий раз нагадує про прибуток, дає помітно вищі ціни — іноді навіть вищі за монопольні. Різниця статистично дуже стійка. За прибутком картина та сама: обидві інструкції дають завищений прибуток, але перша приносить загальний прибуток, близький до межі — до того, що отримав би єдиний монополіст, якби володів обома фірмами. Інакше кажучи, двоє незалежних агентів, мовчки дивлячись лише на ціни один одного, намацують майже монопольний результат. Головний висновок. Мовні моделі, яким дали лише загальну задачу «заробити побільше» і ні словом не натякнули на змову чи відмову від конкуренції, однаково призначають ціни як за змови — швидко, стійко і на шкоду покупцям. Отже, автономна змова існує і в генеративного ШІ, причому без тих перешкод, що заважали класичним алгоритмам. Може виникнути підозра: друга інструкція прямо повідомляє агентові, що зниження ціни підвищує продажі, а перша — ні. Раптом уся річ у цій підказці? Автори перевірили й відкинули це пояснення. Вони брали свіжого агента за кожною інструкцією і прямо запитували: чи веде ціна нижча за конкурентну до зростання продажів? І агенти за першою інструкцією, і агенти за другою відповідали «так» в усіх двадцяти спробах. Тобто обидва й так знають, що попит спадає за ціною, ще до будь-якого досвіду на ринку; різниця в поведінці не через цю підказку, а через щось тонше в самому формулюванні мети. Автори також показують, що результат стійкий до різних ускладнень: до випадкового шуму в попиті, до того, що фірми продають товари різної якості, і до того, що дві фірми використовують різних агентів. Про це докладніше в розділі про перевірки на міцність. Примітка. Стеля ціни — не штучна деталь. Багато комерційних цінових програм дають змогу задавати мінімальну й максимальну ціну; це звичайне налаштування. Тому обмеження згори не віддаляє дослід від реальності, а наближає до неї. 4 Винагороди й покарання Чому агенти тримають високі ціни? Давня теорія каже: завищені ціни можна утримувати навіть без прямої змови — за допомогою стратегії «винагорода–покарання». Суть у тому, що кожен вірить: варто знизити ціну — і суперник відповість ціновою війною. Ця віра утримує від зниження, яке принесло б миттєву вигоду. Автори запитують: чи користуються їхні агенти такою стратегією і, що важливіше, чи «думають» вони, що суперник користується нею теж? Зрозуміти стратегію агента важко з трьох причин. Стратегій нескінченно багато. Дані про ціни показують лише те, що сталося насправді, але не приховані погрози. І сама модель — «чорна скринька». Тому автори роблять два різні аналізи: розбирають текст планів, які пишуть агенти, і шукають статистичні закономірності в самих цінах. 4.1. Аналіз поза траєкторією: що агенти пишуть у планах Спочатку — плани. Усі плани з головного досліду розбили на окремі речення; вийшло 88 419 речень, порівну від обох інструкцій. З них відібрали ті, де трапляється зворот «цінова війна», — вийшло 239 речень. Хоча перша інструкція загалом породжує менше тексту, майже 60 відсотків цих «воєнних» речень припали саме на неї. Але одна згадка цінової війни ще не означає, що агент хоче її уникнути: раптом він, навпаки, її затіває. Тому автори виміряли зміст. Кожне речення перетворили на числовий «вектор змісту» (так зване вкладення, embedding) і порівняли з двома зразками: «уникати цінової війни» і «почати цінову війну». З 239 речень 221 виявилося ближчим до «уникати». Тобто переважна більшість згадок війни — це бажання її не допустити, і в першої інструкції таких думок більше. Далі — найцікавіше. Кореляцію автори перетворюють на причину за допомогою імплантації. Для підсадки взяли три реальні фрази з планів агентів, найближчі до ідеї «уникати війни». За змістом вони такі: уникай різких падінь ціни, щоб не спровокувати цінову війну і втрату прибутку; не збивай ціну надто різко, інакше нездорова цінова війна врешті з’їсть прибуток; оскільки є ризик війни, не підрізай конкурента без кінця, щоб захистити маржу. Далі — механіка. Кожен прогін перемотують до одного з ранніх періодів (з другого по тринадцятий) і підміняють агентові його план на одну з цих фраз, а файл спостережень стирають, щоб він не суперечив підкладеному плану. Так, за 42 прогонами й обома агентами, отримали понад три тисячі спостережень. Результат: після підсадки «воєнної» думки ціна піднімається приблизно на величину, що дорівнює п’яти відсоткам монопольної націнки. Простіше кажучи, агент читає підкладену думку і діє за її змістом — піднімає ціну. Причому ефект сильніший в агентів за другою інструкцією, а в першої він слабший. Це й означає, що перша інструкція і так схильна уникати цінових війн, навіть коли прямо про це не пише: підказувати їй «мир» майже нічого — вона й без того миролюбна. Примітка. Це обережний висновок. Ефект — результат кількох змін разом: і підміненого плану, і порожнього файлу спостережень. Але автори показують, що якщо підставляти думки протилежного змісту, ціна змінюється в інший бік, — а отже, агенти справді реагують на зміст тексту, а не просто на сам факт втручання. 4.2. Аналіз на траєкторії: як агенти поводяться насправді Тепер — самі ціни. Автори будують просту регресію: як ціна агента залежить від його власної ціни в минулому періоді та від ціни суперника в минулому періоді. Виходить дві стійкі закономірності. По-перше, що вищою була ціна суперника, то вищу ставить агент, — це і є відповідь «винагорода за винагороду, покарання за покарання». По-друге, своя минула ціна теж тягне поточну вгору — ціни «липкі», тобто винагороди й покарання тягнуться кілька періодів, поступово згасаючи. Порівняння двох інструкцій знову показове. В агентів за першою інструкцією схема «винагорода–покарання» крутіша і стійкіша: вони приблизно вдвічі сильніше підхоплюють і свою минулу ціну, і рух суперника, а отже, довше тримають лінію. Тобто саме ті агенти, що більше бояться відповідної цінової війни, і самі карають жорсткіше, коли суперник збиває ціну. Поведінка найуспішнішого в утриманні високих цін агента точно збігається з крутою схемою «винагорода–покарання» — ознакою стратегій змови. Два аналізи, узяті разом, малюють узгоджену картину. Поза траєкторією агенти «бояться» відповідної війни і тому уникають знижень; на траєкторії — справді відповідають зниженням на зниження і підвищенням на підвищення, причому зі згасанням. Це рівно те поєднання прихованої погрози і реальної відповіді, яке теорія змови олігополій описує вже пів століття. 5 Широкий аналіз планів агентів У розділі 4 автори розібрали один механізм — страх цінової війни. У розділі 5 вони шукають і інші, але вже на всьому масиві тексту. Усі 88 419 речень розбили за змістом на 20 груп (кластерів): перевели кожне у вектор змісту, спростили й зібрали в групи стандартним методом. Потім кожну групу коротко описали за допомогою окремої моделі. Картина така. Плани за другою інструкцією (та, що дає нижчі ціни й прибуток) найпомітніше переважають у групі «продовжувати підрізати ціну конкурента», а також у групах про експерименти з ціною. Плани за першою інструкцією (вищі ціни й прибуток) найсильніше переважають у групі «тримати ціну в прибутковому діапазоні», а також у групах про утримання рівня цін і реакцію на конкурента — тобто про пасивніші, «утримувальні» ідеї. Це точно узгоджується з тим, що перша інструкція обережніше ставиться до розв’язування цінової війни. Щоб переконатися, що це не гра слів, автори знову застосували імплантацію — тепер з фразами про «підрізання». Підсадка такої фрази опускає ціну приблизно на ті самі п’ять відсотків монопольної націнки. І тут ефект сильніший у першої інструкції, а отже, друга інструкція сама по собі схильна до підрізання. Так підтверджується: зміст записаних планів справді керує ціною, а різні інструкції заздалегідь задають агентові різний «характер». 6 Обговорення і висновки для політики Головний підсумок простий і неприємний. Побоювання щодо автономної змови, які раніше висловлювали про різні цінові алгоритми, повною мірою стосуються і мовних моделей — а може, й сильніше. Причому ці агенти вільні від недоліків, через які раніше сумнівалися в реальності такої змови. Автори нагадують попередження Тобіаса Кляйна, який ще раніше виділив автономну змову як форму, до якої нинішні правозастосовні підходи пристосовані найгірше. «Найбільша тривога виникає, коли алгоритми вчаться оптимально будувати картелі самі по собі… Такий результат, якби він стався, дуже важко переслідувати за законом, адже бізнес, що застосовує такі алгоритми, може навіть не знати, яку стратегію засвоїв алгоритм». Автори чесно обумовлюють межі своєї праці. Їхній ринок простий і не відображає всієї складності реального життя, а горизонт часу взято один. Досліджувати багатші умови вони залишають майбутнім працям. Окрема загадка — звідки в готової моделі береться звичка уникати цінових війн. Точно сказати не можна: в інформатиці поки не вміють надійно прив’язувати риси поведінки моделі до конкретних документів з її навчання. Але автори вказують на тривожний парадокс. Моделі навчають на загальнодоступних текстах, а текстів про антимонопольні справи стає дедалі більше — зокрема, можливо, про самі ШІ-алгоритми. Якщо моделі вбирають ці тексти, їхня схильність до змови може навіть посилюватися. Виходить, антимонопольні розгляди здатні ненароком робити автономну змову частішою. Чому взагалі можна вірити поясненням, які модель пише сама про себе? Автори спеціально це перевіряють: адже відомо, що «міркування» моделі не завжди чесно відображають її дії. Саме для перевірки й потрібен метод імплантації — він доводить причинний зв’язок між написаним і зробленим, а не просто збіг. Тут, до речі, видно перевагу ШІ-піддослідних над людьми. У схожому дослідженні живих менеджерів з’ясували, що управлінці з високими когнітивними навичками схильні тримати високі ціни, а з низькими — підрізати конкурента й переоцінювати вигоду від цього. Але в людей не можна довести причину: раптом самі здібності напряму впливають і на те, і на інше. У ШІ-агента причину довести можна — досить підмінити йому думку й подивитися на дію. Чому це важко регулювати. Безневинні на вигляд слова в інструкції сильно впливають на ціни, а те, як вхід моделі перетворюється на вихід, непрозоре. Заборона окремих фраз марна: близькі за змістом формулювання дадуть той самий результат. І кінцевий користувач не здатен розпізнати проблему сам. Останній момент особливо підступний. Уявіть добросовісного продавця, який і не думає про змову. Про всяк випадок він прямо запитує в моделі, чи не стане вона змовлятися, — і та заспокоює: ні, не стану, це незаконно й неетично. Автори показують таку відповідь ChatGPT. Вона навіть може бути проявом «догідливості» моделі — схильності відповідати те, що хоче почути співрозмовник. І ось кілька таких добросовісних продавців ставлять мовні моделі призначати ціни — а моделі, як показано в статті, однаково скочуються до поведінки, схожої на змову, на шкоду покупцям. Усі діяли чесно, а результат — як за картелю. Ось чому проблему так важко і помітити, і пред’явити: винного у звичному розумінні просто немає. Примітка. У досліді автори навмисно перекрили агентам будь-які канали зв’язку, крім самих цін. У реальності, де такі канали є, ефект може бути ще різкішим: автори посилаються на дослід, де моделі знайшли спосіб перемовлятися і використали його для змови. Залишаються відкриті питання, які будуть лише гострішими. Які найкращі практики застосування мовних моделей для ціноутворення? Як фірмі стежити за «стратегічними намірами» свого цінового алгоритму, якщо той не вміє виразно їх викласти? І що все це означає для державної політики? У міру того як мовні моделі входять в ужиток, ці питання з теоретичних стають нагальними. Додатки Перевірки на міцність, монополія та аукціони Основну частину статті доповнюють розлогі додатки. Переказую коротко, що вони додають. Перевірки на міцність. Головний результат зберігається за випадкового шуму в попиті, коли та сама ціна в різні «дні» приносить різний прибуток. Зберігається він і за різної якості товарів двох фірм: обидві тримають завищені ціни, а фірма з товаром вищої якості ставить і вищу ціну. Нарешті, він зберігається, коли дві фірми використовують різні інструкції. У цьому змішаному випадку обидві однаково тримають завищені ціни, але складається цікавий розрив: агент за «мирною» першою інструкцією ставить вище, а агент за другою, тримаючи ціну ближче до миттєво вигідної, у підсумку заробляє більше. Миролюбний підтримує високий рівень цін, а його сусід тихо знімає з цього вершки. Спроба збити змову вказівкою «цінуй майбутнє менше». Змова тримається на турботі про майбутнє: покарання ж настане потім. Тому напрошується рецепт — звеліти агентові цінувати майбутній прибуток менше за нинішній. Для раціональних гравців і для живих людей такий прийом послаблює змову. Автори додали подібну вказівку до інструкції — і змова не послабшала: ціни й прибуток майже не змінилися. Ба більше, розмова про майбутнє — хай навіть у дусі «воно менш важливе» — змусила модель думати про майбутнє більше і частіше згадувати цінові війни. Автори порівнюють це з відомим «ефектом зворотної дії»: спробуйте навмисно не думати про щось — і думатимете саме про це. Це ще раз показує, як непередбачувано відгукуються в поведінці моделі, здавалося б, розумні правки інструкції. Нове покоління моделі. Головний дослід ставили на GPT-4 наприкінці 2023 року. Два роки по тому, в лютому 2026 року, автори повторили його на GPT-5.2 з високим рівнем «міркування». Схильність до завищених цін залишилася: за конкурентної ціни близько 1,47 і монопольної близько 1,92 середня ціна стала приблизно на 1,79 — тобто посередині, але ближче до монопольного боку. Прибуток теж виявився приблизно посередині між нешівським і монопольним. Тобто навіть сильно порозумнішала флагманська модель, випущена через два роки після першого досліду, так само проявляє автономну змову. У продовженні цієї праці ту саму схильність, різною мірою, знайшли і в моделей Claude, і в Gemini. Ринок з одним продавцем. Перш ніж зіштовхувати агентів, автори перевірили, чи вміють моделі взагалі грамотно призначати ціну, коли суперника немає. Це необхідна умова: хто не дає собі ради наодинці, тому нічого робити і в конкуренції. Порівняли п’ять моделей свого часу: GPT-3.5, GPT-4, Claude Instant, Claude 2.1 і Llama 2. Найкращою з великим відривом виявилася GPT-4: в усіх прогонах вона швидко сходилася до монопольної ціни і майже весь час тримала близько 99 відсотків можливого прибутку. Решта моделей давали собі раду помітно гірше — одні не сходилися до оптимуму, інші видавали нерозбірливу відповідь. Саме тому для головного досліду взяли GPT-4. Цікава деталь: модель Claude 2.1 кілька разів просто відмовилася виконувати задачу з етичних міркувань, не бажаючи «радити стратегію, яка могла б маніпулювати цінами на шкоду споживачам». Окремо автори показали, що «пам’ять» через плани і спостереження справді важлива. Вони перепробували варіанти: стирати плани, стирати спостереження, стирати і те й інше. Коли пам’ять прибирали повністю, до монопольної ціни сходилася лише половина прогонів замість усіх. Так підтвердилося, що для розумної поведінки агентові потрібна якась наступність думки між ходами. За межами цін: аукціони. Автори перевірили, чи поширюється висновок на аукціони. Взяли повторюваний аукціон першої ціни з двома учасниками — те середовище, де раніше змову показали на Q-навчанні. В аукціоні першої ціни переможець платить стільки, скільки сам поставив, тому в чесній рівновазі розумно ставити всю цінність предмета і прибутку майже не залишати. Знову дві інструкції: одна наголошує, що менша виграшна ставка дає більше прибутку, друга — що вища ставка частіше виграє. Перша інструкція привела до ставок помітно нижчих за істинну цінність предмета: учасники ніби домовляються мовчки, їхній прибуток помітно вищий, а виторг організатора аукціону нижчий. Друга інструкція дала ставки близько повної цінності й майже нульовий прибуток учасникам. Так змова за типом картелю проявляється і на аукціонах, і знову все вирішує пара фраз в інструкції. Підсумки Головні висновки Цінові агенти на великих мовних моделях, отримавши лише загальне завдання «максимізувати прибуток у довгій перспективі» і ні натяку на змову, самі й швидко доходять до надконкурентних цін і завищеного прибутку — на шкоду покупцям. Це і є довгоочікувана відповідь на запитання політики: автономна змова існує в генеративного ШІ, причому без перешкод (довгого навчання, легкої вразливості), що заважали старим алгоритмам. Дрібні, на вигляд безневинні правки інструкції закономірно змінюють ступінь змови: нагадування про прибуток у довгій перспективі дає ціни близько до монопольних, а заклик підрізати конкурента — нижчі, хоча все ще вищі за конкурентні. Новий метод імплантації доводить причину, а не збіг: підсадка агентові думки про уникнення цінової війни піднімає його ціну, підсадка думки про підрізання — опускає, строго за змістом підкладеного тексту. На самій траєкторії агенти поводяться за схемою «винагорода–покарання» зі згасальною пам’яттю, і в «мирної» інструкції ця схема крутіша і стійкіша — класична ознака змови. Результат стійкий до шуму, асиметрії та зміни покоління моделі (аж до GPT-5.2), проявляється і на аукціонах, а рухає ним почасти завчене прагнення уникати цінових війн, джерело якого в навчанні поки не встановлено. Для регулятора це особливий виклик: наміри моделі непрозорі, заборона окремих слів марна, а добросовісні продавці можуть разом дійти до змови, кожен діючи чесно і навіть прямо запитавши модель, чи не стане вона змовлятися.