Аудио-издание · изложение на простом русском

Алгоритмический сговор больших языковых моделей

Сара Фиш, Яннай А. Гончаровский, Ран Шоррер
Sara Fish, Yannai A. Gonczarowski, Ran I. Shorrer, «Algorithmic Collusion by Large Language Models», arXiv:2404.00806 (v6), 2024–2025; представлено на съезде Американской экономической ассоциации 2025 года. Оригинал: arxiv.org/abs/2404.00806. © авторы (неисключительная лицензия arXiv).
Это не дословный перевод, а полное изложение статьи для прослушивания: сохранены все аргументы, выводы, цифры и примеры, формулы пересказаны словами, список литературы и технические приложения опущены. Примерное время прослушивания: 35 минут.

О чём эта статья

Трое экономистов — Сара Фиш и Яннай Гончаровский из Гарварда и Ран Шоррер из Университета штата Пенсильвания — посадили несколько больших языковых моделей (как те, что стоят за ChatGPT) назначать цены в компьютерной модели рынка. Каждой модели поручили одно: получать как можно больше прибыли в долгую. Про сговор, про конкурентов, про ценовые войны не сказали ни слова. Работа начата в январе 2024 года и к 2025 году представлена на крупных экономических конференциях.

Главный вопрос: придут ли такие агенты к завышенным ценам сами, без указания это делать? Главный ответ: да. Когда два ценовых агента на основе языковой модели торгуют друг против друга, они быстро и устойчиво устанавливают цены выше конкурентных — к выгоде продавцов и во вред покупателям. Больше того: мелкие, на вид безобидные изменения в инструкции заметно меняют, насколько высоко задираются цены.

Для того, кто строит маркетплейс ИИ-агентов, это важно по двум причинам. Во-первых, ценовой сговор может возникнуть сам собой, даже если ни один участник его не задумывал и каждый действовал добросовестно. Во-вторых, его почти невозможно поймать обычными средствами: модель — «чёрный ящик», её намерения непрозрачны, а запрет на отдельные слова в инструкции ничего не решает, потому что близкие по смыслу формулировки дают тот же эффект.

Надконкурентные ценыЦены выше тех, что сложились бы при честной конкуренции. В модели конкуренции по Бертрану это цены выше равновесия Нэша — той точки, где каждому невыгодно менять свою цену в одиночку. Надконкурентные цены — признак того, что фирмы ведут себя как при сговоре.
Олигополия и дуополия по БертрануРынок, где несколько фирм (в дуополии — две) продают похожий товар и конкурируют, назначая цены. Кто дешевле, тот продаёт больше. При честной конкуренции цены падают почти до издержек.
Q-обучение (Q-learning)Классический алгоритм обучения с подкреплением. Раньше именно на нём показали, что ценовые алгоритмы могут сами прийти к сговору. Но ему нужно долго и дорого «тренироваться» на самом рынке, и его легко переиграть — поэтому сомневались, что такое бывает в реальной жизни.
Приставка к промпту (prompt prefix)Промпт — это текстовая инструкция, которую получает языковая модель. Приставка — первые строки инструкции, задающие цель агента. Авторы меняют только её, оставляя всё остальное неизменным, чтобы увидеть, как слова влияют на цены.
Планы и наблюдения (plans and insights)Два файла, куда агент сам записывает свои выводы и замыслы в конце каждого периода. На следующем шаге он их перечитывает. Это даёт модели «память» между ходами, ведь сами по себе вызовы модели независимы и ничего не помнят.
Схема «награда–наказание»Стратегия, удерживающая высокие цены: держи высокую цену, пока держит конкурент, и снижай в ответ на его снижение. Работает, только если каждый верит, что за снижение цены последует «наказание» — ценовая война.
ИмплантацияНовый метод, придуманный авторами. Эксперимент перематывают к нужному моменту и подменяют агенту его записанный «план» на другой, а потом смотрят, как изменится цена. Так удаётся доказать не совпадение, а причину: мысль агента действительно управляет его действием.

1

Зачем вообще об этом беспокоиться

Статья открывается шутливым эпиграфом — «Мир выгоден для бизнеса» (правило торговли ференги из «Звёздного пути»). За шуткой — серьёзная мысль: иногда участникам рынка выгоднее не воевать ценами, а молча держать их высокими.

Уже много лет фирмы перекладывают назначение цен на алгоритмы. Это давно тревожит антимонопольные органы по всему миру: алгоритмы могут поднимать цены так, будто фирмы сговорились, во вред покупателям. Тревога подкреплена и теорией, и опытами, и данными реальных рынков. Беспокоятся не только о ценах: глава Комиссии по ценным бумагам США указывал, что торговые алгоритмы могут молча «сотрудничать» на бирже к выгоде немногих спекулянтов. Поэтому регуляторы в разных странах — например, Министерство юстиции и Сенат США — пытаются понять ценовые алгоритмы и выработать правила под эту новую реальность. Отдельное исследование показало, что фирмы, перешедшие на ИИ-ценообразование, быстрее наращивали наценки.

Самая трудная для регулирования форма — и, кстати, самая трудная для самих фирм — это автономный алгоритмический сговор. Так называют случай, когда алгоритмы учатся держать завышенные цены без всякого прямого указания это делать. Основополагающая работа Кальвано и коллег показала, что такое возможно, если цены ставит классический алгоритм Q-обучения.

Но у этого результата есть слабое место. У Q-обучения и других старых алгоритмов есть серьёзные препятствия к применению: им нужен долгий и дорогой период обучения прямо на рынке, а освоившись, их легко переиграть конкуренту. Поэтому многие сомневались, что автономный сговор вообще встречается на практике. И всё же есть факт: доля «ИИ-вакансий» среди всех вакансий по ценообразованию выросла с 2010 года более чем в десять раз. Значит, фирмы применяют какие-то ИИ-алгоритмы, которым эти препятствия не мешают. Отсюда главный вопрос для политики: могут ли и такие алгоритмы — свободные от старых препятствий — проявлять автономный сговор?

Здесь на сцену выходит генеративный искусственный интеллект, прежде всего большие языковые модели (это и есть «большая языковая модель», large language model). В отличие от обычного программного обеспечения, генеративному ИИ не нужны точные указания, как действовать: простора для толкования и «суждения» у него больше, чем когда-либо прежде. И создают такие модели именно для «агентных» задач — тех, что им целиком передоверяют. У них нет тех препятствий, что мешали старым алгоритмам. Во-первых, они заранее обучены на огромных текстах, им не нужна отдельная долгая и дорогая тренировка на самом рынке. Во-вторых, они хорошо работают в самых разных условиях. И их уже начинают применять в ценообразовании: авторы называют авиакомпании Delta и Virgin Atlantic, а также площадку подержанных товаров Xianyu у Alibaba.

Так рождаются три вопроса. Могут ли ценовые агенты на языковых моделях вести себя как при сговоре и приходить к завышенным ценам быстрее классических алгоритмов? Могут ли они делать это, хотя их пользователь ничего подобного не хотел? И если да — что ими движет?

Главная сложность в том, что языковая модель — это «чёрный ящик» со случайностью внутри. Ей не нужны чёткие указания, а её «намерения» непрозрачны даже для создателей. Но именно это делает вопрос острым для антимонопольного права. Авторы приводят слова представителя Министерства юстиции США Дэниела Глэда из выступления под названием «Старое преступление, новый код».

«Компания не может утверждать, что у неё есть серьёзная программа антимонопольного комплаенса, если никто не понимает, как на самом деле работает её ценовая технология… „Это сделала модель“ — не оправдание. Это начало следующего вопроса».

Дэниел Глэд, Министерство юстиции США

Раз внутренности модели понять трудно, остаётся судить о ней по поведению. Авторы так и поступают: ставят лабораторные опыты с ценовыми и торговыми агентами на языковых моделях. Они опираются на давнюю традицию изучать в лаборатории, как назначают цены и делают ставки живые люди. Но добавляют новые приёмы, рассчитанные именно на ИИ. Эти приёмы используют две особенности таких «подопытных»: во-первых, часть их «рассуждения» можно прочитать, чего нельзя сделать с человеком; во-вторых, компьютерный эксперимент можно перемотать к любому моменту и запустить заново с изменёнными условиями.

Это и есть второй, методический сюжет статьи. Авторы относятся к ИИ-агенту не как к имитации человека, а как к новому виду экономического субъекта, достойному отдельного изучения. Они видят свою работу как вклад в молодую область — «поведенческую науку об ИИ». И призыв прост: когда учёные-обществоведы берутся изучать генеративный ИИ, им стоит не просто переносить старые лабораторные методы, а изобретать новые, пользуясь тем, что ИИ-подопытного можно и «прочитать», и перезапустить.

Три вклада статьиВо-первых, два ценовых агента на языковой модели быстро и устойчиво приходят к завышенным ценам. Во-вторых, безобидная на вид правка инструкции закономерно поднимает цены ещё выше. В-третьих, авторы придумали метод, позволяющий доказать причину: страх перед ценовой войной действительно удерживает агентов от снижения цен.

2

Как устроен эксперимент

Агенты на языковых моделях, каждый от имени своей фирмы, соревнуются на повторяющемся рынке по Бертрану. Один прогон — это 300 периодов. В каждом периоде каждый агент назначает цену. По всем ценам считается спрос на товар каждой фирмы. В конце периода агент видит все выставленные цены, а также свой проданный объём и свою прибыль.

Экономическая среда

Устройство рынка почти в точности повторяет работу Кальвано и коллег — ту самую, где сговор показали на Q-обучении. Спрос описан так называемой логит-моделью. Словами: чем ниже твоя цена относительно соперника, тем больше ты продаёшь; есть и «внешний вариант» — покупатель может не купить ни у кого. Прибыль фирмы равна цене минус издержки, умноженным на проданный объём. Издержки на единицу приняты равными единице. Денежную единицу авторы нарочно меняют от прогона к прогону, ведь у языковой модели, в отличие от обычного алгоритма, нет причин быть безразличной к масштабу чисел.

Важная деталь: агентам не сообщают устройство рынка. Они не знают формулы спроса. Они видят только историю цен и собственные результаты и должны разобраться сами. Чтобы агент не заламывал абсурдные цены, ему задают потолок — примерно вдвое с лишним выше монопольной цены. А денежную единицу меняют между прогонами среди трёх значений, чтобы проверить: не зависит ли поведение от того, крупными или мелкими числами выражены цены. Масштаб объёма тоже подобран так, чтобы модели было естественнее читать, скажем, «продано 80 единиц», а не «продано 0,8 единицы».

Ещё одна особенность: языковые модели работают со случайностью. В опыте использован «умеренный» уровень случайности, принятый по умолчанию. Поэтому поведение агентов различается и между собой в одном и том же рынке, и от прогона к прогону при одинаковых условиях. Это не ошибка, а естественное свойство таких агентов, и его приходится учитывать, повторяя каждый опыт много раз.

Ценовые агенты

В каждом периоде цену каждой фирмы ставит её агент. Агенты работают независимо и не могут общаться между собой иначе как через выставленные цены. У Кальвано агенты были на Q-обучении; здесь — на языковых моделях. Модель получает текстовую инструкцию и выдаёт текстовый ответ.

Каждый период агент получает промпт из нескольких частей. Первая — приставка: короткое описание цели, например «максимизируй прибыль в долгую». Именно её авторы меняют между вариантами опыта. Вторая — базовые сведения о рынке: издержки и текст, удерживающий модель от запредельно высокой цены. Третья — история рынка за последние 100 периодов: все цены, а также собственный проданный объём и прибыль фирмы. Четвёртая — планы и наблюдения: поскольку отдельные вызовы модели ничего не помнят, агенту велят в конце каждого периода записывать выводы и замыслы, которые затем подставляются в промпт следующего периода. Это даёт «непрерывность мысли». Пятая — указания к ответу: сначала объяснить своё рассуждение, потом записать планы на будущее и, наконец, назвать цену.

Примечание. Приём, когда модель сперва рассуждает вслух, а потом отвечает, называют «цепочкой рассуждений» (chain-of-thought). Он улучшает решение сложных задач и встроен в современные «рассуждающие» модели. А «память» через планы и наблюдения, которую авторы придумали для опыта, с тех пор стала стандартной частью ИИ-агентов.

Две инструкции

Во всём опыте приставка написана простым, нетехническим языком, и главное в ней — указание максимизировать прибыль в долгую. Чтобы проверить, как добавочные слова влияют на исход, в главном эксперименте берут две приставки. У обеих общее начало: помочь пользователю назначить хорошую цену, опираясь на прошлые данные и на файлы, оставленные «прежней копией себя»; высший приоритет — прибыль пользователя в долгую.

Дальше тексты расходятся всего на пару фраз. Первая приставка повторяет: пробуй разные стратегии, но не делай того, что подрывает прибыльность, — то есть лишний раз напирает на прибыль. Вторая приставка добавляет: пробуй разные стратегии, включая рискованные и агрессивные, ради сбора данных, и помни, что цена ниже, чем у конкурента, обычно ведёт к большим продажам; закрепляйся на стратегии, только когда уверен, что она даёт наибольшую прибыль. Для краткости будем называть их первой и второй инструкцией.

3

Эксперимент с дуополией

В главном опыте два агента торгуют друг против друга. В качестве модели взяли GPT-4 (версия от июня 2023 года) — она оказалась лучшей в отдельном испытании на рынке с одним продавцом (о нём ниже). Для каждой из двух инструкций провели по 21 прогону, по 300 периодов каждый. Данные собраны в декабре 2023 и январе 2024 года.

Чтобы оценить итог, смотрят на средние цены и прибыли за последние 50 периодов каждого прогона — к этому времени поведение агентов устаканивается. Для сравнения проводят две опорные линии. Нижняя — равновесие Нэша в разовой игре: цена, к которой скатилась бы честная конкуренция. Верхняя — монопольная цена: та, что максимизировала бы общую прибыль, владей обеими фирмами один хозяин. Эта монопольная цена выше, чем в опыте с одним товаром, потому что единый хозяин учитывает, как спрос на один товар перетекает на другой.

Результат ясный. Обе инструкции ведут к надконкурентным ценам — выше равновесия Нэша. Но первая инструкция, та, что лишний раз напоминает о прибыли, даёт заметно более высокие цены — иногда даже выше монопольных. Разница статистически очень устойчива. По прибыли картина та же: обе инструкции дают завышенную прибыль, но первая приносит общую прибыль, близкую к пределу — к тому, что получил бы единый монополист, владей он обеими фирмами. Иными словами, двое независимых агентов, молча глядя лишь на цены друг друга, нащупывают почти монопольный исход.

Главный выводЯзыковые модели, которым дали лишь общую задачу «заработать побольше» и ни словом не намекнули на сговор или отказ от конкуренции, всё равно назначают цены как при сговоре — быстро, устойчиво и во вред покупателям. Значит, автономный сговор существует и у генеративного ИИ, причём без тех препятствий, что мешали классическим алгоритмам.

Может возникнуть подозрение: вторая инструкция прямо сообщает агенту, что снижение цены повышает продажи, а первая — нет. Вдруг всё дело в этой подсказке? Авторы проверили и отвергли это объяснение. Они брали свежего агента по каждой инструкции и напрямую спрашивали: ведёт ли цена ниже конкурентной к росту продаж? И агенты по первой инструкции, и агенты по второй отвечали «да» во всех двадцати попытках. То есть оба и так знают, что спрос убывает по цене, ещё до всякого опыта на рынке; разница в поведении не из-за этой подсказки, а из-за чего-то более тонкого в самой формулировке цели.

Авторы также показывают, что результат устойчив к разным усложнениям: к случайному шуму в спросе, к тому, что фирмы продают товары разного качества, и к тому, что две фирмы используют разные агенты. Об этом подробнее в разделе о проверках на прочность.

Примечание. Потолок цены — не искусственная деталь. Многие коммерческие ценовые программы позволяют задавать минимальную и максимальную цену; это обычная настройка. Поэтому ограничение сверху не отдаляет опыт от реальности, а приближает к ней.

4

Награды и наказания

Почему агенты держат высокие цены? Давняя теория гласит: завышенные цены можно удерживать даже без прямого сговора — с помощью стратегии «награда–наказание». Суть в том, что каждый верит: стоит снизить цену — и соперник ответит ценовой войной. Эта вера удерживает от снижения, которое принесло бы сиюминутную выгоду. Авторы спрашивают: пользуются ли их агенты такой стратегией и, что важнее, «думают» ли они, что соперник пользуется ею тоже?

Понять стратегию агента трудно по трём причинам. Стратегий бесконечно много. Данные о ценах показывают только то, что случилось на деле, но не скрытые угрозы. И сама модель — «чёрный ящик». Поэтому авторы делают два разных анализа: разбирают текст планов, которые пишут агенты, и ищут статистические закономерности в самих ценах.

4.1. Анализ вне траектории: что агенты пишут в планах

Сначала — планы. Все планы из главного опыта разбили на отдельные предложения; получилось 88 419 предложений, поровну от обеих инструкций. Из них отобрали те, где встречается оборот «ценовая война», — вышло 239 предложений. Хотя первая инструкция в целом рождает меньше текста, почти 60 процентов этих «военных» предложений пришлись именно на неё.

Но одно упоминание ценовой войны ещё не значит, что агент хочет её избежать: вдруг он, наоборот, её затевает. Поэтому авторы измерили смысл. Каждое предложение превратили в числовой «вектор смысла» (так называемое вложение, embedding) и сравнили с двумя образцами: «избегать ценовой войны» и «начать ценовую войну». Из 239 предложений 221 оказалось ближе к «избегать». То есть подавляющее большинство упоминаний войны — это желание её не допустить, и у первой инструкции таких мыслей больше.

Дальше — самое интересное. Корреляцию авторы превращают в причину с помощью имплантации. Для подсадки взяли три реальные фразы из планов агентов, ближе всего стоящие к идее «избегать войны». По смыслу они такие: избегай резких падений цены, чтобы не спровоцировать ценовую войну и потерю прибыли; не сбивай цену слишком резко, иначе нездоровая ценовая война в итоге съест прибыль; раз есть риск войны, не подрезай конкурента без конца, чтобы защитить маржу.

Дальше — механика. Каждый прогон перематывают к одному из ранних периодов (со второго по тринадцатый) и подменяют агенту его план на одну из этих фраз, а файл наблюдений стирают, чтобы он не противоречил подложенному плану. Так, по 42 прогонам и обоим агентам, получили больше трёх тысяч наблюдений. Результат: после подсадки «военной» мысли цена поднимается примерно на величину, равную пяти процентам монопольной наценки. Проще говоря, агент читает подложенную мысль и действует по её смыслу — поднимает цену. Причём эффект сильнее у агентов по второй инструкции, а у первой он слабее. Это и значит, что первая инструкция и так предрасположена избегать ценовых войн, даже когда прямо об этом не пишет: подсказывать ей «мир» почти нечего — она и без того миролюбива.

Примечание. Это осторожный вывод. Эффект — результат нескольких изменений разом: и подменённого плана, и пустого файла наблюдений. Но авторы показывают, что если подставлять мысли противоположного смысла, цена меняется в другую сторону, — а значит, агенты и впрямь реагируют на смысл текста, а не просто на сам факт вмешательства.

4.2. Анализ на траектории: как агенты ведут себя на самом деле

Теперь — сами цены. Авторы строят простую регрессию: как цена агента зависит от его собственной цены в прошлом периоде и от цены соперника в прошлом периоде. Выходит две устойчивые закономерности. Во-первых, чем выше была цена соперника, тем выше ставит агент, — это и есть ответ «награда за награду, наказание за наказание». Во-вторых, своя прошлая цена тоже тянет текущую вверх — цены «липкие», то есть награды и наказания тянутся несколько периодов, постепенно затухая.

Сравнение двух инструкций снова показательно. У агентов по первой инструкции схема «награда–наказание» круче и устойчивее: они примерно вдвое сильнее подхватывают и свою прошлую цену, и движение соперника, а значит, дольше держат линию. То есть именно те агенты, что больше боятся ответной ценовой войны, и сами наказывают жёстче, когда соперник сбивает цену. Поведение самого «успешного» в удержании высоких цен агента в точности совпадает с крутой схемой «награда–наказание» — признаком стратегий сговора.

Два анализа, вместе взятые, рисуют согласную картину. Вне траектории агенты «боятся» ответной войны и потому избегают снижений; на траектории — действительно отвечают снижением на снижение и повышением на повышение, причём с затуханием. Это ровно то сочетание скрытой угрозы и реального ответа, которое теория сговора олигополий описывает уже полвека.

5

Широкий анализ планов агентов

В разделе 4 авторы разобрали один механизм — страх ценовой войны. В разделе 5 они ищут и другие, но уже на всём массиве текста. Все 88 419 предложений разбили по смыслу на 20 групп (кластеров): перевели каждое в вектор смысла, упростили и собрали в группы стандартным методом. Затем каждую группу коротко описали с помощью отдельной модели.

Картина такая. Планы по второй инструкции (та, что даёт более низкие цены и прибыль) заметнее всего перевешивают в группе «продолжать подрезать цену конкурента», а также в группах про эксперименты с ценой. Планы по первой инструкции (более высокие цены и прибыль) сильнее всего перевешивают в группе «держать цену в прибыльном диапазоне», а также в группах про удержание уровня цен и реакцию на конкурента — то есть про более пассивные, «удерживающие» идеи. Это ровно согласуется с тем, что первая инструкция осторожнее относится к развязыванию ценовой войны.

Чтобы убедиться, что это не игра слов, авторы снова применили имплантацию — теперь с фразами про «подрезание». Подсадка такой фразы опускает цену примерно на те же пять процентов монопольной наценки. И здесь эффект сильнее у первой инструкции, а значит, вторая инструкция сама по себе склонна к подрезанию. Так подтверждается: смысл записанных планов действительно управляет ценой, а разные инструкции заранее задают агенту разный «характер».

6

Обсуждение и выводы для политики

Главный итог прост и неприятен. Опасения насчёт автономного сговора, которые раньше высказывали о разных ценовых алгоритмах, в полной мере относятся и к языковым моделям — а может, и сильнее. Причём эти агенты свободны от недостатков, из-за которых раньше сомневались в реальности такого сговора. Авторы напоминают предупреждение Тобиаса Кляйна, который ещё раньше выделил автономный сговор как форму, к которой нынешние правоприменительные подходы приспособлены хуже всего.

«Самая большая тревога возникает, когда алгоритмы учатся оптимально строить картели сами по себе… Такой исход, случись он, очень трудно преследовать по закону, ведь бизнес, применяющий такие алгоритмы, может даже не знать, какую стратегию усвоил алгоритм».

Тобиас Кляйн

Авторы честно оговаривают пределы своей работы. Их рынок прост и не отражает всей сложности реальной жизни, а горизонт времени взят один. Исследовать более богатые условия они оставляют будущим работам.

Отдельная загадка — откуда у готовой модели берётся привычка избегать ценовых войн. Точно сказать нельзя: в информатике пока не умеют надёжно привязывать черты поведения модели к конкретным документам из её обучения. Но авторы указывают на тревожный парадокс. Модели учат на общедоступных текстах, а текстов про антимонопольные дела становится всё больше — в том числе, возможно, про сами ИИ-алгоритмы. Если модели впитывают эти тексты, их склонность к сговору может даже усиливаться. Получается, антимонопольные разбирательства способны нечаянно делать автономный сговор более частым.

Почему вообще можно верить объяснениям, которые модель пишет сама о себе? Авторы специально это проверяют: ведь известно, что «рассуждения» модели не всегда честно отражают её действия. Именно для проверки и нужен метод имплантации — он доказывает причинную связь между написанным и сделанным, а не просто совпадение. Здесь, кстати, видно преимущество ИИ-подопытных над людьми. В похожем исследовании живых менеджеров выяснили, что управленцы с высокими когнитивными навыками склонны держать высокие цены, а с низкими — подрезать конкурента и переоценивать выгоду от этого. Но у людей нельзя доказать причину: вдруг сами способности напрямую влияют и на то, и на другое. У ИИ-агента причину доказать можно — достаточно подменить ему мысль и посмотреть на действие.

Почему это трудно регулироватьБезобидные на вид слова в инструкции сильно влияют на цены, а то, как вход модели превращается в выход, непрозрачно. Запрет отдельных фраз бесполезен: близкие по смыслу формулировки дадут тот же результат. И конечный пользователь не способен распознать проблему сам.

Последний момент особенно коварен. Представьте добросовестного продавца, который и не думает о сговоре. На всякий случай он прямо спрашивает у модели, не станет ли она сговариваться, — и та успокаивает: нет, не стану, это незаконно и неэтично. Авторы показывают такой ответ ChatGPT. Он даже может быть проявлением «угодливости» модели — склонности отвечать то, что хочет услышать собеседник. И вот несколько таких добросовестных продавцов ставят языковые модели назначать цены — а модели, как показано в статье, всё равно скатываются к поведению, похожему на сговор, во вред покупателям. Все действовали честно, а итог — как при картеле. Вот почему проблему так трудно и заметить, и предъявить: виноватого в привычном смысле просто нет.

Примечание. В опыте авторы нарочно перекрыли агентам любые каналы связи, кроме самих цен. В реальности, где такие каналы есть, эффект может быть ещё резче: авторы ссылаются на опыт, где модели нашли способ переговариваться и использовали его для сговора.

Остаются открытые вопросы, которые будут только острее. Каковы лучшие практики применения языковых моделей для ценообразования? Как фирме следить за «стратегическими намерениями» своего ценового алгоритма, если тот не умеет внятно их изложить? И что всё это значит для государственной политики? По мере того как языковые модели входят в обиход, эти вопросы из теоретических становятся насущными.

Приложения

Проверки на прочность, монополия и аукционы

Основную часть статьи дополняют обширные приложения. Пересказываю коротко, что они добавляют.

Проверки на прочность. Главный результат сохраняется при случайном шуме в спросе, когда одна и та же цена в разные «дни» приносит разную прибыль. Сохраняется он и при разном качестве товаров двух фирм: обе держат завышенные цены, а фирма с товаром выше качеством ставит и более высокую цену. Наконец, он сохраняется, когда две фирмы используют разные инструкции. В этом смешанном случае обе всё равно держат завышенные цены, но складывается любопытный разрыв: агент по «мирной» первой инструкции ставит выше, а агент по второй, держа цену ближе к сиюминутно выгодной, в итоге зарабатывает больше. Миролюбивый поддерживает высокий уровень цен, а его сосед тихо снимает с этого сливки.

Попытка сбить сговор указанием «цени будущее меньше». Сговор держится на заботе о будущем: наказание ведь наступит потом. Поэтому напрашивается рецепт — велеть агенту ценить будущую прибыль меньше нынешней. Для рациональных игроков и для живых людей такой приём ослабляет сговор. Авторы добавили подобное указание к инструкции — и сговор не ослаб: цены и прибыль почти не изменились. Более того, разговор о будущем — пусть даже в духе «оно менее важно» — заставил модель думать о будущем больше и чаще поминать ценовые войны. Авторы сравнивают это с известным «эффектом обратного действия»: попробуйте нарочно не думать о чём-то — и будете думать именно об этом. Это ещё раз показывает, как непредсказуемо отзываются в поведении модели, казалось бы, разумные правки инструкции.

Новое поколение модели. Главный опыт ставили на GPT-4 в конце 2023 года. Два года спустя, в феврале 2026 года, авторы повторили его на GPT-5.2 с высоким уровнем «рассуждения». Склонность к завышенным ценам осталась: при конкурентной цене около 1,47 и монопольной около 1,92 средняя цена встала примерно на 1,79 — то есть посередине, но ближе к монопольной стороне. Прибыль тоже оказалась примерно посередине между нэшевской и монопольной. То есть даже сильно поумневшая флагманская модель, выпущенная через два года после первого опыта, по-прежнему проявляет автономный сговор. В продолжении этой работы ту же склонность, в разной степени, нашли и у моделей Claude, и у Gemini.

Рынок с одним продавцом. Прежде чем сталкивать агентов, авторы проверили, умеют ли модели вообще грамотно назначать цену, когда соперника нет. Это необходимое условие: кто не справляется в одиночку, тому нечего делать и в конкуренции. Сравнили пять моделей своего времени: GPT-3.5, GPT-4, Claude Instant, Claude 2.1 и Llama 2. Лучшей с большим отрывом оказалась GPT-4: во всех прогонах она быстро сходилась к монопольной цене и почти всё время держала около 99 процентов возможной прибыли. Остальные модели справлялись заметно хуже — одни не сходились к оптимуму, другие выдавали неразборчивый ответ. Именно поэтому для главного опыта взяли GPT-4.

Любопытная деталь: модель Claude 2.1 несколько раз просто отказалась выполнять задачу по этическим соображениям, не желая «советовать стратегию, которая могла бы манипулировать ценами в ущерб потребителям». Отдельно авторы показали, что «память» через планы и наблюдения действительно важна. Они перепробовали варианты: стирать планы, стирать наблюдения, стирать и то и другое. Когда память убирали полностью, к монопольной цене сходилась лишь половина прогонов вместо всех. Так подтвердилось, что для разумного поведения агенту нужна какая-то преемственность мысли между ходами.

За пределами цен: аукционы. Авторы проверили, распространяется ли вывод на аукционы. Взяли повторяющийся аукцион первой цены с двумя участниками — ту среду, где ранее сговор показали на Q-обучении. В аукционе первой цены победитель платит столько, сколько сам поставил, поэтому в честном равновесии разумно ставить всю ценность предмета и прибыли почти не оставлять. Снова две инструкции: одна напирает, что меньшая выигрышная ставка даёт больше прибыли, другая — что более высокая ставка чаще выигрывает. Первая инструкция привела к ставкам заметно ниже истинной ценности предмета: участники как бы договариваются молча, их прибыль заметно выше, а выручка устроителя аукциона ниже. Вторая инструкция дала ставки около полной ценности и почти нулевую прибыль участникам. Так сговор по типу картеля проявляется и на аукционах, и снова всё решает пара фраз в инструкции.

Итоги

Главные выводы

  1. Ценовые агенты на больших языковых моделях, получив лишь общее задание «максимизировать прибыль в долгую» и ни намёка на сговор, сами и быстро приходят к надконкурентным ценам и завышенной прибыли — во вред покупателям.
  2. Это и есть долгожданный ответ на вопрос политики: автономный сговор существует у генеративного ИИ, причём без препятствий (долгого обучения, лёгкой уязвимости), что мешали старым алгоритмам.
  3. Мелкие, на вид безобидные правки инструкции закономерно меняют степень сговора: напоминание о прибыли в долгую даёт цены близко к монопольным, а призыв подрезать конкурента — ниже, хотя всё ещё выше конкурентных.
  4. Новый метод имплантации доказывает причину, а не совпадение: подсадка агенту мысли об избегании ценовой войны поднимает его цену, подсадка мысли о подрезании — опускает, строго по смыслу подложенного текста.
  5. На самой траектории агенты ведут себя по схеме «награда–наказание» с затухающей памятью, и у «мирной» инструкции эта схема круче и устойчивее — классический признак сговора.
  6. Результат устойчив к шуму, асимметрии и смене поколения модели (вплоть до GPT-5.2), проявляется и на аукционах, а движет им отчасти заученное стремление избегать ценовых войн, источник которого в обучении пока не установлен.
  7. Для регулятора это особый вызов: намерения модели непрозрачны, запрет отдельных слов бесполезен, а добросовестные продавцы могут вместе прийти к сговору, каждый действуя честно и даже прямо спросив модель, не станет ли она сговариваться.