Аудио-издание · изложение на простом русском

Дизайн механизмов для больших языковых моделей

Пол Дюттинг, Вахаб Миррокни, Ренато Паес Леме, Хайфэн Сюй, Сонг Цзо
Paul Dütting, Vahab Mirrokni, Renato Paes Leme, Haifeng Xu, Song Zuo (Google), «Mechanism Design for Large Language Models», arXiv:2310.10826, 2023 (переработано в 2024; WWW 2024). Оригинал: arxiv.org/abs/2310.10826. © авторы (неисключительная лицензия arXiv).
Это не дословный перевод, а полное изложение статьи для прослушивания: сохранены все аргументы, выводы, цифры и примеры, формулы пересказаны словами, список литературы и технические приложения опущены. Примерное время прослушивания: 25 минут.

О чём эта статья

Пятеро исследователей из Google — Пол Дюттинг, Вахаб Миррокни, Ренато Паес Леме, Хайфэн Сюй и Сонг Цзо — в 2023 году задали необычный вопрос. В вебе рекламу выбирают аукционы: рекламодатели торгуются за право показать своё объявление. А что, если текст объявления не выбирают из готовых, а порождают на ходу языковой моделью, и несколько рекламодателей хотят повлиять на один и тот же текст сразу?

Их ответ — токенный аукцион. У каждого рекламодателя своя языковая модель и одна-единственная ставка. Аукцион идёт не по готовому объявлению, а по каждому слову: на каждом шаге он смешивает «пожелания» всех моделей, взвешивая их ставками, и так рождается совместный текст. Авторы формулируют два естественных требования честности, доказывают, что вместе они сводятся к условию монотонности, и строят по образцу классического аукциона второй цены правило оплаты — платит только тот, кто реально сдвинул текст в свою сторону.

Для того, кто строит маркетплейс агентов, это ранний и чистый пример новой задачи: как объединить выходы нескольких ИИ, у которых разные интересы, в один результат, да ещё так, чтобы никому не было выгодно хитрить. Авторы показывают, что это можно сделать поверх обычных языковых моделей, почти не добавляя вычислений, — и подтверждают работу на настоящей модели.

Большая языковая модельМодель, которая по началу текста предсказывает, каким будет следующий кусочек. Она не хранит внутренней памяти: каждый раз получает текущую строку и выдаёт распределение вероятностей на следующий токен.
ТокенЕдиница текста, из которой складываются слова и фразы: часть слова, символ, число, служебный знак начала или конца. Любой текст — это цепочка токенов, и наоборот.
Авторегрессионная генерацияСпособ, которым модель пишет текст: берёт распределение на следующий токен, вытягивает из него один токен, дописывает его к строке и повторяет всё заново — слово за словом.
Токенный аукционМеханизм, который объединяет несколько языковых моделей в один текст. Работает по одному токену за раз: каждая модель даёт своё распределение, аукцион смешивает их с учётом ставок и выдаёт общий результат плюс правило оплаты.
Устойчивые предпочтения (robust preferences)Осторожное описание вкусов рекламодателя: не полная числовая оценка каждого исхода, а частичный порядок. Один исход лучше другого, если по каждому токену он ближе к желаемому и отклоняется в ту же сторону.
Функция агрегацииПравило, которое из ставок и распределений всех моделей делает одно итоговое распределение на следующий токен. Монотонная — значит, выше ставка даёт более желанный для этого участника результат.
Аукцион второй цены (Викри)Классический аукцион, где победитель платит не свою ставку, а наименьшую, при которой он ещё выигрывает, — «критическую» ставку. Авторы переносят эту идею на токены.

1

Введение: аукцион за текст, которого ещё нет

Сегодня аукционы — главный инструмент, решающий, какую рекламу показать пользователю. Рекламодатели торгуются за право поставить своё объявление рядом с обычным содержимым. У разных форматов — текст, баннеры, видео, приложения — свои тонкости, и под каждый придумывали свои аукционные приёмы. Авторы берутся за новый, нарождающийся формат: содержимое, которое порождает искусственный интеллект. Точнее — за использование аукционов как инструмента, чтобы влиять на выход большой языковой модели.

Картина такая. Некое место в вебе — часть страницы, элемент интерфейса чат-бота, реплика персонажа в игре — отведено под коммерческое содержимое, и за влияние на него торгуются рекламодатели. У каждого есть своя языковая модель, способная породить текст для этого места, и готовность заплатить за показ. Простейшее решение — собрать ставки и дать победителю опубликовать что угодно. Оно работает, но не использует главное достоинство языковых моделей — умение творчески соединять разные идеи.

Авторы приводят такой пример. Сначала модель пишет по отдельному объявлению для выдуманного курорта Stingray Resort и столь же выдуманной авиакомпании Maui Airlines. Но та же модель достаточно гибка, чтобы сделать из них одно общее объявление:

«Летите в рай с Maui Airlines и ощутите волшебство Гавайев в Stingray Resort. Потрясающие виды, роскошные номера и бесконечные развлечения ждут вас. Забронируйте отпуск мечты уже сегодня».

Пример совместного объявления из статьи (в переводе)

Отсюда идея: аукцион, где и курорт, и авиакомпания подают свои модели и ставки, а эти входы определяют их заметность в итоговом тексте.

Четыре непривычных вызова

Языковые модели — технология с новыми чертами, и многие из них прямо касаются дизайна аукциона. Авторы выделяют четыре трудности.

Что предлагают авторы

Первый вклад — сам формализм, «модель токенного аукциона». Токены — это кирпичики текста. Ключевая черта современных моделей: они не имеют состояния, то есть не хранят внутренней памяти. Модель просто превращает строку-префикс в распределение на следующий токен, а текст строится авторегрессионно — токен вытягивается, дописывается, и всё повторяется. Токенный аукцион работает по одному токену за раз и объединяет несколько моделей в общий выход. Устроитель имеет доступ к моделям-участникам (к их функциям порождения текста), а каждый участник вдобавок подаёт одну скалярную ставку. На выходе — агрегированное распределение и правило платежей.

На первый взгляд это странно: рекламодатель думает о готовом объявлении, а не об отдельных словах. Но существующие модели и не планируют текст целиком наперёд — их предпочтения выражены как желаемые распределения всего лишь на следующий токен. Модель можно считать сжатой выжимкой сложных вкусов агента над длинными цепочками слов в простую пошаговую генерацию. Авторы ищут баланс: честно раскрыв модель устроителю, агент даёт подсказку о желаемом распределении, а ставки нужны, чтобы взвешивать агентов между собой.

Ключевой выборАвторы строят непрямой механизм: агент отдаёт свою модель и одну ставку, а не описывает все свои предпочтения напрямую. Прямой механизм здесь нереалистичен. Исход — это многомерное распределение, а не один предмет; выяснить у агента полную функцию полезности на всех возможных распределениях токенов невозможно; и это была бы задача труднее, чем та, что модели вообще умеют решать.

Чтобы рассуждать о честности при минимуме допущений, авторы описывают вкусы агентов как устойчивые предпочтения — частичные порядки над распределениями. На этой основе они формулируют два требования, которые считают минимальными: монотонность платежа (платёж выше тогда и только тогда, когда итог ближе к желаемому) и согласованность агрегации (относительное предпочтение между двумя своими ставками не должно зависеть от ставок других). Главный результат: любой механизм с этими двумя свойствами стратегически эквивалентен механизму с монотонной функцией агрегации. А для таких функций при устойчивых предпочтениях удаётся построить аналог оплаты по второй цене. Наконец, авторы проектируют конкретные функции агрегации из принятых в обучении моделей функций потерь и демонстрируют всё на настоящей модели.

Примечание о месте этой работы. Задача близка нескольким направлениям, но не совпадает ни с одним. С дообучением и обучением с подкреплением по обратной связи от человека её роднит цель согласовать модель с желаемым поведением, но здесь агрегируются распределения токенов на уровень выше, и главная трудность — несовпадение интересов при раскрытии предпочтений, тогда как разметчиков в обучении с подкреплением считают честными. С обучением в контексте общее то, что веса модели не меняются, но там влияют через удачный префикс, а не через смешивание нескольких моделей. Есть связь и с «комбинаторными общественными проектами»: агрегированную модель можно считать общим благом, которое по-разному выгодно разным агентам, — но здесь выбирают многомерное распределение при лишь частичном знании вкусов, а не элемент из дискретного множества с заданными функциями ценности. От работ об агрегации бюджетных предложений её отличает наличие денег и весов по ставкам. От классического робастного дизайна механизмов — отказ от функций ценности: авторы опираются лишь на частичные, «очевидные» предпочтения. Позже появились продолжения: Дубей с коллегами изучили торги за место внутри сгенерированного моделью резюме, Сумальяс с коллегами построили правдивый механизм на образцах из эталонной модели, Мордо с коллегами — спонсируемые ответы на вопросы.

2

Подготовка: язык моделей и токенный аукцион

Модель как функция от строки к распределению

Большую языковую модель авторы абстрагируют как функцию: она берёт неполное предложение и выдаёт распределение на следующий токен, который его продолжит. Есть набор токенов и набор возможных последовательностей ограниченной длины. Генерация идёт так: по начальному запросу модель вытягивает первый токен из своего распределения, дописывает его, снова подаёт всю строку, вытягивает следующий — и повторяет, пока не выпадет служебный токен конца. Если строка становится слишком длинной, у неё берут хвост нужной длины. Главное свойство — модель без состояния: у неё нет памяти сверх самой порождённой цепочки, и каждый токен берётся независимо.

Чтобы говорить об обучении, полезно вспомнить его стадии. Модель — это сеть с огромным вектором весов, которые подбирают, минимизируя функцию потерь. Авторы сводят стадии в небольшую таблицу, и её смысл прост. Предобучение идёт на общих текстах из сети и книг, стоит очень дорого и даёт общую базу для всех задач. Тонкая настройка под инструкции — на данных под конкретную задачу, средней цены, подгоняет поведение под задачу. Обучение с подкреплением по оценкам людей — тоже средней цены, служит контролю безопасности и снижению вредного поведения. Обучение в контексте по нескольким примерам — через тщательно составленные запросы, почти бесплатно, влияет на поведение в реальном времени. Некоторые приёмы объединения моделей, которые разберут дальше, по форме напоминают именно шаги подкрепления и настройки.

Как устроен токенный аукцион

Главная трудность — сравнивать «полезности» моделей над разными выходными распределениями. Поясним на примере. Пусть желаемое распределение агента на двух токенах — шесть к четырём. Сравним два исхода: пять к пяти и восемь к двум. Какой из них агенту милее, неясно: второй дальше от желаемого по расстоянию, зато даёт больше вероятности первому токену, который модель и так предпочитала. А вот исход семь к трём явно лучше, чем восемь к двум: он отклоняется в ту же сторону по каждой доле, но по величине меньше. Отсюда вывод: полную систему вкусов над всеми распределениями задать трудно, но естественно принять частичный порядок. Так рождается понятие устойчивых предпочтений: исход устойчиво предпочтительнее другого, если по каждому токену он ближе к желаемому и отклоняется в ту же сторону. Часть пар при этом просто несравнима.

Сам механизм — это пара из функции агрегации и функции платежей. Функция агрегации берёт вектор ставок и распределения всех участников и выдаёт одно распределение на токен. При фиксированных ставках ею пользуются так же, как обычной генерацией: от запроса раз за разом вытягивают токен из агрегированного распределения. Важно, что это согласовано с моделями — они и так выдают свои распределения, и никаких лишних обращений к ним не нужно. Функция платежей задаётся по токену и не зависит от стадии, как и сама генерация; ожидаемый платёж получают усреднением по токенам. Авторы подчёркивают: вряд ли агент может осмысленно исказить выходные распределения своей модели, чтобы добиться более выгодного итога, поэтому непрямой механизм здесь — разумная золотая середина.

3

Стимулы в токенных аукционах

Цель этого раздела — честность при как можно меньшем числе допущений о вкусах агентов. Сначала авторы формулируют два естественных свойства, затем показывают их равносильность условию монотонности, а потом строят по образцу второй цены правило оплаты.

Два требования честности

Первое — монотонность платежа: при двух своих ставках агент платит больше тогда и только тогда, когда получает распределение, которое для него не хуже. Если бы платёж не был монотонным, участники стали бы подкручивать ставки, чтобы добиться лучшего исхода за меньшие деньги. Полезное следствие: если две разные ставки дают один и тот же итог, платёж тоже обязан совпасть. Второе — согласованность агрегации: относительное предпочтение между двумя своими ставками не должно зависеть от ставок соперников. Если при каких-то их ставках первая ставка строго лучше второй, то при любых других их ставках она должна быть не хуже. Это снимает тревогу, что одна и та же ставка даст то лучший, то худший исход в зависимости от чужого поведения.

Монотонная агрегация и «принцип раскрытия»

Далее идёт результат в духе принципа раскрытия. Функция агрегации называется монотонной, если более высокая ставка любого агента даёт ему не менее желанное распределение. Авторы доказывают: любой механизм с согласованной агрегацией и монотонным платежом стратегически эквивалентен механизму с монотонной агрегацией и монотонным платежом. «Стратегически эквивалентны» значит, что после того как каждый агент применит некое преобразование к своей ставке, итоговое распределение и все платежи совпадут. Практический смысл — без потери общности можно заниматься только монотонными функциями агрегации.

Ключевой результатКазалось бы, согласованность слабее монотонности: монотонность задаёт полный порядок исходов по ставке, а согласованность ничего не требует там, где одна ставка не строго лучше другой. Но при добавлении естественного требования монотонности платежа оба свойства оказываются, по сути, одним и тем же. Это и позволяет свести выбор к монотонным правилам агрегации.

Доказательство опирается на две вспомогательные леммы. Первая: монотонный платёж к данной функции агрегации существует тогда и только тогда, когда предпочтения агента задают полный порядок над распределениями, достижимыми изменением его ставки при фиксированных чужих ставках. Вторая: если согласованная агрегация порождает такой полный порядок, то есть преобразование ставок, превращающее её в монотонную. Вместе они и дают нужное преобразование: одну и ту же замену ставок применяют и к агрегации, и к платежу, и первая становится монотонной, а второй сохраняет монотонность.

Авторы приводят два примера из нынешней практики машинного обучения. Линейное правило смешивает желаемые распределения участников как взвешенную по ставкам сумму; оно монотонно относительно устойчивых предпочтений. Лог-линейное правило смешивает их в логарифмическом пространстве; оно не монотонно — авторы показывают это небольшим примером с двумя агентами, где средний исход при любых крайних ставках не дотягивает до того, что даёт равная ставка.

Правило второй цены через устойчивую выборку

Дальше авторы проверяют, допускает ли монотонная агрегация аналог второй цены. В аукционе Викри победитель платит критическую ставку — ту, при которой он переходит из проигрыша в выигрыш. Чтобы перенести это на токены, вводится устойчивая выборка. Реализацию распределения описывают как функцию от ставки и внешнего случайного источника: при зафиксированном источнике всё становится детерминированным. Токены делят на «недобранные» (тех, что сейчас выпадают реже, чем хотел бы агент) и «перебранные» (что выпадают чаще). Выборка устойчива, если при каждом значении случайного источника есть один недобранный токен, один перебранный и пороговая ставка: ниже порога выпадает перебранный токен, на пороге и выше — недобранный. Авторы доказывают, что у любой монотонной агрегации такая устойчивая реализация существует.

Ключевой результатУстойчивая выборка естественно рождает правило второй цены. При данном случайном источнике: если выпал перебранный токен — тот же, что выпал бы при нулевой ставке, — агент платит ноль. Если его ставка была достаточно велика, чтобы сдвинуться с перебранного токена на недобранный, он платит критическую ставку этого источника. То есть платит лишь тот, кто реально улучшил для себя исход.

Удивительно, но ожидаемый платёж не зависит от конкретной реализации выборки, лишь бы она была устойчивой. Он пропорционален тому, насколько с ростом ставки выборка сдвигает итог к желаемому распределению агента, и записывается в духе классической формулы Майерсона — только вместо вероятности распределения туда входит расстояние (по полной вариации) между желаемым распределением агента и реально порождённым. Монотонность агрегации здесь равносильна простому поведению по токенам: с ростом ставки вероятность недобранных токенов не падает, а перебранных — не растёт, и это ровно то, что позволяет определить критическую ставку. Практическая выгода: рекламодателю ясно, что он платит, только если способен улучшить исход, а при фиксированном случайном источнике легко оценивать «что было бы, если», ведь у каждого токена всего два возможных исхода. Авторы оговаривают: единую устойчивую реализацию сразу для всех агентов построить удаётся не всегда — они приводят контрпримеры.

4

Как устроить функцию агрегации

До сих пор функцию агрегации считали данной. Теперь авторы её проектируют, следуя двум принципам. Сначала задают агрегированную функцию потерь — общую меру недовольства агентов итоговым распределением, взвешенную их ставками: вклад каждого агента — его ставка, умноженная на то, насколько итог далёк от его желаемого распределения. Затем меру расхождения берут из типичных для обучения моделей функций потерь, прежде всего из KL-дивергенции — стандартной меры различия между распределениями.

Чтобы говорить об обучении, авторы напоминают его устройство: веса подбирают так, чтобы минимизировать потери на данных, и делают это последовательными уточнениями — предобучение, затем настройка, затем подкрепление. На первой стадии минимизируют KL-дивергенцию между данными и выходом модели. На стадии подкрепления задача иная: максимизировать награду, оставаясь близко к уже настроенной модели (это и есть алгоритм, известный как PPO). Именно эти две формы вдохновляют два правила агрегации.

Линейное правило из KL-потерь

Первый мысленный эксперимент: считаем, что каждую модель получили, обучив на своём наборе данных, и теперь «дообучаем» общую модель на объединённых данных, взвешенных ставками. Авторы доказывают, что решение на объединённых данных можно собрать из решений на отдельных. Отсюда — вывод: функция агрегации, минимизирующая такую KL-потерю, есть линейная комбинация желаемых распределений, взвешенная ставками. У этого правила двойная выгода: оно и монотонно, и согласовано с тем, как модели обучают. Больше того, чтобы вытянуть каждый токен, достаточно обратиться к одной модели: выбрать её пропорционально ставкам и взять токен из неё. Правда, для расчёта платежей по второй цене всё равно придётся опросить все модели.

Лог-линейное правило из потерь подкрепления

Второй мысленный эксперимент: все агенты используют одну и ту же настроенную модель, но у каждого своя функция награды, и их объединяют, взвешивая ставками, в задаче подкрепления. Аналогично авторы показывают, что решение собирается из частных, и функция агрегации, минимизирующая эту потерю, есть лог-линейная комбинация желаемых распределений. Она разумна, если вкусы агентов согласованы с KL-потерей стадии подкрепления, но, как уже отмечалось, не монотонна — и потому не вписывается в подход устойчивых стимулов.

Ключевая развилкаОба правила оптимальны каждое для своей функции потерь. Но линейное правило монотонно относительно устойчивых предпочтений и совместимо с честными стимулами, а лог-линейное — нет. Так теория стимулов и теория обучения сходятся в одной точке: именно линейное смешивание распределений одновременно и хорошо обосновано обучением, и безопасно с точки зрения стимулов.

5

Демонстрация на настоящей модели

Чтобы подтвердить идею, авторы реализуют оба правила на практике. Обычные модели выдают готовый текст, а здесь нужно заглянуть внутрь — к распределениям на токены на каждом шаге. Поэтому берут особую версию модели Google Bard с изменённым способом вывода, дающим доступ к этим распределениям. Разных «агентов» делают из одной базовой модели настройкой запросом: базовая модель плюс свой для каждого агента запрос ведёт себя как модель этого агента. Самому запросу при этом задают роль эксперта по рекламе — приём, который, как показали прежние работы, улучшает качество генерации. Выгода прямая — достаточно одной модели, к которой обращаются с разными запросами, вместо дорогого одновременного обслуживания нескольких. Это намекает и на более общую возможность: обучить одну универсальную рекламную модель, которая вместе с запросом конкретного рекламодателя ведёт себя как его персональная.

Первый пример — совместный маркетинг. Два агента рекламируют свои бренды, выдуманные «Alpha Airlines» и «Beta Resort», вокруг общей темы «Гавайи». Бренды нарочно вымышлены, чтобы модель не вытащила готовую рекламу, и названы нейтрально, чтобы не плодить выдумки. Соотношение сторон задают одной величиной — долей первой ставки в сумме двух ставок. По мере того как эта доля падает от единицы к нулю, тексты у обоих правил идут по схеме «только Alpha Airlines» → «и Alpha Airlines, и Beta Resort» → «только Beta Resort». Переломы происходят на долях около 75 и 40 процентов для линейного правила и около 50 и 45 процентов для лог-линейного. Оба дают осмысленный, читаемый текст, плавно переходящий от одного рекламодателя к другому, а в середине — совместное объявление. Вот как выглядит такой промежуточный текст у линейного правила:

«Alpha Airlines доставит вас на Гавайи, где вас ждёт недельный отдых в Beta Resort».

Совместный текст при близких ставках (в переводе)

Второй пример — конкурирующие бренды: «Beta Resort» против «Gamma Hotel». Здесь по мере сдвига доли ставки текст идёт просто «только Gamma Hotel» → «только Beta Resort», без общего объявления посередине: конкуренция уводит модель от того, чтобы хвалить обоих в одном креативе. Переломы у обоих правил — около 45–50 процентов. Авторы честно отмечают огрех: при близких ставках линейное правило иногда путало бренды и порождало несуществующие «Gamma Resort» и «Beta Hotel». Они ожидают, что это лечится дополнительным обучением под задачу, которое заставит держаться точных названий.

Примечание. Весь показ сделан на модели общего назначения, не заточенной под эту задачу. Авторы называют это «доказательством осуществимости» и подчёркивают, что при должной тонкой настройке под конкретную задачу качество можно заметно улучшить.

6

Заключение

Авторы предложили взгляд на объединение выходов нескольких языковых моделей как на задачу дизайна механизмов. Их формат — токенный аукцион — работает по одному токену за раз и позволяет моделям влиять на итог через одну скалярную ставку. Глядя на задачу через «робастную линзу», с минимумом допущений о вкусах агентов, они показали: естественные требования честности означают, что функция агрегации должна быть монотонной; а при устойчивых предпочтениях любая монотонная агрегация допускает платежи в стиле второй цены. Конкретные функции агрегации они вывели из привычных в обучении моделей функций потерь и подтвердили работу механизма на настоящей современной модели настройкой запросом.

Итоги

Главные выводы

  1. Новая задача. Когда рекламный текст порождается ИИ на ходу, несколько рекламодателей со своими языковыми моделями хотят влиять на один и тот же текст. Простое «победитель пишет всё» теряет способность моделей творчески соединять идеи.
  2. Токенный аукцион. Решение идёт по одному токену за раз: аукцион смешивает распределения всех моделей на следующий токен, взвешивая их одной скалярной ставкой каждого участника, и выдаёт общий текст плюс платежи — без лишних обращений к моделям.
  3. Непрямой механизм. Агент отдаёт свою модель и одну ставку, а не полную функцию полезности: выяснять вкусы над всеми распределениями токенов нереалистично и труднее, чем то, что модели умеют.
  4. Два свойства и монотонность. Монотонность платежа и согласованность агрегации вместе равносильны монотонности функции агрегации. Поэтому без потери общности достаточно рассматривать монотонные правила.
  5. Оплата по второй цене. Через устойчивую выборку у любой монотонной агрегации строится аналог аукциона Викри: участник платит ноль, если не сдвинул исход, и критическую ставку, если сдвинул. Ожидаемый платёж не зависит от реализации и выражается через расстояние между желаемым и порождённым распределениями.
  6. Линейное против лог-линейного. Из KL-потерь предобучения выходит линейное смешивание распределений — монотонное и совместимое с честными стимулами. Из потерь подкрепления выходит лог-линейное — обоснованное обучением, но не монотонное.
  7. Подтверждение на практике. На модели Google Bard с доступом к распределениям токенов оба правила дали осмысленные тексты, плавно переходящие между рекламодателями по мере смены ставок, с совместным объявлением при близких ставках и без него у конкурирующих брендов.