Как LLM выбирает ответ: что скрывают тесты с множественным выбором

ИИ 10 мин чтения

---

Серия недавних исследований по оценке языковых моделей зафиксировала неожиданный результат: одна и та же модель показывает разную точность на одном и том же тесте - в зависимости от порядка вариантов и способа декодирования. Когда модель отвечает на вопрос теста, она не просто «думает» - она распределяет вероятности по токенам. Именно в этом распределении прячутся системные ошибки, которые искажают оценку моделей и, что важнее, влияют на качество ИИ-инструментов, которыми вы пользуетесь каждый день. Разберём, что происходит внутри, почему это важно для тех, кто применяет ИИ в работе, и как не попасться на типичные ловушки при выборе и оценке таких систем.

Почему формат «выбери один из четырёх» обманывает и модели, и людей

Тесты с множественным выбором - самый распространённый способ проверить, насколько хорошо работает языковая модель. Логика понятна: дать вопрос, четыре варианта, посмотреть, угадает ли модель правильный. Быстро, дёшево, воспроизводимо. Но за этой простотой скрывается несколько серьёзных проблем.

Первая - модель не формирует ответ с нуля. Она видит метки A, B, C, D и назначает им вероятности ещё до того, как по-настоящему «прочитала» содержание вариантов. Исследования показывают: многие современные модели систематически предпочитают определённые позиции в списке или конкретные буквы-метки независимо от смысла ответа. Если правильный вариант оказался на «любимой» позиции модели - она ответит верно. Если нет - ошибётся, хотя понимание текста у неё не изменилось. Перестановка вариантов местами при тех же вопросах и ответах меняет измеряемую точность, хотя реальные знания модели остаются прежними.

Вторая проблема - сам формат подсказывает. Правильный ответ уже присутствует в списке, его не нужно генерировать. Это принципиально отличается от ситуации, когда нужно сформулировать ответ самостоятельно. Модель может набрать высокий балл на тесте, опираясь на статистические паттерны в данных, а не на реальное понимание задачи.

Третья - натаскивание. Популярные бенчмарки со временем попадают в обучающие данные новых моделей. Модель «видела» похожие вопросы и запомнила правильные метки, а не научилась рассуждать. Это делает сравнение моделей по таким тестам всё менее надёжным.

Что происходит с первым токеном и почему это критично

Когда языковая модель отвечает на вопрос с множественным выбором, первый токен её ответа - это и есть выбор варианта. Буква «A», «B», «C» или «D» появляется первой, и именно по ней засчитывается результат в большинстве автоматических систем оценки. Если первый токен ошибочный - ответ считается неверным, даже если дальнейшее рассуждение модели было бы правильным.

Стандартные методы декодирования - жадный выбор наиболее вероятного токена или температурное сэмплирование - не оптимизированы специально под эту задачу. Они могут давать первый токен, который статистически «удобен» модели, но не является лучшим ответом по существу вопроса.

Один из исследовательских подходов к этой проблеме - заранее задать модели структуру начала ответа, чтобы она сосредоточилась на содержательной части, а не тратила вычислительный ресурс на выбор формата. Такой метод «предзаполнения» части вывода позволяет существенно улучшить точность первого токена без изменения самих параметров модели - только за счёт модификации процедуры декодирования. Это важно: значит, одна и та же модель может показывать разные результаты на одном и том же тесте в зависимости от того, как именно организован процесс генерации ответа.

Для практика это означает: если вы оцениваете ИИ-инструмент по его точности на тестах, убедитесь, что тест измеряет то, что вам нужно, а не артефакт настройки декодирования.

Вероятности как мера уверенности: когда им можно доверять

Языковая модель не просто выбирает ответ - она назначает каждому варианту числовую вероятность. Теоретически это должно давать информацию о том, насколько модель уверена в своём выборе. На практике всё сложнее.

Модели, прошедшие этапы выравнивания - инструкционное обучение и обучение с обратной связью от людей - нередко теряют калибровку. Это значит, что числа, которые модель выдаёт как оценку своей уверенности, перестают соответствовать реальной точности её ответов. Модель может говорить «я уверена на 95%» и ошибаться в половине таких случаев, или наоборот - занижать уверенность там, где отвечает правильно.

Причина в том, что выравнивание оптимизирует модель под безопасность, полезность и следование инструкциям, но не под честность вероятностных оценок. Это два разных свойства, и улучшение одного может ухудшать другое.

Исследователи предлагают рассматривать выравнивание и калибровку как совместно оптимизируемую задачу, а не как последовательные независимые этапы. Специальное дообучение с учётом калибровки как целевой характеристики позволяет восстановить соответствие между заявленной уверенностью и реальной точностью - без заметной потери качества ответов.

Почему это важно для тех, кто использует ИИ в работе? Потому что системы, которые принимают решения на основе вероятностей модели - например, автоматически публикуют ответ или эскалируют запрос оператору - должны знать, насколько этим вероятностям можно доверять. Некалиброванная модель делает такие системы ненадёжными даже при высокой средней точности.

Почему модели галлюцинируют: механика, а не мистика

Галлюцинации языковых моделей - уверенные, но ложные утверждения - часто воспринимаются как случайный сбой или особенность архитектуры. На самом деле это предсказуемое следствие того, как модели обучают и оценивают.

Во время предобучения модель учится предсказывать следующий токен по огромному массиву текстов. Ошибочные факты в этих текстах не отделены от верных - они просто ещё один возможный исход. Модель не получает сигнала «это выдумка, не повторяй». Она учится быть статистически правдоподобной, а не фактически точной.

На этапе оценки ситуация усугубляется. Когда ответ модели сравнивают с эталоном, ответ «я не знаю» засчитывается как ошибка - наравне с неверным фактом. Система оптимизируется под уверенные ответы, потому что они чаще совпадают с эталоном, чем честное признание неопределённости. В итоге модель учится угадывать, а не сомневаться.

Это не аномалия конкретной модели - это системное свойство подхода к обучению. Пока целевая функция не различает «уверенная ошибка» и «честное незнание», модель будет предпочитать правдоподобную выдумку молчанию. Изменить это можно: явно поощрять ответы «не знаю» там, где у модели нет достаточных оснований, улучшать датасеты так, чтобы неопределённость была представлена как отдельный класс, менять метрики оценки.

Для пользователя практический вывод прост: не интерпретируйте уверенный тон модели как признак достоверности. Уверенность в формулировке и точность факта - разные вещи, и первое никак не гарантирует второе.

Чьи взгляды отражает модель: вопрос, который редко задают

Когда языковая модель отвечает на спорный вопрос - о климате, экономической политике, социальных нормах - она не выдаёт нейтральный срез общественного мнения. Она отражает взгляды тех, чьи тексты легли в обучающие данные и чьи оценки использовались при выравнивании.

Исследования, в которых ответы моделей сравнивались с репрезентативными опросами населения по десяткам демографических групп, показали: расхождения между позицией модели и мнением реальных групп сопоставимы по масштабу с крупными политическими разрывами внутри общества. Разные модели и разные настройки одной модели систематически тяготеют к взглядам определённых групп - как правило, более образованных или с определёнными ценностными установками.

При этом ответы моделей на опросные вопросы крайне нестабильны. Незначительное изменение формулировки вопроса, порядка вариантов или контекста может полностью изменить «мнение» модели. Это означает, что у модели нет внутренних убеждений в человеческом смысле - есть статистические паттерны, чувствительные к формату запроса.

Практический вывод: если вы используете языковую модель для анализа мнений аудитории, генерации контента на чувствительные темы или формирования ответов от имени бренда - стоит понимать, что модель привносит собственные смещения. Они не нейтральны и не всегда очевидны. Контроль tone of voice и ценностных установок в таких системах - не опция, а необходимость.

Именно поэтому в инструментах автоматизации ответов на отзывы, таких как SaleSynergy, настройка под tone of voice конкретного бренда - это не косметика. Это способ удержать коммуникацию в нужном смысловом поле, не полагаясь на то, что модель «сама угадает» нужную интонацию и позицию.

Интерпретируемость генерации: можно ли объяснить каждый токен

Одна из сложностей работы с языковыми моделями - непрозрачность процесса генерации. Модель выдаёт текст, но объяснить, почему именно это слово стоит на этом месте, стандартными средствами невозможно. Chain-of-Thought - рассуждение перед ответом - частично решает эту проблему, но рассуждение и итоговый текст идут в одном потоке и могут быть постфактум рационализацией, а не реальной причиной выбора.

Альтернативный подход - делегировать выбор каждого токена отдельной «объясняющей» модели, которая одновременно генерирует токен и фиксирует явное обоснование: какие альтернативы рассматривались, какие цели преследуются, какие вероятности учитываются. Такой протокол разделяет «модель, дающую логиты» и «модель, принимающую решение о выборе токена».

Преимущества подхода очевидны: каждый шаг генерации становится аудируемым, связь между заявленными мотивами и фактическим текстом - более прямой, чем в стандартном Chain-of-Thought. Это особенно ценно в сценариях, где требуется проверяемость: научные тексты, юридически значимые документы, коммуникация от имени бренда.

Ограничения тоже реальны: объясняющая модель сама может ошибаться или рационализировать задним числом. Остаётся вопрос, насколько её объяснения соответствуют тому, что происходит во внутренних представлениях базовой модели. Вычислительная стоимость такого подхода выше обычной генерации. Тем не менее как направление для повышения интерпретируемости - это один из наиболее конкретных и формализуемых методов из тех, что обсуждаются сейчас.

Быстрые модели для задач выбора: новый класс инструментов

Помимо стандартных языковых моделей, генерирующих длинный текст токен за токеном, появляется отдельный класс моделей, заточенных под задачи выбора из вариантов. Такая модель не генерирует развёрнутый ответ - она сразу возвращает распределение вероятностей по заданным вариантам. Это принципиально другая архитектура с принципиально другой скоростью.

В демонстрационных примерах подобные модели способны обрабатывать запросы порядка десяти раз в секунду - скорость, недостижимая для стандартных LLM при генерации текста. Это открывает применения, где нужна почти мгновенная классификация: маршрутизация запросов, фильтрация контента, быстрое ранжирование вариантов в реальном времени.

Оборотная сторона - стоимость. Такие модели пока доступны преимущественно через API по приглашениям, а их использование в интенсивных сценариях обходится заметно дороже стандартных решений. По имеющимся данным, в одном из демо-сценариев стоимость составляла около семи долларов в час при частоте около десяти запросов в секунду. Для большинства бизнес-задач это избыточно, но для специфических применений - например, систем реального времени - соотношение цена/скорость может оказаться приемлемым.

Важно понимать: такие модели решают узкую задачу быстрого выбора из вариантов, а не генерации связного текста. Это не замена языковым моделям общего назначения, а специализированный инструмент для конкретного класса задач.

Как применить это на практике: что делать прямо сейчас

Если вы выбираете или оцениваете ИИ-инструмент для работы с отзывами, аналитики отзывов маркетплейсов или автоматизации коммуникации - вот на что стоит обращать внимание, исходя из всего сказанного выше.

• Не доверяйте одному числу точности. Точность модели на тесте зависит от того, как именно организован тест: порядка вариантов, формулировок, метода декодирования. Один бенчмарк - это не полная картина. Просите показать поведение модели при перефразировании вопросов и перестановке вариантов.
• Проверяйте калибровку, а не только точность. Если система использует вероятности модели для принятия решений - например, решает, публиковать ли автоответ или передать запрос оператору - убедитесь, что эти вероятности откалиброваны. Высокая средняя точность при плохой калибровке означает непредсказуемое поведение в пограничных случаях.
• Контролируйте смещения в tone of voice. Модель привносит собственные ценностные установки и стилистические предпочтения. Для управления репутацией на маркетплейсе это критично: ответ, написанный «нейтральным» ИИ без настройки под бренд, может нести интонации и позиции, которые вам не нужны. Настройка tone of voice - не дополнительная функция, а базовое требование к инструменту.
• Не используйте опросы модели как источник данных о клиентах. Если вы пытаетесь понять мнение аудитории, спрашивая у языковой модели «что думают покупатели о категории X» - помните: модель отражает паттерны своих обучающих данных, а не реальные мнения ваших клиентов. Для аналитики отзывов маркетплейсов нужны реальные отзывы реальных покупателей, а не синтетические ответы модели.
• Требуйте объяснимости там, где это важно. Если автоответы на отзывы публикуются от имени бренда - у вас должна быть возможность понять, почему модель сформулировала именно так. Системы с настраиваемыми правилами и фиксируемыми решениями надёжнее чёрных ящиков, особенно когда нужно разобрать спорный случай.

Типичная ошибка - оценивать ИИ-инструмент только на «хороших» примерах. Попросите показать поведение на сложных, пограничных или провокационных отзывах. Именно там проявляются реальные ограничения: склонность к галлюцинациям, потеря tone of voice, некалиброванная уверенность. Сервис для селлеров, который хорошо работает на простых отзывах, но ломается на сложных - это риск для репутации, а не инструмент её защиты.

Автоответы на отзывы и аналитика отзывов маркетплейсов - это не просто экономия времени команды. Это прямое влияние на рейтинг карточек и восприятие бренда покупателями. Чем лучше вы понимаете, как работает модель внутри, тем точнее можете оценить, подходит ли конкретный инструмент для ваших задач - и тем меньше неприятных сюрпризов получите в работе.