DF-ИИ-015 · ИИ в работе команды
Как сравнить нейросети на своих задачах, а не по чужому рейтингу
- Как сформулировать критерии успеха до выбора модели
- Как собрать проверочный набор из типичных, граничных и неполных примеров
- Как разложить замечания по тяжести и не дать средней оценке скрыть провал
- Как провести одинаковые прогоны и понять, когда сравнение пора повторить
Модель показала себя лучше в чужом обзоре — значит ли это, что она подойдёт для ваших писем, договоров и разбора заявок? Не обязательно. Рейтинг составляют на чужих задачах и чужих критериях, а решение вы принимаете по своим.
Сравнение моделей — это не голосование за понравившийся ответ. Это несколько одинаковых прогонов на одном наборе заданий с заранее записанными критериями. Если критериев нет до первого прогона, вы будете выбирать модель по впечатлению, а впечатление плохо переносится на следующую неделю.
Ниже — редакционный чек-лист Deskforge с синтетическим примером. Это помощь читателю, а не отчёт об испытании продукта и не клиентский кейс: набор и пороги нужно адаптировать к вашей задаче и рискам.
Зачем сравнивать модели на своих задачах, а не по чужому рейтингу
OpenAI описывает оценку (eval) как структурированный тест для измерения производительности модели. Ключевое слово — структурированный: у теста есть набор входов, ожидаемый результат и правило, по которому ответ засчитывается или нет.
С генеративными моделями обычное тестирование не работает так же, как с программой. По версии OpenAI, генеративный ИИ вариативен: на один и тот же вход модель иногда выдаёт разный вывод. Поэтому один удачный ответ ничего не доказывает — нужен набор и повторяемость.
В документации OpenAI перечислены антипаттерны оценки: опора только на академические метрики вроде perplexity или BLEU, а также оценка «по ощущению, что работает» или откладывание eval до релиза. Оба случая объединяет одно: решение принимается без записанных критериев.
Шаг 1. Сформулировать критерии успеха до выбора модели
OpenAI называет целью eval определение критериев успеха. Anthropic в разделе о промпт-инжиниринге тоже исходит из предусловия: до работы нужны чёткое определение критериев успеха для вашего случая и способ эмпирической проверки.
Практически это выглядит так: вы записываете, что считаете хорошим ответом. Например, для разбора входящего письма — верно определён тип обращения, извлечены номер договора и сумма, нет выдуманных условий. Для черновика ответа клиенту — нет обещаний, которых вы не даёте, и нет ссылок на несуществующие документы.
OpenAI рекомендует включать порог pass/fail в дополнение к числовой оценке. Порог важен потому, что средний балл скрывает провалы: ответ может набрать много баллов за форму и при этом содержать выдуманный факт. Критерии стоит сочетать с человеческим суждением — OpenAI прямо советует не полагаться на числа в одиночку.
Шаг 2. Собрать проверочный набор заданий из реальных примеров
OpenAI советует делать тесты отражающими поведение модели на реальных распределениях задач. И предупреждает: датасет, который не воспроизводит реальные паттерны трафика, — это смещённый дизайн.
На практике набор собирают из трёх категорий. Типичные примеры — то, что приходит каждый день. Граничные — редкие, но важные случаи; OpenAI относит к граничным случаям, в частности, многоязычный ввод. Неполные — когда в исходных данных не хватает поля или документ пришёл частично.
Для каждого примера запишите эталон: нужную категорию, поля, факты из исходного документа или допустимый вариант черновика. Без эталона вы сравниваете не модели, а своё настроение в момент чтения ответа.
Синтетический пример: десять писем клиентов — шесть типичных, два на другом языке, два с недостающими данными. Для каждого в таблице записаны ожидаемый тип обращения и обязательные поля. Это иллюстрация структуры набора, а не результат какого-либо проекта.
Шаг 3. Задать критерии качества и шкалу тяжести ошибок
Разделите замечания хотя бы на три группы: критические, содержательные и косметические. Критическое — выдуманный факт, неверная сумма, обещание, которого нет в регламенте. Содержательное — пропущенное поле или неверная категория. Косметическое — тон, длина, оформление.
Такое деление нужно, чтобы средняя оценка не скрыла проблему. Девять аккуратных черновиков не компенсируют один ответ с выдуманным условием договора — это иллюстративный пример Deskforge, а не измерение.
Отдельно держите в голове, что у ответа нейросети есть две разные характеристики: форма и достоверность. Уверенный тон ответа нельзя считать подтверждением его точности. Поэтому в критериях пропишите правило остановки: ответ с неподтверждённым фактом не идёт дальше и передаётся человеку.
Шаг 4. Провести одинаковые прогоны нескольких моделей
Одинаковые условия — это один набор, одна версия инструкции, зафиксированные дата и параметры. Если у одной модели инструкция длиннее, а у другой короче, вы сравниваете инструкции, а не модели.
Прогоняйте один и тот же набор после заметного изменения инструкции, модели или источников — иначе сравнение потеряет смысл. Результаты сохраняйте: без записи прошлого прогона вы не отличите улучшение от случайной удачи.
Из метрических eval OpenAI приводит точное совпадение, строковое совпадение, ROUGE/BLEU и точность вызова функций. Для разбора писем полезнее точное совпадение по полям и точность вызова функций, чем метрики на основе n-грамм. Сравнение удобно вести таблицей: строка — пример из набора, столбец — модель, в ячейке — результат по каждому критерию и отметка о тяжести замечания.
Как оценивать ответы: метрики, человек и LLM-судья
OpenAI утверждает, что LLM лучше различают варианты, поэтому eval стоит строить вокруг попарных сравнений, классификации или оценки по критериям, а не открытой генерации. Это меняет форму задания: вместо «напиши ответ» — «выбери лучший из двух» или «отнеси к категории».
Человеческая оценка, по версии OpenAI, даёт самое высокое качество, но она медленная и дорогая. Поэтому её обычно оставляют для спорных случаев и для проверки того, что автоматическая метрика вообще измеряет нужное.
Если в роли судьи выступает модель, у неё есть известные смещения. OpenAI указывает на смещение позиции (порядок ответов) и смещение к многословию (предпочтение длинных ответов) и советует контролировать длину ответов. Практический вывод: меняйте порядок вариантов в попарном сравнении и следите за длиной.
Что проверить в формате ответа и где оставить человека
Схема JSON помогает обнаружить пропущенное поле или неверный тип значения, но не подтверждает, что само значение верно. Валидация формата и проверка фактов — две отдельные операции, и вторую нельзя заменить первой.
Поэтому в чек-листе две отдельные строки: проверен ли формат ответа и сверены ли факты с источником вручную. Если ответ прошёл схему, но содержит номер договора, которого нет в письме, он не прошёл проверку.
Anthropic указывает, что не каждая проблема с eval решается промпт-инжинирингом: иногда латентность и стоимость проще улучшить выбором другой модели. Это довод в пользу того, чтобы сравнивать модели, а не бесконечно править одну инструкцию. Человек остаётся на границе: там, где ответ уходит клиенту или влияет на деньги и документы, финальное решение принимает сотрудник.
Чек-лист решения: продолжать сравнение или менять подход
Соберите проверку в один список и пройдите его до того, как объявите модель победителем. Ниже — редакционный чек-лист Deskforge; его нужно адаптировать к вашей задаче, данным и внутренним правилам.
- Сформулированы ли критерии успеха до первого прогона — письменный список с порогом pass/fail?
- Входят ли в набор типичные, граничные и неполные примеры, и помечена ли каждая категория?
- Записан ли эталон для каждого примера — ожидаемая категория, поля или допустимый черновик?
- Одинаковы ли условия прогонов у всех моделей — один набор, одна версия инструкции, зафиксированные дата и параметры?
- Разделены ли замечания по тяжести на критические, содержательные и косметические?
- Проверен ли формат ответа отдельно от фактов, и сверены ли факты с источником вручную?
- Есть ли правило остановки при неподтверждённом факте?
- Воспроизводимо ли сравнение после изменения модели или инструкции — тот же набор прогоняется повторно, результаты сохраняются?
Если на часть вопросов ответ «нет», сравнение пока не готово: вы ещё выбираете по впечатлению. Если все ответы «да», а модели идут близко, посмотрите на критические замечания — они важнее среднего балла.
Смежные способы контроля разобраны в статьях о проверке ответов ИИ без готового эталона и о проверке нейросети на реальных задачах, а варианты внедрения — на странице автоматизации процессов.