DF-ИИ-019 · ИИ в работе команды
Внедрение ИИ: как выбрать один процесс для пилота
- Как выбрать один процесс-кандидат для пилота и записать его границы
- Как сформулировать критерий успеха, который можно проверить на примерах
- Что изолировать и за чем наблюдать до расширения на второй процесс
- Чек-лист решений перед запуском пилота
Руководитель решил внедрить ИИ и первым делом просит подрядчика «автоматизировать всё, где есть рутина». Через месяц выясняется, что непонятно, что именно проверять: часть сценариев работает, часть — нет, а сравнить не с чем, потому что критериев не было до старта. Пилот в таком виде не заканчивается решением, он заканчивается спором.
Выход проще, чем кажется: выбрать один процесс, записать для него проверяемый результат и заранее определить, при каком условии вы расширяетесь на второй. Всё остальное — следующий шаг, а не первый.
Ниже — порядок решений и редакционный чек-лист Deskforge. Это помощь читателю, а не отчёт об испытании продукта и не клиентский кейс: набор нужно адаптировать к вашему процессу и рискам. Смежная тема — внедрение ИИ в компанию, а варианты работ собраны на странице автоматизации процессов.
Зачем начинать с одного процесса, а не со всей компании
Руководство OpenAI по переходу от прототипа к продакшену прямо говорит, для чего оно нужно: с его помощью можно составить план развёртывания приложения. Ключевое слово — план: у развёртывания есть границы, этапы и точка, где вы смотрите на результат. Когда «внедряем ИИ везде», такой точки нет, и оценивать нечего.
Один процесс даёт вам то, чего не даёт общая кампания: понятный вход, понятный выход и возможность сравнить результат с тем, как процесс шёл раньше. Если что-то пойдёт не так, вы откатываете один участок, а не разбираете всю компанию.
Это не значит, что остальные процессы не важны. Это значит, что они ждут своей очереди, пока первый не дал проверяемого ответа.
Как выбрать процесс-кандидат для пилота
Руководство по промпт-инжинирингу исходит из того, что у вас уже есть чёткое определение критериев успеха для сценария использования. Переверните это в фильтр для выбора процесса: годится тот, чей результат можно описать так, чтобы два человека независимо сказали «да, получилось» или «нет, не получилось».
Возьмём синтетический пример. Компания разбирает входящие письма и раскладывает их по темам: заявка, вопрос по счёту, жалоба. Процесс начинается с письма во входящем ящике и заканчивается тем, что письмо лежит в нужной папке с нужной меткой. Границы записаны, вход и выход видны — это кандидат.
А «ускорить работу отдела» — не кандидат: непонятно, где начинается и где заканчивается, и что считать ускорением. Запишите название процесса и его границы одной фразой — где начинается и где заканчивается. Если фраза не получается, процесс ещё не готов к пилоту.
Как определить проверяемый результат пилота
То же руководство исходит из того, что у вас есть способы эмпирически проверять соответствие критериям. Значит, критерий должен проверяться на примерах, а не на впечатлении. И там же — важная оговорка: не каждая проблема с критерием успеха или проваленная проверка лучше всего решается промпт-инжинирингом.
В нашем синтетическом примере критерий можно записать так: из набора писем каждое попадает в одну из трёх папок, и для писем, где тема очевидна, метка совпадает с ожидаемой. Спорные письма не угадываются молча, а помечаются для человека.
Соберите набор примеров в изолированной среде и зафиксируйте ожидаемый результат до первого прогона. Если критериев и проверок ещё нет, руководство советует сначала потратить время на них. Это скучный этап, но именно он отделяет пилот от демонстрации.
Что проверить до расширения: изоляция и мониторинг
Руководство по продакшену относит к областям проектирования MLOps управление данными и моделями, мониторинг модели, переобучение и развёртывание модели. Для пилота из этого списка важнее всего две вещи: где вы наблюдаете за результатом и не смешаны ли тесты с рабочей работой.
Там же есть прямой совет: продумать отдельные проекты для staging и production, чтобы изолировать разработку и тестирование от работающего приложения. В переводе на язык процесса: тестовые прогоны не должны трогать рабочие данные и рабочие папки. Проверьте это до запуска, а не после первого сбоя.
И запишите, что и как часто вы сверяете с критерием успеха после запуска. Без этого расширение превращается в «вроде работает».
Как не переплатить при расширении
Когда пилот заработал, соблазн — сразу подключить самую мощную модель ко всем задачам. Руководство по продакшену советует обратный порядок: после запуска на самой мощной модели проверить, дают ли другие модели тот же результат при меньшей задержке и стоимости.
Снижать стоимость там предлагают двумя способами: уменьшать цену за токен за счёт меньших моделей для части задач или сокращать число требуемых токенов. Руководство по промпт-инжинирингу приводит пример, что задержку и стоимость иногда проще улучшить выбором другой модели.
Практический вывод для расширения: сначала докажите, что второй процесс даёт нужный результат, и только потом оптимизируйте цену. Обратный порядок экономит на бумаге и ломает результат на деле.
Чек-лист решений перед запуском пилота
Пройдите по пунктам и запишите ответы — не в голове, а в документе, который можно показать команде.
- Определён ли один процесс-кандидат для пилота? Записать название процесса и границы: где начинается и где заканчивается.
- Сформулированы ли критерии успеха для этого процесса? Записать критерий так, чтобы его можно было проверить на примерах.
- Есть ли набор примеров для эмпирической проверки? Собрать синтетические примеры в изолированной среде и зафиксировать ожидаемый результат.
- Отделены ли тестовые прогоны от рабочего контура? Проверить, что тестовые данные и рабочие данные не смешиваются.
- Задан ли способ наблюдения за результатом после запуска? Записать, что и как часто сверяется с критериями успеха.
- Определены ли условия расширения на второй процесс? Записать условие как проверяемый пункт, а не как общее пожелание.
Это редакционная помощь читателю, не отчёт об испытании продукта и не клиентский кейс. Утверждения о том, что советуют руководства, приведены в пересказе; сверить их можно по ссылкам ниже.