DF-ИИ-022 · ИИ в работе команды
Вайб-кодинг без потери контроля: что проверять в коде от ИИ
- Какие изменения от ИИ-помощника пропускать только через ревью и какие решения проверяющего фиксировать
- Какими свойствами должен обладать автотест под сгенерированный код: поведение, изоляция, отказ от сторонних сервисов
- В каком режиме запускать проверки, чтобы они ловили регрессии, а не создавали видимость контроля
- Готовый чек-лист приёмки: вопрос и способ проверки для каждого пункта
Бывает так: задача ушла ИИ-помощнику, через полчаса приходит пул-реквест с кодом и тестами, все проверки зелёные. Ревьюер смотрит на зелёный значок и нажимает «Approve». А через месяц выясняется, что тест проверял не то, что нужно, и ошибку он бы не поймал.
Это не про то, что ИИ плохо пишет код. Это про то, что зелёный тест и полезный тест — разные вещи, и разницу видно только при чтении. Ниже — порядок приёмки конкретного изменения от ИИ-помощника: какие решения ревью фиксировать, какими свойствами должны обладать автотесты и в каком режиме их запускать.
Материал — редакционный чек-лист Deskforge, а не отчёт об испытании продукта и не клиентский кейс. Примеры условные, шаги нужно адаптировать к вашему стеку и рискам. Смежная тема — ИИ пишет код и подгоняет тесты: как проверить автотесты, а варианты работ с ИИ собраны на странице автоматизации процессов.
Почему сгенерированный код требует отдельной приёмки
Сгенерированный код выглядит как обычный: те же файлы, тот же синтаксис, те же тесты. Отличие в том, что автор изменения — не человек, который держал в голове задачу и ограничения, а модель, восстановившая намерение по описанию. Поэтому проверять нужно не «похоже ли на правду», а соответствует ли результат заранее описанным критериям.
Документация Claude по промпт-инжинирингу прямо говорит: перед применением этих практик нужны чёткое определение критериев успеха для вашего сценария и способы эмпирически проверять соответствие этим критериям. То есть критерии формулируются до генерации, а не подгоняются под то, что вернула модель.
И ещё одно ограничение оттуда же: не каждая проблема с критерием успеха или проваленное испытание лучше всего решаются промпт-инжинирингом. Иногда дело не в формулировке промпта, а в самой задаче, в данных или в архитектуре — и тогда править нужно их, а не текст запроса.
Ревью пул-реквеста — механизм, который позволяет оставлять комментарии к изменениям, предлагать улучшения и одобрять или запрашивать правки до слияния кода. Это не гарантия отсутствия дефектов, а точка, где человек осознанно принимает решение.
Какие изменения от ИИ пропускать только через ревью
Первый вопрос приёмки — не «что написала модель», а «куда это попадёт». Если изменение затрагивает защищённую ветку, проверьте настройки: администраторы репозитория могут требовать одобрения до слияния пул-реквеста, и это помогает защищать важные ветки и снижает риск случайных слияний. Требование одобрений — настройка, а не пожелание в чате: пока она не включена, зелёные проверки ничего не удерживают.
Второй вопрос — что именно зафиксировал проверяющий. При отправке ревью он выбирает одно из решений: комментарий, одобрение или запрос изменений. Разница практическая: комментарий не блокирует слияние, запрос изменений — блокирует. Если ревьюер оставил замечания в виде комментария и ушёл, формально изменение готово к слиянию, хотя вопрос остался открытым.
Условный пример. ИИ-помощник добавил в проект функцию экспорта отчёта и заодно поправил общий модуль форматирования дат. Ревьюер посмотрел экспорт, оставил комментарий про часовой пояс и нажал одобрение. Изменение в общем модуле уехало в основную ветку вместе с ним, хотя его никто не проверял по существу. Здесь сработало бы правило: правки общих модулей — только через запрос изменений и повторное ревью.
Какие автотесты писать под сгенерированный код
В разделе лучших практик Playwright есть рекомендация: автотесты должны проверять, что код работает для конечных пользователей, и избегать опоры на детали реализации, которые пользователь обычно не видит и не знает. Тест, привязанный к имени внутренней функции или к CSS-классу, ломается при безобидном рефакторинге и молчит, когда ломается сценарий.
Там же — совет для устойчивости тестов: отдавать приоритет атрибутам, обращённым к пользователю, и явным контрактам вместо XPath или CSS-селекторов. Проверить это можно так: мысленно переименуйте внутреннюю функцию — если тест упал, он проверяет реализацию, а не поведение.
Изоляция — второе свойство. Каждый тест следует делать полностью изолированным от других, с собственными локальным хранилищем, хранилищем сессии, данными и cookie. Тест, который проходит в одиночку и падает в общем прогоне, обычно нарушает именно это правило.
Третье — границы ответственности. Тестировать следует только то, что контролирует команда, и не пытаться тестировать внешние сайты или сторонние серверы. Ответы внешних сервисов подменяются в тесте, а не запрашиваются у чужого сервера: иначе падение чужого API выглядит как ваш дефект, а его изменение — как ваш успех.
Где запускать проверки и как часто
В тех же практиках Playwright есть рекомендация запускать тесты на CI при каждом коммите и пул-реквесте — с оговоркой ideally, то есть как желаемый режим, а не обязательное требование. Команде стоит осознанно решить, какие проверки идут на каждый коммит, а какие — реже.
Практический смысл в том, что проверка, запускаемая вручную раз в неделю, не участвует в решении о слиянии. Если тесты не привязаны к пул-реквесту, зелёный значок в нём означает только то, что проверки не запускались.
Отдельно стоит договориться, что делать с упавшим тестом. Если команда привыкла перезапускать упавшую проверку до зелёного, автотесты перестают быть надёжным ориентиром. Правило «упавший тест сначала читаем, потом чиним или удаляем» дешевле, чем привычка игнорировать красное.
Чек-лист приёмки: вопросы и способ проверки
Ниже — шесть вопросов к каждому изменению от ИИ-помощника и способ проверки для каждого. Порядок возврата изменения при ответе «нет» команда устанавливает сама и фиксирует в своих правилах приёмки.
Ветки, ревью и решения проверяющего
Изменение затрагивает защищённую ветку? Проверьте настройки защищённых веток и требование одобрений до слияния.
Проверяющий оставил решение по ревью? Убедитесь, что выбрано одно из решений: комментарий, одобрение или запрос изменений, — и что открытые замечания не остались в виде комментария при одобрении.
Тесты: поведение, изоляция, границы
Тест опирается на видимое пользователю поведение? Проверьте, что тест не зависит от имён функций, типов значений или CSS-классов.
Тест изолирован от других тестов? Проверьте собственные локальное хранилище, хранилище сессии, данные и cookie у каждого теста.
Тест не проверяет сторонний сервис? Проверьте, что внешние ответы подменяются, а не запрашиваются у чужого сервера.
Критерии до генерации
Критерии успеха сформулированы до генерации? Проверьте наличие определения критериев успеха и способа эмпирической проверки — и что провал не списывается автоматически на промпт.
Такой порядок не ускоряет слияние, зато оставляет контроль у команды, а не у модели.