DF-ИИ-023 · ИИ в работе команды
Вайб-кодинг без потери контроля: что проверить перед релизом
- Какие места в коде от ИИ проверять статическим анализом и что он реально находит
- Какие сценарии закрывать автотестами в первую очередь и почему тесты должны проверять поведение, а не реализацию
- Как встроить проверки в процесс: CI, частота запуска и изоляция тестов
- Что остаётся на ручную проверку и когда нужны внешние сервисы
Приложение, которое ИИ собрал за вечер, обычно уже открывается и даже делает главное: форму отправляет, список показывает, кнопку нажимает. Отсюда ощущение, что осталось только выложить. Но «работает у меня на машине» и «готово к релизу» — разные утверждения, и между ними лежит набор проверок, которые ИИ за вас не сделал.
Ниже — порядок проверок перед выпуском: статический анализ, автотесты на пользовательские сценарии, запуск на CI и ручной прогон там, где тестов нет. Это редакционный чек-лист Deskforge, а не отчёт об испытании продукта и не клиентский кейс: шаги нужно адаптировать к вашему стеку и рискам. Смежная тема — ИИ пишет код в команде: как сохранить качество и контекст, а варианты работ с ИИ собраны на странице автоматизации процессов.
Почему первый успешный запуск не равен готовности к релизу
Первый запуск проверяет один сценарий на одном устройстве и в одном браузере. Дальше начинается то, что вручную уже неудобно: другой браузер, другая версия, узкий экран, медленная сеть. MDN прямо предупреждает, что ручной прогон тестов в нескольких браузерах и на нескольких устройствах по несколько раз в день быстро становится утомительным и отнимает много времени.
Именно поэтому проверки стоит разделить. Часть работы машина делает сама и на каждом изменении: ищет типовые ошибки, прогоняет сценарии. Часть остаётся человеку: посмотреть, что видит пользователь, и решить, соответствует ли это задумке. Если переложить всё на одну сторону, релиз либо тормозит, либо выпускает то, что никто не смотрел целиком.
Ещё одна ловушка — доверять зелёным галочкам. Зелёный значок означает, что проверка прошла, а не что она проверяла нужное. Разницу видно только при чтении: что именно утверждает тест и какие данные он берёт.
Что искать в коде от ИИ: статический анализ и уязвимости
Статический анализ — первая проверка, которую стоит включить до чтения кода глазами. Сканирование кода на GitHub анализирует код репозитория и находит уязвимости безопасности и ошибки кодирования. Это не заменяет ревью, но отсекает класс проблем, которые ИИ регулярно приносит: необработанные входные данные, небезопасные конструкции, забытые проверки.
Запускать сканирование можно по расписанию или по событию в репозитории, например при push. Для приложения, собранного за вечер, разумно начать со второго: тогда каждая новая порция кода от ИИ проходит проверку сразу, а не копится до релиза.
Есть ограничение по доступу. Для приватных репозиториев сканирование кода на GitHub требует лицензии GitHub Code Security. Если проект закрытый, это стоит учесть заранее, а не в день выпуска. Зато сканирование совместимо со сторонними инструментами, которые выдают данные в формате SARIF, — то есть результаты разных анализаторов можно свести в одно место.
Что делать с предупреждениями? Разобрать до релиза, а не отключить. Каждое предупреждение — либо исправление, либо осознанное решение с записанной причиной. Молча подавленный алерт через месяц никто не вспомнит.
Какие сценарии закрывать автотестами в первую очередь
Автотесты нужны не для всего кода, а для того, что пользователь делает руками. Документация Playwright формулирует правило так: автотесты должны проверять, что код приложения работает для конечных пользователей, и избегать опоры на детали реализации. Практически это значит: тест нажимает кнопку и проверяет результат на экране, а не дёргает внутреннюю функцию и сверяет промежуточное значение.
Почему это важно именно для кода от ИИ? Потому что ИИ охотно пишет тесты под текущую реализацию: поменяли структуру — тест упал, хотя для пользователя ничего не изменилось. Такой тест создаёт работу и не ловит ошибок. Тест на поведение переживает рефакторинг и падает тогда, когда сломался сценарий.
Второе правило — изоляция. Изоляция тестов друг от друга улучшает воспроизводимость и упрощает отладку. Если тесты делят одни данные и зависят от порядка запуска, падение одного тянет за собой остальные, и вы тратите время на разбор каскада, а не на настоящую причину. Каждому тесту — свои данные.
Третье — выбор того, за что цепляется тест.
Playwright рекомендует предпочитать пользовательские атрибуты и явные контракты при выборе локаторов. Проще говоря, тест должен находить элемент так, как его находит человек: по подписи, роли, видимому тексту, — а не по случайному классу, который ИИ переименует при следующей правке.
С чего начать список сценариев? С тех, где ошибка стоит дороже всего: отправка формы, оплата, вход, сохранение данных. Дальше — то, что делают каждый день.
Как встроить проверки в процесс: CI, частота и окружение
Проверки, которые запускают вручную «когда вспомним», быстро перестают запускать. Playwright советует настроить CI/CD и запускать тесты часто — в идеале на каждый коммит и pull request. Для проекта, собранного с ИИ, это особенно уместно: каждая порция сгенерированного кода проходит одни и те же ворота.
Окружение тоже влияет. Playwright рекомендует использовать Linux при запуске тестов на CI как более дешёвый вариант. Это практическая деталь, а не принцип: если ваша инфраструктура уже устроена иначе, считать нужно по своим условиям.
Линтинг и другие проверки кода удобно повесить на тот же этап сборки. В обучающем материале MDN в качестве примера такого подхода упомянут task runner, например Gulp, который запускает линтинг и минификацию во время сборки. Смысл не в конкретном инструменте, а в том, что проверки идут автоматически вместе со сборкой, а не отдельным ритуалом.
Порядок такой: сначала статический анализ и линтер на каждый push, затем автотесты ключевых сценариев на каждый pull request. Когда это стабильно работает, добавлять новые проверки дешевле, чем чинить релиз.
Что остаётся на ручную проверку и внешние сервисы
Не всё закрывается автотестами. Внешний вид, тексты, поведение на нестандартном экране, ощущение от скорости — это смотрит человек. Ручной прогон основных сценариев на синтетических данных в изолированной среде остаётся обязательным шагом перед выпуском, особенно там, где автотестов ещё нет.
Когда браузеров и устройств становится много, на помощь приходят сервисы кросс-браузерного тестирования. Коммерческие сервисы кросс-браузерного тестирования возвращают результаты теста в виде скриншотов, видео, логов и текста. Это удобно, чтобы увидеть, как приложение ведёт себя в среде, которой у вас под рукой нет, но решение о готовности всё равно принимает человек.
Отдельно стоит пройти то, что ИИ чаще всего оставляет недоделанным: обработку ошибок, пустые состояния, поведение при медленной сети. Автотест на это написать можно, но заметить, что состояния просто нет, проще глазами.
Чек-лист приёмки перед выпуском
Соберём проверки в один список. Он не заменяет ваши критерии приёмки, а помогает не забыть шаги; как формулировать сами критерии, разобрано в материале критерии приёмки программы.
- Есть ли статический анализ кода и просмотрены ли его предупреждения? Сканирование кода находит уязвимости и ошибки кодирования; предупреждения разобраны до релиза, а не отключены.
- Покрыты ли автотестами ключевые пользовательские сценарии? Тесты проверяют видимое пользователю поведение, а не детали реализации.
- Изолированы ли тесты друг от друга? У каждого теста свои данные, порядок запуска не влияет на результат.
- Запускаются ли тесты на CI на каждый коммит и pull request? Конфигурация проверена, тесты действительно стартуют на изменения.
- Проверены ли сценарии вручную там, где автотестов нет? Основные сценарии пройдены на синтетических данных в изолированной среде.
Условный пример. Приложение с формой заявки собрано за вечер. Статический анализ на push находит необработанный ввод в одном поле — исправляем. Автотест на отправку формы проверяет появление сообщения об успехе, а не вызов внутренней функции, — переживает правку вёрстки. Тест на вход не делит данные с тестом на форму — падения не путаются. CI гоняет всё на каждый pull request.
Вручную проверяем пустое состояние списка и поведение при медленной сети. Это демонстрация порядка проверок на условном примере, а не клиентский результат.