DF-ИИ-021 · ИИ в работе команды
ИИ пишет код и подгоняет тесты: как проверить автотесты
- Три признака теста, подогнанного под текущую реализацию, а не под поведение
- Способ проверить, упадёт ли тест, если сломать проверяемое поведение
- Правила ревью тестов, написанных ИИ, и чек-лист вопросов к тесту
Бывает так: задача ушла ИИ, через полчаса приходит пул-реквест с кодом и тестами, все проверки зелёные. Ревьюер смотрит на зелёный значок и нажимает «Approve». А через месяц выясняется, что тест проверял не то, что нужно, и ошибку он бы не поймал.
Это не про то, что ИИ плохо пишет тесты. Это про то, что зелёный тест и полезный тест — разные вещи, и разницу видно только при чтении. Ниже — три признака, по которым тест, подогнанный под текущую реализацию, отличается от теста, проверяющего поведение, и порядок ревью, который помогает это заметить.
Материал — редакционный чек-лист Deskforge, а не отчёт об испытании продукта и не клиентский кейс. Примеры условные, шаги нужно адаптировать к вашему стеку и рискам. Смежная тема — ИИ пишет код в команде: как сохранить качество и контекст, а варианты работ с ИИ собраны на странице автоматизации процессов.
Почему тест от ИИ может выглядеть зелёным, но ничего не проверять
Документация Playwright прямо формулирует, что должен делать автотест: проверять, что код работает для конечных пользователей, и не опираться на детали реализации, которые пользователь обычно не видит, — имя функции, тип значения, CSS-класс элемента (F1). Это рекомендация из документации фреймворка, а не измеренный результат и не универсальный стандарт для всех инструментов.
Именно эту границу ИИ и переходит незаметно. Ему показали текущий код — он написал проверку, которая этому коду соответствует. Тест зелёный, потому что он описывает то, что уже есть, а не то, что должно быть.
В учебном примере документации Vitest тест проверяет вывод функции сложения двух чисел (F8). Смысл простой: на входе числа, на выходе сумма, и проверяется именно результат, а не то, как функция устроена внутри. Когда тест устроен наоборот — проверяет внутренности, — он ловит изменения кода, а не ошибки в поведении.
Признак 1: тест завязан на детали реализации, а не на поведение
Самый частый след подгонки — ассерты, которые ссылаются на внутренние имена. Тест проверяет, что функция вернула массив, что у элемента такой CSS-класс, что вызван конкретный внутренний метод. Пользователь ничего из этого не видит и не использует (F1).
Условный пример. Есть форма заявки, и ИИ написал тест, который проверяет, что после отправки у кнопки появился класс is-sent. Поведение, которое важно пользователю, — заявка ушла и он увидел подтверждение. Класс — деталь реализации: завтра вёрстку переделают, класс переименуют, тест покраснеет, хотя ничего не сломалось. А если отправка перестанет работать, но класс всё равно проставится, тест останется зелёным.
Playwright советует предпочитать пользовательские атрибуты — роль, текст — вместо XPath или CSS-селекторов, потому что DOM может легко измениться (F2). Утверждение относится к e2e-тестам в Playwright; в других типах тестов применимость цитатой не подтверждена, но принцип «проверяй то, что видит пользователь» переносится на любой уровень.
Что делать на ревью: прочитать ассерты и спросить, что из проверяемого увидит или почувствует пользователь. Если ответа нет — пометить тест как подозрительный и переписать проверку на результат.
Признак 2: проверки без ожидания и хрупкие селекторы
Второй след — асинхронность. Интерфейс обновляется не мгновенно, а тест читает состояние сразу после действия. ИИ часто пишет такую проверку, потому что она выглядит логично, а на быстрой машине разработчика случайно проходит.
Playwright рекомендует web-first assertions, которые ждут выполнения условия, вместо ручных проверок без ожидания (F3). Это описание поведения конкретного API, а не гарантия стабильности тестов в любом окружении, но логика общая: проверка должна дождаться результата, а не застать процесс в середине.
Отдельно — пропущенные await. Playwright советует линтинг тестов с правилом @typescript-eslint/no-floating-promises, чтобы не пропускать отсутствующие await перед асинхронными вызовами API (F6). Правило относится к тестам на Playwright с TypeScript и ESLint; эффект на качество тестов цитатой не измеряется, но линт ловит то, что глазами на ревью пропускают.
Условный пример: тест нажимает «Отправить» и сразу проверяет текст подтверждения. Без ожидания он читает страницу до того, как ответ пришёл. На ревью это видно по отсутствию ожидания перед ассертом — такой тест нужно переписать, а не «перезапустить, пока не позеленеет».
Признак 3: тесты не изолированы и зависят друг от друга
Третий след заметен не в коде, а в запуске. Тест проходит отдельно, но падает в общем прогоне — или наоборот. Значит, он зависит от того, что сделал другой тест: от оставшихся данных, cookies, состояния хранилища.
Playwright советует изолировать тесты друг от друга, чтобы каждый работал независимо со своим локальным хранилищем, данными и cookies; изоляция повышает воспроизводимость, упрощает отладку и предотвращает каскадные падения (F4). Это рекомендация из документации, и степень изоляции в конкретном проекте ей не измеряется.
Как проверить на ревью: запустить тест отдельно и в обратном порядке. Если результат меняется — изоляция нарушена. Условный пример: тест создаёт запись и ждёт, что её увидит следующий тест. Стоит поменять порядок — и оба краснеют, хотя код рабочий.
Как зафиксировать правила ревью тестов, написанных ИИ
Правила работают, когда записаны и проверяются одинаково для всех. Playwright советует запускать тесты на CI как можно чаще, в идеале на каждый коммит и pull request (F5). Это рекомендация по процессу, а не подтверждённая метрика качества, но частый прогон делает подгонку заметнее: тест, который держится только на удачном порядке запуска, проявится быстро.
Полезно заранее договориться, какие файлы считаются тестовыми. Vitest по умолчанию считает тестовыми файлы, в имени которых есть .test. или .spec. (F7). Это поведение конкретного фреймворка по умолчанию, конфигурацию можно менять, но правило имени помогает не потерять тест в репозитории.
Запуск тоже стоит зафиксировать. Vitest можно запустить один раз без отслеживания изменений файлов командой vitest run (F9). Это CLI-поведение Vitest; для других раннеров команда будет другой, но принцип один: в CI тесты запускаются один раз и завершаются, а не висят в режиме наблюдения.
И гигиена репозитория: документация Vitest рекомендует добавлять каталог .vitest в .gitignore, так как там могут храниться сгенерированные артефакты (F10). Это рекомендация по чистоте репозитория, а не утверждение о честности тестов, но сгенерированные файлы в диффе мешают ревьюеру видеть сам тест.
Чек-лист ревью: вопросы к тесту и способ проверки
Ниже — пять вопросов, которые стоит задать к каждому тесту, написанному ИИ, и способ проверить ответ. Это редакционная помощь читателю, а не отчёт об испытании продукта.
- Тест проверяет видимое пользователю поведение, а не имя функции или CSS-класс? Прочитать ассерты: если они ссылаются на внутренние имена и структуру, а не на результат для пользователя, — пометить как подозрительный (F1).
- Селекторы опираются на роль и текст, а не на XPath или CSS-классы? Просмотреть локаторы и заменить хрупкие на пользовательские атрибуты (F2).
- Асинхронные проверки ждут условия, а не читают состояние сразу? Найти проверки без ожидания, заменить на web-first assertions и прогнать линт на пропущенные await (F3, F6).
- Тест изолирован и не зависит от порядка запуска? Запустить тест отдельно и в обратном порядке; если результат меняется — изоляция нарушена (F4).
- Тест упадёт, если сломать поведение, которое он якобы проверяет? На синтетической копии в изолированной среде временно изменить ожидаемое поведение и убедиться, что тест краснеет.
Пятый пункт — главный. Остальные четыре сужают круг подозрительных тестов, а этот отвечает на прямой вопрос: что тест вообще ловит. Если после поломки поведения тест остаётся зелёным, он не проверяет ничего — независимо от того, кто его написал.