На главную

DF-ИИ-021 · ИИ в работе команды

ИИ пишет код и подгоняет тесты: как проверить автотесты

Редакция Deskforge · 13 ноября 2026 · 6 мин чтения
ИИ пишет код и подгоняет тесты: как проверить автотесты
Из статьи вы узнаете
  • Три признака теста, подогнанного под текущую реализацию, а не под поведение
  • Способ проверить, упадёт ли тест, если сломать проверяемое поведение
  • Правила ревью тестов, написанных ИИ, и чек-лист вопросов к тесту

Бывает так: задача ушла ИИ, через полчаса приходит пул-реквест с кодом и тестами, все проверки зелёные. Ревьюер смотрит на зелёный значок и нажимает «Approve». А через месяц выясняется, что тест проверял не то, что нужно, и ошибку он бы не поймал.

Это не про то, что ИИ плохо пишет тесты. Это про то, что зелёный тест и полезный тест — разные вещи, и разницу видно только при чтении. Ниже — три признака, по которым тест, подогнанный под текущую реализацию, отличается от теста, проверяющего поведение, и порядок ревью, который помогает это заметить.

Материал — редакционный чек-лист Deskforge, а не отчёт об испытании продукта и не клиентский кейс. Примеры условные, шаги нужно адаптировать к вашему стеку и рискам. Смежная тема — ИИ пишет код в команде: как сохранить качество и контекст, а варианты работ с ИИ собраны на странице автоматизации процессов.

Почему тест от ИИ может выглядеть зелёным, но ничего не проверять

Документация Playwright прямо формулирует, что должен делать автотест: проверять, что код работает для конечных пользователей, и не опираться на детали реализации, которые пользователь обычно не видит, — имя функции, тип значения, CSS-класс элемента (F1). Это рекомендация из документации фреймворка, а не измеренный результат и не универсальный стандарт для всех инструментов.

Именно эту границу ИИ и переходит незаметно. Ему показали текущий код — он написал проверку, которая этому коду соответствует. Тест зелёный, потому что он описывает то, что уже есть, а не то, что должно быть.

В учебном примере документации Vitest тест проверяет вывод функции сложения двух чисел (F8). Смысл простой: на входе числа, на выходе сумма, и проверяется именно результат, а не то, как функция устроена внутри. Когда тест устроен наоборот — проверяет внутренности, — он ловит изменения кода, а не ошибки в поведении.

Признак 1: тест завязан на детали реализации, а не на поведение

Самый частый след подгонки — ассерты, которые ссылаются на внутренние имена. Тест проверяет, что функция вернула массив, что у элемента такой CSS-класс, что вызван конкретный внутренний метод. Пользователь ничего из этого не видит и не использует (F1).

Условный пример. Есть форма заявки, и ИИ написал тест, который проверяет, что после отправки у кнопки появился класс is-sent. Поведение, которое важно пользователю, — заявка ушла и он увидел подтверждение. Класс — деталь реализации: завтра вёрстку переделают, класс переименуют, тест покраснеет, хотя ничего не сломалось. А если отправка перестанет работать, но класс всё равно проставится, тест останется зелёным.

Playwright советует предпочитать пользовательские атрибуты — роль, текст — вместо XPath или CSS-селекторов, потому что DOM может легко измениться (F2). Утверждение относится к e2e-тестам в Playwright; в других типах тестов применимость цитатой не подтверждена, но принцип «проверяй то, что видит пользователь» переносится на любой уровень.

Что делать на ревью: прочитать ассерты и спросить, что из проверяемого увидит или почувствует пользователь. Если ответа нет — пометить тест как подозрительный и переписать проверку на результат.

Признак 2: проверки без ожидания и хрупкие селекторы

Второй след — асинхронность. Интерфейс обновляется не мгновенно, а тест читает состояние сразу после действия. ИИ часто пишет такую проверку, потому что она выглядит логично, а на быстрой машине разработчика случайно проходит.

Playwright рекомендует web-first assertions, которые ждут выполнения условия, вместо ручных проверок без ожидания (F3). Это описание поведения конкретного API, а не гарантия стабильности тестов в любом окружении, но логика общая: проверка должна дождаться результата, а не застать процесс в середине.

Отдельно — пропущенные await. Playwright советует линтинг тестов с правилом @typescript-eslint/no-floating-promises, чтобы не пропускать отсутствующие await перед асинхронными вызовами API (F6). Правило относится к тестам на Playwright с TypeScript и ESLint; эффект на качество тестов цитатой не измеряется, но линт ловит то, что глазами на ревью пропускают.

Условный пример: тест нажимает «Отправить» и сразу проверяет текст подтверждения. Без ожидания он читает страницу до того, как ответ пришёл. На ревью это видно по отсутствию ожидания перед ассертом — такой тест нужно переписать, а не «перезапустить, пока не позеленеет».

Признак 3: тесты не изолированы и зависят друг от друга

Третий след заметен не в коде, а в запуске. Тест проходит отдельно, но падает в общем прогоне — или наоборот. Значит, он зависит от того, что сделал другой тест: от оставшихся данных, cookies, состояния хранилища.

Playwright советует изолировать тесты друг от друга, чтобы каждый работал независимо со своим локальным хранилищем, данными и cookies; изоляция повышает воспроизводимость, упрощает отладку и предотвращает каскадные падения (F4). Это рекомендация из документации, и степень изоляции в конкретном проекте ей не измеряется.

Как проверить на ревью: запустить тест отдельно и в обратном порядке. Если результат меняется — изоляция нарушена. Условный пример: тест создаёт запись и ждёт, что её увидит следующий тест. Стоит поменять порядок — и оба краснеют, хотя код рабочий.

Как зафиксировать правила ревью тестов, написанных ИИ

Правила работают, когда записаны и проверяются одинаково для всех. Playwright советует запускать тесты на CI как можно чаще, в идеале на каждый коммит и pull request (F5). Это рекомендация по процессу, а не подтверждённая метрика качества, но частый прогон делает подгонку заметнее: тест, который держится только на удачном порядке запуска, проявится быстро.

Полезно заранее договориться, какие файлы считаются тестовыми. Vitest по умолчанию считает тестовыми файлы, в имени которых есть .test. или .spec. (F7). Это поведение конкретного фреймворка по умолчанию, конфигурацию можно менять, но правило имени помогает не потерять тест в репозитории.

Запуск тоже стоит зафиксировать. Vitest можно запустить один раз без отслеживания изменений файлов командой vitest run (F9). Это CLI-поведение Vitest; для других раннеров команда будет другой, но принцип один: в CI тесты запускаются один раз и завершаются, а не висят в режиме наблюдения.

И гигиена репозитория: документация Vitest рекомендует добавлять каталог .vitest в .gitignore, так как там могут храниться сгенерированные артефакты (F10). Это рекомендация по чистоте репозитория, а не утверждение о честности тестов, но сгенерированные файлы в диффе мешают ревьюеру видеть сам тест.

Чек-лист ревью: вопросы к тесту и способ проверки

Ниже — пять вопросов, которые стоит задать к каждому тесту, написанному ИИ, и способ проверить ответ. Это редакционная помощь читателю, а не отчёт об испытании продукта.

  1. Тест проверяет видимое пользователю поведение, а не имя функции или CSS-класс? Прочитать ассерты: если они ссылаются на внутренние имена и структуру, а не на результат для пользователя, — пометить как подозрительный (F1).
  2. Селекторы опираются на роль и текст, а не на XPath или CSS-классы? Просмотреть локаторы и заменить хрупкие на пользовательские атрибуты (F2).
  3. Асинхронные проверки ждут условия, а не читают состояние сразу? Найти проверки без ожидания, заменить на web-first assertions и прогнать линт на пропущенные await (F3, F6).
  4. Тест изолирован и не зависит от порядка запуска? Запустить тест отдельно и в обратном порядке; если результат меняется — изоляция нарушена (F4).
  5. Тест упадёт, если сломать поведение, которое он якобы проверяет? На синтетической копии в изолированной среде временно изменить ожидаемое поведение и убедиться, что тест краснеет.

Пятый пункт — главный. Остальные четыре сужают круг подозрительных тестов, а этот отвечает на прямой вопрос: что тест вообще ловит. Если после поломки поведения тест остаётся зелёным, он не проверяет ничего — независимо от того, кто его написал.

Источники

Назад