DF-ИИ-032 · ИИ в работе команды
Точность ИИ 95%: как проверить метрику и не обмануть себя
- Поймёте, что именно считает accuracy и почему она зависит от порога
- Увидите, как дисбаланс классов завышает точность до бесполезных 99%
- Получите чек-лист проверок: матрица ошибок, balanced accuracy, соседние пороги
- Научитесь сверять проверочную выборку с реальными пользователями и условиями
Модель классифицировала верно 95% объектов. Звучит как повод запускать. Но эта цифра отвечает только на один вопрос: какую долю всех объектов модель разметила правильно. Она ничего не говорит о том, какие именно ошибки остались, при каком пороге посчитаны и на каких данных. Прежде чем верить числу, стоит разобрать, как оно собрано.
Ниже — порядок проверки метрики точности до запуска: что она показывает, где скрывает ошибки и какие проверки добавить. Это редакционный чек-лист Deskforge, а не отчёт об испытании продукта и не клиентский кейс: шаги нужно адаптировать к вашей задаче и вашим данным. Смежная тема — как проверять ответы ИИ без готового эталона, а варианты работ с ИИ собраны на странице автоматизации процессов.
Что на самом деле показывает точность 95%
Accuracy — это доля всех классификаций, которые оказались верными, и она включает все четыре исхода матрицы ошибок: верно найденные положительные, верно отсеянные отрицательные и оба вида ошибок. То есть 95% — это сводка по всем объектам сразу, а не характеристика того, насколько хорошо модель ловит нужный класс.
Вторая тонкость — порог. Метрики accuracy, recall, precision и F1 вычисляются при одном фиксированном пороге и меняются, когда порог меняется. Если в отчёте не указано, при каком пороге посчитаны 95%, число нельзя ни воспроизвести, ни сравнить с другим прогоном.
Поэтому первый вопрос к любой цифре точности: при каком пороге она получена и что входит в знаменатель. Без этого 95% — просто красивое число из презентации.
Где одна метрика скрывает ошибки: дисбаланс классов
Самый частый случай, когда высокая точность обманывает, — несбалансированные данные. В документации Google по машинному обучению приведён пример: если один класс встречается примерно в 1% случаев, модель, которая всегда предсказывает отрицательный класс, получит 99% точности, оставаясь бесполезной. Она не находит ни одного нужного объекта, но формально почти всегда права.
Именно поэтому точность рекомендуют использовать как грубый индикатор прогресса обучения на сбалансированных данных и только вместе с другими метриками для оценки качества модели. Для несбалансированных наборов источник прямо советует взять другую метрику.
Один из вариантов — balanced accuracy. В scikit-learn она считается как макро-усреднение recall по классам, то есть как точность, где каждый образец взвешен обратно частоте своего истинного класса. Если обычная точность выше случайного уровня только за счёт несбалансированного тестового набора, balanced accuracy снижается до 1/n_classes — то есть до уровня случайного угадывания между классами.
Какие проверки добавить к точности до запуска
Собрать одну цифру мало. Ниже — четыре шага, которые превращают «95%» в проверяемое утверждение о модели. Это наш редакционный чек-лист, а не отчёт об испытании: шаги нужно адаптировать к вашей задаче.
- Сравните доли классов и посмотрите balanced accuracy рядом с обычной точностью. Если доли сильно различаются, а balanced accuracy заметно ниже обычной, высокая точность во многом держится на частом классе.
- Зафиксируйте порог и пересчитайте метрику при соседних порогах. Если при небольшом сдвиге порога точность резко падает, решение хрупкое: на реальных данных оно может повести себя иначе.
- Постройте матрицу ошибок и выпишите TN, FP, FN и TP. Матрица ошибок показывает, сколько наблюдений фактически относятся к группе i, но предсказаны в группе j. Для бинарной задачи из неё получаются количества истинно отрицательных, ложноположительных, ложноотрицательных и истинно положительных исходов. Так видно, каких ошибок больше и чем они грозят.
- Проверьте, что метрика посчитана так, как вы её понимаете. В бинарном случае balanced accuracy равна среднему арифметическому чувствительности и специфичности. Если в отчёте смешаны разные определения, сравнение метрик теряет смысл.
Синтетический пример: как это выглядит на числах
Пусть в проверочной выборке 1 000 объектов, из них 20 — нужный класс. Модель предсказала нужный класс в 15 случаях, из них 12 верно. Тогда ложноположительных 3 (15 − 12), а пропущено 8 нужных объектов (20 − 12).
Считаем матрицу ошибок: TP = 12, FP = 3, FN = 8, TN = 977 (1 000 − 12 − 3 − 8). Обычная точность = (12 + 977) / 1 000 = 98,9% — высокая, потому что 980 объектов из 1 000 относятся к отрицательному классу. Balanced accuracy = (12/20 + 977/980) / 2 = (0,60 + 0,997) / 2 ≈ 0,80. Разрыв между 98,9% и 80% и есть та часть картины, которую скрывает одна цифра. Это иллюстрация метода на условных числах, а не результат какого-либо клиента.
Проверка на реальных условиях и репрезентативность данных
Даже аккуратно посчитанная метрика отвечает только за проверочную выборку. Ответственная практика оценки включает проверку того, насколько данные репрезентативны для пользователей и реальных условий: например, модель будет применяться для всех возрастов, а обучалась только на данных пожилых людей, или работает круглый год, а данные собраны летом.
Вторая часть — проверка качества в реальных сценариях на широком спектре пользователей, случаев и контекстов, с тестированием до и после запуска. Это не гарантия результата, а способ увидеть, где модель ошибается на живых данных.
И трезвая рамка: даже при тщательном проектировании системы ML-модели редко работают с абсолютной точностью на реальных данных. Поэтому метрика — не финальная подпись под решением, а вход в разговор о том, какие ошибки допустимы и кто их обрабатывает.
Что в итоге проверить перед запуском
Точность 95% полезна, только если рядом стоят ответы на четыре вопроса: при каком пороге посчитано, как сбалансированы классы, как выглядит матрица ошибок и насколько проверочная выборка похожа на реальных пользователей. Если хотя бы один ответ отсутствует, число стоит пересчитать, а не принимать на веру.
Источники
- 3.4. Metrics and scoring: quantifying the quality of predictions — scikit-learn 1.9.1 documentation
- Classification: Accuracy, recall, precision, and related metrics — Google for Developers
- Responsible AI Toolkit — TensorFlow
Материал носит информационный характер и описывает разработку и проверку программных инструментов. Он не является индивидуальной инвестиционной рекомендацией и не содержит предложения совершить сделку. Deskforge не является брокером, дилером, управляющей компанией или инвестиционным советником, не управляет средствами клиентов и не совершает сделок за них. Торговля на финансовых рынках связана с риском потери капитала; результаты тестирования на исторических данных и прошлые результаты не гарантируют будущих. Решение о сделках пользователь принимает самостоятельно.