DF-ИИ-025 · ИИ в работе команды
Зоопарк ИИ-агентов: как считать токены и ставить лимиты
- Как разложить сценарий агента по шагам и увидеть, где тратятся входные и выходные токены
- Как посчитать стоимость шага и всего сценария на синтетическом примере
- Какие лимиты и точки остановки настроить до расширения
- Что снижает расход: короткие промпты, кэш, пакетная обработка, выбор модели
Несколько ИИ-агентов в работе выглядят как удобная команда: один отвечает клиентам, второй разбирает письма, третий собирает отчёты. Пока их запускают по одному вручную, расход предсказуем. Как только агенты начинают вызывать друг друга и инструменты, счёт за токены растёт быстрее, чем число задач.
Причина в том, что каждый шаг агента — это отдельный вызов модели со своим входом и выходом. Один запрос пользователя превращается в цепочку: планирование, вызов инструмента, повторное планирование, финальный ответ. Каждый шаг оплачивается отдельно, и без разбивки по шагам расход не виден.
Ниже — порядок действий: разложить сценарий по шагам, посчитать стоимость, поставить лимиты и точки остановки, а уже потом расширять. Примеры в статье синтетические, учебные: это не клиентский кейс и не замер экономии. Смежная тема — из чего состоит ИИ-агент, а варианты работ с ИИ собраны на странице автоматизации процессов.
Почему зоопарк агентов дорожает незаметно: вызовы вместо одного запроса
OpenAI предлагает простую рамку: стоимость — это функция числа токенов и цены за токен, и снижать её можно либо ценой за токен, либо количеством токенов. Пока агент делает один запрос, эта формула очевидна. Когда агентов несколько и они вызывают инструменты, число токенов складывается из всех шагов.
У Anthropic стоимость запроса к инструментам считается по всем входным токенам, включая параметр tools, и по выходным токенам. То есть описание инструментов, которое вы передаёте модели, тоже входит в счёт — даже если инструмент в этом шаге не понадобился.
К этому добавляется системный промпт: при использовании инструментов в запрос автоматически добавляется служебный текст, и его токены входят в стоимость запроса. Чем больше инструментов и чем длиннее их описания, тем больше служебного текста в каждом вызове.
Разложите сценарий по шагам: где тратятся входные и выходные токены
Возьмём учебный сценарий из четырёх шагов: планирование, вызов инструмента, повторное планирование и финальный ответ. Для каждого шага запишем, сколько токенов пришло на вход и сколько модель сгенерировала.
Синтетические данные выглядят так: первый шаг plan — 1200 входных и 300 выходных токенов, шаг tool_call — 1800 и 200, второй шаг plan — 900 и 250, шаг final — 1500 и 400. Это условные числа для демонстрации логики, а не замер реального сервиса.
Теперь сгруппируем входные токены по названиям шагов. Два шага plan дают вместе 1200 + 900 = 2100 входных токенов, шаг tool_call — 1800, шаг final — 1500. Выходные токены в этой группировке не участвуют: их считают отдельно по цене выхода. Арифметика учебная и говорит только о том, как устроен подсчёт, — о работе внешней CRM, бота или правах доступа реального сервиса она ничего не подтверждает.
Отдельно стоит помнить про токенизацию. У Anthropic более новая токенизация части моделей даёт примерно на 30% больше токенов для одного и того же текста — это указано в документации по ценам. Один и тот же промпт на разных моделях может стоить по-разному, и это ещё одна причина считать по шагам, а не «на глаз».
Считаем стоимость шага: цена за токен умножается на объём
Когда шаги и токены записаны, стоимость считается прямо: число входных токенов умножается на цену входа, выходных — на цену выхода, результаты складываются. Сумма по всем шагам и есть цена одного прохода сценария.
Кэширование меняет картину. У Anthropic чтение закэшированного контента стоит долю базовой цены входных токенов — на большинстве моделей 0,1x. Но запись в кэш дороже обычного входа: на 5 минут — 1,25x базовой цены, на 1 час — 2x. Экономия появляется только после повторных чтений, а не с первого запроса.
Поэтому в расчёте стоит держать два числа: стоимость первого прохода, где кэш только заполняется, и стоимость повторных проходов, где он читается. Если агент вызывается раз в день, кэш может не успеть окупиться. Если один и тот же системный промпт уходит в модель сотни раз в час — картина другая.
Лимиты и точки остановки: оповещения, жёсткий предел, отдельные проекты
Считать расход мало — нужен предел, после которого трафик останавливается сам. В OpenAI для организации можно задать жёсткий лимит расходов: при достижении порога трафик API останавливается. Документация советует изучить раздел о лимитах расходов перед включением такого предела в продакшене.
Оповещения — отдельная настройка. В OpenAI можно настроить уведомления о расходах, которые срабатывают при превышении заданной суммы в долларах. Важно не путать: оповещение только сообщает, но не останавливает трафик. Жёсткий лимит останавливает.
Третья мера — разделение проектов. OpenAI советует выделять отдельные проекты для staging и production и задавать собственные лимиты скорости и расходов на проект. Тогда эксперимент агента не съедает бюджет боевого контура, а лимит на тестовом проекте можно поставить ниже.
Что снижает расход: короткие промпты, кэш, пакетная обработка, выбор модели
OpenAI называет несколько способов уменьшить число токенов: более короткие промпты, дообучение моделей и кэширование частых запросов, чтобы их не обрабатывать повторно. Это перечень примеров, а не исчерпывающий список, и эффект каждого способа в источнике не измерен.
Ограничение генерации — отдельный рычаг. OpenAI рекомендует ограничивать вывод через max_tokens и стоп-последовательности, чтобы не тратить токены на лишний текст. Если агенту нужен короткий ответ, длинная генерация — это просто оплаченный шум.
Кэш стоит включать осознанно: у Anthropic чтение из кэша дешевле, но запись дороже, поэтому выигрыш появляется на повторных запросах с одинаковым префиксом. А для неинтерактивных задач есть пакетный режим: у Anthropic Batch API даёт скидку 50% на входные и выходные токены, но обработка асинхронная и для живого диалога не подходит.
Отдельные статьи расходов: инструменты, поиск, загрузка страниц, время сессии
Токены — не единственная строка в счёте. У Anthropic для инструмента веб-поиска действует отдельная плата за поиск сверх стоимости токенов: 10 долларов за 1000 поисков, и каждый поиск считается одним использованием независимо от числа результатов.
Загрузка веб-страниц устроена иначе: у Anthropic для инструмента веб-загрузки нет дополнительной платы, кроме стандартной стоимости токенов. Но загруженный контент попадает в контекст и расходует токены — источник советует ограничивать объём через max_content_tokens.
У управляемых агентов появляется ещё одна строка: у Anthropic сессии Claude Managed Agents тарифицируются по токенам и по времени работы сессии. Скидка Batch API к таким сессиям не применяется. Значит, для агента, который долго ждёт ответа инструмента, время сессии — реальная статья расходов, а не абстракция.
Проверка бюджета до расширения: таблица шагов и лимитов на синтетических данных
Перед тем как добавлять второго и третьего агента, соберите таблицу: шаг, число входных токенов, число выходных, цена за токен, стоимость шага. Заполните её на учебных данных и проверьте арифметику пересчётом — как в примере выше, где входные токены сгруппированы по названиям шагов.
Дальше — лимиты. Поставьте оповещение на сумму, после которой хотите узнать о расходе, и жёсткий предел на сумму, после которой трафик должен остановиться. Разведите staging и production по отдельным проектам с разными лимитами. Так эксперимент не заденет боевой контур.
И последнее: считайте стоимость до расширения, а не после. Если новый агент добавляет два шага к каждому запросу, это удвоение вызовов, а не «небольшая доработка». Проверять это лучше на бумаге и на синтетических данных, чем по счёту в конце месяца. Общий порядок работ студии описан на странице как проходит работа.