Расходы на ИИ-агентов для написания кода часто превышают ожидания из-за скрытых токенов рассуждений и неэффективного использования кэша. Токены reasoning оплачиваются по тарифу обычного вывода, при этом их объем может достигать 90% от общего числа токенов ответа, оставаясь невидимыми для пользователя.
Механика кэширования требует совпадения префикса запроса байт в байт. Любые динамические данные, такие как временные метки, случайные идентификаторы или изменение порядка инструментов, приводят к сбросу кэша. Это заставляет систему каждый раз выполнять полный цикл обработки, что увеличивает затраты.
Для оптимизации расходов рекомендуется фиксировать системный промпт и порядок инструментов, а также добавлять новый контекст только в конец запроса. При работе с Claude важно использовать протокол Anthropic, так как OpenAI-совместимые эндпоинты могут некорректно передавать данные о кэшировании, лишая пользователя скидок.
Для контроля затрат необходимо логировать использование API и отслеживать долю чтения из кэша и объем токенов рассуждений. Высокий показатель кэширования дает большую экономию, чем переход на более дешевые модели. Также стоит использовать уточняющие вопросы вместо многократных правок кода.
