Кэш промптов: как платить за длинную инструкцию в 20 раз меньше
Системный промпт, регламенты, история диалога — всё, что повторяется от запроса к запросу, можно оплачивать по цене кэша. У Claude Sonnet 5.5 это 17,01 ₽ вместо 340,10 ₽ за миллион токенов.
Большая часть входных токенов в реальном продукте — одно и то же. Бот поддержки каждый раз получает ту же инструкцию на несколько страниц. Агент в IDE каждый раз видит те же файлы проекта. RAG-ассистент каждый раз начинает с тех же правил ответа. Платить за это полную цену — странно, и провайдеры моделей давно дают скидку на повторы.
Как это работает
Модель обрабатывает промпт слева направо. Если начало запроса совпадает с тем, что модель уже видела недавно, провайдер может не считать его заново, а взять сохранённое состояние. Такая часть входа тарифицируется по цене кэша, остальное — по обычной.
Ключевое слово — начало. Кэш работает по префиксу: совпасть должно всё от первого токена до точки, где начинается новое. Одна изменённая буква в начале системного промпта — и кэш не сработает для всего, что идёт после неё.
Пример на цифрах
Бот поддержки на Claude Sonnet 5.5. Инструкция и база ответов — 20 000 токенов, вопрос пользователя — 200 токенов. Тысяча диалогов в день.
| Как считается вход | Токенов в день | Стоимость |
|---|---|---|
| Без кэша | 20,2 млн | 6 870 ₽ |
| С кэшем инструкции | 20 млн + 0,2 млн | 408 ₽ |
Разница — больше шести тысяч рублей в день только на входе, при тех же ответах. Выход модели кэш не удешевляет: за сгенерированный текст вы платите как обычно.
Важно
Первая запись в кэш у части провайдеров стоит дороже обычного входа, а сам кэш живёт ограниченное время. Если запросы приходят раз в час, экономии может не быть. Точные условия — в карточке модели.
Как собрать промпт под кэш
- 1Неизменное — в началоСистемная инструкция, правила, справочники, описания инструментов. Ничего динамического: ни даты, ни имени пользователя.
- 2Медленно меняющееся — в серединуДокументы сессии, история диалога. Новая реплика добавляется в конец, старые не переписываются.
- 3Вопрос — в самый конецВсё, что уникально для запроса, идёт последним и тарифицируется по обычной цене.
system: "Сегодня 10 ноября 2026. Ты — ассистент…"
# лучше
system: "Ты — ассистент… (20 000 токенов правил)"
user: "Сегодня 10 ноября 2026. Вопрос: …"Где проверить, что кэш сработал
В ответе API поле usage показывает, сколько входных токенов ушло из кэша. В кабинете llmgw то же видно в журнале запросов по каждому ключу. Если доля кэша близка к нулю, почти всегда виноват динамический кусок в начале промпта.
Читайте также
Новые статьи — раз в две недели. Без спама.
