Batch API: тысячи запросов вдвое дешевле — когда это выгодно
Если ответ не нужен прямо сейчас, его можно получить в два раза дешевле. Отправляете файл с запросами, забираете результаты в течение суток.
−50%через /v1/batches · результат до 24 часов
Обычный запрос к модели — это ожидание ответа за секунды. Но у многих задач нет пользователя, который ждёт: разметить каталог товаров, перевести карточки, классифицировать обращения за месяц. Для них есть пакетная обработка — и она стоит вдвое меньше.
−50%к цене онлайн-запросов
24 чмаксимальное время готовности
1 файлJSONL со всеми запросами
Когда выгодно
- Разметка и классификация: категории товаров, тональность отзывов, темы обращений.
- Генерация и перевод контента: описания карточек, переводы каталогов, мета-теги.
- Офлайн-оценка: прогнать тестовый набор через несколько моделей и сравнить ответы.
Не подходит всё, что смотрит пользователь в реальном времени: чат, поддержка, агенты в IDE. И всё, где следующий запрос зависит от ответа на предыдущий.
Пример на цифрах
| 50 000 описаний на [Claude Sonnet 5.5](/models/claude-sonnet-5.5) | Режим | Стоимость |
|---|---|---|
| 1 000 токенов вход + 500 выход | Онлайн | 59 517,50 ₽ |
| То же самое | Batch | 29 758,75 ₽ |
Как отправить батч
- 1Соберите JSONLОдна строка — один запрос в формате
/v1/chat/completionsс уникальнымcustom_id. - 2Загрузите файл
client.files.createсpurpose="batch". - 3Создайте батч
client.batches.createс окномcompletion_window="24h". - 4Заберите результатыКогда статус станет
completed, скачайте файл ответов и сопоставьте поcustom_id.
{"custom_id": "sku-10482", "method": "POST", "url": "/v1/chat/completions",
"body": {"model": "anthropic/claude-sonnet-5.5",
"messages": [{"role": "user", "content": "Опиши товар: …"}]}}f = client.files.create(file=open("batch.jsonl", "rb"), purpose="batch")
b = client.batches.create(input_file_id=f.id,
endpoint="/v1/chat/completions",
completion_window="24h")
print(b.id, b.status)Важно
Батч не обещает ответ быстрее суток, даже если обычно приходит раньше. Закладывайте это в сроки и не запускайте пакет вечером накануне дедлайна.
Читайте также
Новые статьи — раз в две недели. Без спама.