Надёжность

Fallback-цепочки: что происходит, когда модель отвечает 429

Провайдер моделей перегружен, лимит исчерпан, запрос завис. Ваш код об этом не узнает: шлюз повторит запрос на следующей модели цепочки и вернёт обычный ответ.

5 мин чтения
1  anthropic/claude-sonnet-5.5   429  0,4 с
2  cloudflare/claude-sonnet-5.5  200  2,1 с
3  ~noebis/claude-sonnet-5.5     —
ответ клиенту: 200 OK · 2,5 с · 0,68 ₽

Любая модель иногда отвечает ошибкой. 429 Too Many Requests — провайдер упёрся в лимит. 500 и 503 — что-то сломалось у него внутри. Бывает и хуже: запрос просто висит, пока клиент не отвалится по таймауту. Для пользователя вашего продукта все три случая выглядят одинаково — бот замолчал.

Что делает шлюз

На ключ в llmgw можно повесить цепочку моделей. Если первая вернула 429 или 5xx либо не ответила за таймаут, шлюз отправляет тот же запрос следующей. Ваш код получает обычный ответ в формате OpenAI, а в поле model — имя модели, которая в итоге ответила.

0,4 сстолько заняла ошибка 429 на первом шаге
2,5 сполное время ответа клиенту
0,68 ₽стоимость запроса — только за успешный ответ

Как собрать цепочку

  1. 1Та же модель у другого поставщикаСамый мягкий шаг: ответ будет того же качества и в том же стиле. Пользователь не заметит подмены.
  2. 2Близкая модель того же классаЕсли недоступно всё семейство, переходим на сопоставимую модель — например, с Claude на GPT того же уровня.
  3. 3Быстрая и дешёвая модельПоследний рубеж: лучше короткий ответ, чем никакого. Подходит для чатов, не подходит для агентов с инструментами.
Ответ после fallback — обычный формат OpenAI
{
  "id": "chatcmpl-…",
  "model": "cloudflare/claude-sonnet-5.5",
  "choices": [{ "message": { "role": "assistant", "content": "…" } }],
  "usage": { "prompt_tokens": 812, "completion_tokens": 240 }
}

Важно

Повтор безопасен только для запросов без побочных эффектов. Если модель вызывает инструменты — пишет в базу, отправляет письма — убедитесь, что повтор не выполнит действие дважды. Для таких сценариев цепочку лучше делать короче.

Что ещё стоит включить

  • Таймаут на шаг: без него зависший провайдер съест всё время ответа.
  • Лимит RPM на ключ: защищает от собственного бага, который шлёт запросы в цикле.
  • Оповещения о расходах: fallback на дорогую модель может незаметно поднять счёт.

Цепочка не делает модели надёжнее. Она делает надёжнее ваш продукт: сбой у одного провайдера перестаёт быть сбоем у вас.

Читайте также

Экономия · 8 мин

Кэш промптов: как платить за длинную инструкцию в 20 раз меньше

Экономия · 7 мин

Сколько стоят 1 000 запросов к Claude, GPT и DeepSeek в ноябре

Гайды · 6 мин

Cursor на любой модели: подключаем llmgw за три минуты

Новые статьи — раз в две недели. Без спама.