Fallback-цепочки: что происходит, когда модель отвечает 429
Провайдер моделей перегружен, лимит исчерпан, запрос завис. Ваш код об этом не узнает: шлюз повторит запрос на следующей модели цепочки и вернёт обычный ответ.
1 anthropic/claude-sonnet-5.5 429 0,4 с 2 cloudflare/claude-sonnet-5.5 200 2,1 с 3 ~noebis/claude-sonnet-5.5 —ответ клиенту: 200 OK · 2,5 с · 0,68 ₽
Любая модель иногда отвечает ошибкой. 429 Too Many Requests — провайдер упёрся в лимит. 500 и 503 — что-то сломалось у него внутри. Бывает и хуже: запрос просто висит, пока клиент не отвалится по таймауту. Для пользователя вашего продукта все три случая выглядят одинаково — бот замолчал.
Что делает шлюз
На ключ в llmgw можно повесить цепочку моделей. Если первая вернула 429 или 5xx либо не ответила за таймаут, шлюз отправляет тот же запрос следующей. Ваш код получает обычный ответ в формате OpenAI, а в поле model — имя модели, которая в итоге ответила.
Как собрать цепочку
- 1Та же модель у другого поставщикаСамый мягкий шаг: ответ будет того же качества и в том же стиле. Пользователь не заметит подмены.
- 2Близкая модель того же классаЕсли недоступно всё семейство, переходим на сопоставимую модель — например, с Claude на GPT того же уровня.
- 3Быстрая и дешёвая модельПоследний рубеж: лучше короткий ответ, чем никакого. Подходит для чатов, не подходит для агентов с инструментами.
{
"id": "chatcmpl-…",
"model": "cloudflare/claude-sonnet-5.5",
"choices": [{ "message": { "role": "assistant", "content": "…" } }],
"usage": { "prompt_tokens": 812, "completion_tokens": 240 }
}Важно
Повтор безопасен только для запросов без побочных эффектов. Если модель вызывает инструменты — пишет в базу, отправляет письма — убедитесь, что повтор не выполнит действие дважды. Для таких сценариев цепочку лучше делать короче.
Что ещё стоит включить
- Таймаут на шаг: без него зависший провайдер съест всё время ответа.
- Лимит RPM на ключ: защищает от собственного бага, который шлёт запросы в цикле.
- Оповещения о расходах: fallback на дорогую модель может незаметно поднять счёт.
Цепочка не делает модели надёжнее. Она делает надёжнее ваш продукт: сбой у одного провайдера перестаёт быть сбоем у вас.
Читайте также
Новые статьи — раз в две недели. Без спама.
