Параллельные потоки: что это и сколько их нужно

Поток — это одновременный запрос

Поток — сколько запросов модель обрабатывает для вас в один момент времени. С одним потоком следующий запрос начнётся, когда закончится предыдущий. С четырьмя — четыре ответа генерируются параллельно, пятый подождёт, пока освободится место.

Важно: поток не ограничивает объём. Внутри потока можно отправлять сколько угодно запросов подряд и сколько угодно токенов. Ограничено только «сколько одновременно».

Сколько потоков взять

Что будет, если потоков не хватает

Лишний запрос получит ошибку 429 с кодом concurrency_limit. Большинство SDK и агентов автоматически повторяют такой запрос через пару секунд, поэтому вы заметите разве что небольшую паузу.

Если 429 приходят постоянно, значит, потоков действительно мало — докупите. Потоки на одну модель складываются, а скидка за объём начинается с двух потоков.

Почему потоки, а не токены

Счёт за токены непредсказуем: агент на сложной задаче может сжечь в десять раз больше обычного. Потоки ограничивают нагрузку, а не объём, поэтому цена месяца известна заранее, а длинный контекст и долгие сессии ничего не стоят сверху.

Пример из жизни: бот поддержки

Допустим, бот отвечает клиентам интернет-магазина. Средний ответ модели генерируется 5–10 секунд. Если в пиковый час приходит 300 сообщений, это в среднем одно сообщение в 12 секунд — одного потока почти хватает, но сообщения приходят неравномерно: после рассылки за минуту может прийти двадцать.

С одним потоком двадцатый клиент ждал бы ответа пару минут. С четырьмя потоками — около полуминуты. Поэтому для ботов с живыми клиентами мы советуем считать не среднюю нагрузку, а пиковую.

Как понять, что потоков мало

• В логах вашего сервиса появляются ответы 429 concurrency_limit
• Агент заметно «подвисает» между шагами
• Пользователи бота жалуются на долгие ответы в пиковые часы
• В кабинете кольцо загрузки потоков часто заполнено полностью

Как распределить потоки между сервисами

Если одна подписка обслуживает и людей, и автоматизацию, ограничьте потоки для ключа автоматизации. Например, из 8 потоков отдайте боту не больше 4 — тогда даже при наплыве сообщений у сотрудников в чате останутся свободные потоки.

Ограничение задаётся в настройках ключа в кабинете и действует сразу, без перезапуска сервиса.