SHVYDKO / API
Ліміти та контекст
Три різні межі: розмір JSON, токени моделі та частота запитів організації.
Поточна конфігурація
Завантажуємо параметри сервісу…
Параметри цього розгортання. Цей блок не запускає модель і не є перевіркою її працездатності.
Перевіряйте актуальну конфігурацію
Параметри в блоці поточної конфігурації отримуються з GET /api/config. Вони можуть змінюватися між розгортаннями. Число ключів організації не збільшує її квоту.
Розмір тіла вимірюється в байтах UTF-8, а контекст моделі — у токенах. Український текст, JSON-розмітка й описи критеріїв також займають місце. Кількість символів не є точним підрахунком токенів.
| Межа | Що обмежує |
|---|---|
| max_request_bytes | Повний JSON-запит у байтах |
| max_questions | Кількість питань одного запиту |
| requests_per_minute | Спільну частоту API і Playground організації |
| preview_request_limit | Добову кількість запитів організації у preview |
| preview_global_request_limit | Добову preview-місткість усього сервісу |
| reserve_tokens / max_input_tokens | Верхню межу обліку та фінансового резерву шлюзу; це не розмір контексту моделі |
Контекст визначає сервіс моделі
Діючі межі state і гілки питання читайте в GET /v1/models → models[].context. Значення max_input_tokens з /api/config не означає, що state такого розміру поміститься в модель.
Великий запит може пройти перевірку байтів і все одно бути відхилений через контекст моделі. Відбирайте релевантні фрагменти, скорочуйте повтори й розділяйте незалежні документи на окремі запити. Якість на довгому контексті перевіряйте окремо.
Preview і відновлення квоти
Preview має окремі добові межі організації та всього сервісу; скидання відбувається о 00:00 UTC. Запити, які вже прийняті до обробки й потім завершилися помилкою, теж витрачають добову квоту. HTTP-помилки до прийняття запиту не створюють запису inference.
Одна організація використовує спільну хвилинну квоту через API та Playground. Для паралельної обробки обмежуйте кількість одночасних запитів у своєму застосунку.