Визначте правильну відповідь до запуску
Почніть із правила, яке застосовують люди. Для маршрутизації це опис відповідальності команд; для оцінки — зміст кожного рівня шкали. Якщо два уважні колеги по-різному читають той самий приклад, спочатку з’ясуйте причину розбіжності.
Зберіть для кожного випадку контекст, очікувану відповідь і пояснення правила. Окремо позначайте приклади, для яких даних недостатньо. Їхня правильна обробка може полягати в уточненні або ручній перевірці. Примусово обрана категорія приховає важливу частину задачі.
Відділіть налаштування від перевірки
Частину прикладів використовуйте для уточнення контексту та критеріїв. Іншу частину залиште для оцінки вже обраного варіанта запиту. Коли ви регулярно виправляєте промпт за помилками тієї самої вибірки, вона теж стає частиною налаштування.
Перевірка має відображати майбутній потік: короткі й довгі повідомлення, типові та рідкісні категорії, різні мови, суперечливі формулювання. Приберіть дублікати між частинами вибірки. Порівнюючи дві версії, запускайте їх на тих самих випадках і зберігайте версії моделі та правил.
- Заздалегідь визначте, що вважається помилкою.
- Не змінюйте еталон лише тому, що модель відповіла інакше.
- Виносьте спірні випадки на окремий розбір.
Дивіться на конкретні помилки
Загальна частка правильних відповідей корисна, але не пояснює, де процес ламається. Для Choice перевірте, які категорії плутаються. Для Score розрізняйте сусідні рівні та суттєві промахи. Для тверджень про необхідність перевірки окремо розгляньте пропущені складні випадки й зайві передавання оператору.
Поруч із кожним підсумком зазначайте кількість випадків, склад вибірки, версію запиту й умови запуску. Час відповіді та якість рішення — різні характеристики. Спочатку визначте допустимі помилки для свого процесу, потім вирішуйте, яку частину потоку можна обробляти автоматично.