SHVYDKO / Якість і сценарії
Упевненість у рішенні
Як читати probabilities, confidence і Noul та вибирати пороги для власного процесу.
Три різні сигнали
Не підміняйте confidence найбільшою probabilities і не інтерпретуйте Score як імовірність. Зберігайте поля окремо, якщо аналізуєте якість.
Висока впевненість не виключає помилки. Значення 0.9 не є обіцянкою 90% правильних рішень на вашому потоці: це потрібно перевіряти на розмічених даних.
| Сигнал | Як читати |
|---|---|
| Choice probabilities | Розподіл оцінок між вашими іменованими категоріями |
| Score probabilities | Розподіл оцінок між індексами впорядкованої шкали |
| Choice / Score confidence | Окремий показник упевненості від 0 до 1 |
| Noul noul | Оцінка сторони true від 0 до 1; окремого confidence немає |
Поріг залежить від ціни помилки
Спершу визначте, що гірше для процесу: пропустити потрібний випадок чи помилково спрацювати. Виберіть поріг на окремій калібрувальній вибірці та перевірте його на даних, які не використовували для вибору.
Порівнюйте точність прийнятих рішень із coverage — часткою випадків, які система бере на себе. Підвищення порога зазвичай змінює і coverage, і склад помилок; оцінюйте обидва показники.
Залиште маршрут для сумніву
- Визначте ручний перегляд або інший обробник для невпевненого рішення.
- Для Noul можна мати дві межі: прийняти true, прийняти false і перевірити середину.
- Для Choice додайте категорію, що покриває невідомі або сторонні запити.
- Повторюйте перевірку після зміни критеріїв, домену даних або сервісу моделі.
Порогові числа з навчального прикладу не замінюють перевірку на ваших даних.