Спочатку уточніть, що означає число
Для Noul ви задаєте твердження, й модель оцінює його ймовірність у наведеному контексті. Наприклад: «За правилами це звернення потребує термінової перевірки людиною». Тут оцінюється конкретне твердження, а не загальна якість усієї роботи оператора.
Не слід автоматично читати значення впевненості як гарантовану частку правильних відповідей у майбутньому потоці. Чи відповідають числові оцінки спостережуваним результатам, потрібно перевіряти на розмічених прикладах вашої задачі. Нові формулювання або інша мова можуть змінити картину.
Виберіть правило за ціною помилки
У підтримці зайва перевірка забирає час оператора, а пропущений масовий збій може затримати реакцію команди. Це різні наслідки. Зберіть випадки, для яких відомий правильний наступний крок, і порівняйте, скільки помилок та ручної роботи дає кожен можливий поріг.
Вибір правила і його остаточну перевірку рознесіть на різні приклади. Поріг, обраний на вже переглянутій вибірці, ще не доводить, що так само працюватиме на новому потоці. Коли невідомих фактів забагато, доречним наступним кроком може бути уточнення, незалежно від отриманого числа.
- Визначте, які помилки особливо важливо не пропускати.
- Оцініть навантаження на людей для кожного правила.
- Перевірте обране правило на відкладених прикладах.
Дайте оператору контекст рішення
У ручну чергу передавайте вихідний контекст, поставлене питання, результат і версію правила. Людині потрібні факти, за якими вона може зробити власний висновок. Саме число впевненості без питання й критеріїв мало що пояснює.
Записуйте підтвердження або виправлення з короткою причиною. Згодом ці приклади допоможуть знайти неоднозначні правила та нові типи звернень. Періодично перевіряйте також частину автоматично опрацьованих випадків: інакше ви побачите лише ті помилки, що вже потрапили до ручної черги.