verdictchoiceЯк чернетка співвідноситься з джерелом?
supportedУсі твердження чернетки підтвердженіcontradictedПринаймні одне твердження прямо суперечить джерелуinsufficientДжерела недостатньо для перевірки, прямої суперечності немає
Перевірте чернетку відповіді асистента перед тим, як показати її клієнту.
Відкрити цей запитЄдине джерело: «План Team у вигаданому сервісі «Контур» включає 3 робочі простори та до 50 учасників. Адміністратор може вручну експортувати звіт у CSV. Автоматичні звіти та експорт у PDF у плані Team недоступні». Питання клієнта: «Чи можна в Team налаштувати автоматичні PDF-звіти та необмежені робочі простори?» Чернетка відповіді асистента: «Так, Team підтримує автоматичні PDF-звіти та необмежену кількість робочих просторів». Оцінюйте лише відповідність наведеному джерелу.
verdictchoicesupportedУсі твердження чернетки підтвердженіcontradictedПринаймні одне твердження прямо суперечить джерелуinsufficientДжерела недостатньо для перевірки, прямої суперечності немаєgroundingscore0Жодне з двох1Одне з двох2Обидваcontains_contradictionnoulЦе оригінальний навчальний приклад із вигаданими обставинами. Готової відповіді тут немає: результат поверне налаштована модель після запуску в Playground. Порівняйте його з правилами контексту та окремо перевірте крайові випадки.
{
"state": "Єдине джерело: «План Team у вигаданому сервісі «Контур» включає 3 робочі простори та до 50 учасників. Адміністратор може вручну експортувати звіт у CSV. Автоматичні звіти та експорт у PDF у плані Team недоступні». Питання клієнта: «Чи можна в Team налаштувати автоматичні PDF-звіти та необмежені робочі простори?» Чернетка відповіді асистента: «Так, Team підтримує автоматичні PDF-звіти та необмежену кількість робочих просторів». Оцінюйте лише відповідність наведеному джерелу.",
"questions": {
"verdict": {
"type": "choice",
"instructions": "Як чернетка співвідноситься з джерелом?",
"criteria": {
"supported": "Усі твердження чернетки підтверджені",
"contradicted": "Принаймні одне твердження прямо суперечить джерелу",
"insufficient": "Джерела недостатньо для перевірки, прямої суперечності немає"
}
},
"grounding": {
"type": "score",
"instructions": "Яка частка двох ключових тверджень чернетки (автоматичні PDF-звіти; необмежені робочі простори) підтверджена джерелом?",
"criteria": [
"Жодне з двох",
"Одне з двох",
"Обидва"
]
},
"contains_contradiction": {
"type": "noul",
"instructions": "Чернетка містить твердження, що прямо суперечить наведеному джерелу."
}
}
}