{
  "format": "shvydko-evaluation-v1",
  "created_at": "2026-10-17T02:19:38.826922+00:00",
  "model": "shvydko-latest",
  "cases": [
    {
      "id": "support-routing-original",
      "state": "Звернення клієнта інтернет-магазину: «Вже 15 хвилин жоден покупець не може оплатити замовлення карткою. Сторінка показує payment unavailable. Оплата при отриманні працює. Ми перевірили з трьох різних пристроїв. Гроші з карток не списуються». Правило маршрутизації: збої роботи сайту — технічній команді; питання про списання та рахунки — фінансовій; терміни доставки — логістичній. Масовий збій способу оплати потребує термінової перевірки людиною.",
      "questions": {
        "team": {
          "type": "choice",
          "instructions": "Яка команда має розглянути це звернення? Оберіть за головною причиною проблеми.",
          "criteria": {
            "engineering": "Технічна команда: збій сайту або інтеграції",
            "finance": "Фінансова команда: рахунки, повернення списаних коштів",
            "logistics": "Логістична команда: відправлення та доставка"
          }
        },
        "impact": {
          "type": "score",
          "instructions": "Оцініть вплив описаної проблеми на оформлення замовлень.",
          "criteria": [
            "Не перешкоджає оформленню",
            "Ускладнює оформлення одному клієнту",
            "Блокує один спосіб оплати для багатьох клієнтів",
            "Блокує всі способи оформлення для всіх клієнтів"
          ]
        },
        "human_review": {
          "type": "noul",
          "instructions": "За наведеним правилом це звернення потребує термінової перевірки людиною."
        }
      },
      "expected": {
        "team": "engineering",
        "impact": {
          "min": 1.5,
          "max": 2.5
        },
        "human_review": true
      }
    },
    {
      "id": "support-routing-variant",
      "state": "Звернення клієнта інтернет-магазину: «Замовлення вже оплачено. Посилка ще в дорозі, хочу уточнити дату доставки. Нові замовлення та всі способи оплати працюють без збоїв». Правило маршрутизації: збої сайту — технічній команді; питання про списання та рахунки — фінансовій; терміни доставки — логістичній. Лише масовий збій способу оплати потребує термінової перевірки людиною. Звичайне уточнення дати доставки її не потребує.",
      "questions": {
        "team": {
          "type": "choice",
          "instructions": "Яка команда має розглянути це звернення? Оберіть за головною причиною проблеми.",
          "criteria": {
            "engineering": "Технічна команда: збій сайту або інтеграції",
            "finance": "Фінансова команда: рахунки, повернення списаних коштів",
            "logistics": "Логістична команда: відправлення та доставка"
          }
        },
        "impact": {
          "type": "score",
          "instructions": "Оцініть вплив описаної проблеми на оформлення замовлень.",
          "criteria": [
            "Не перешкоджає оформленню",
            "Ускладнює оформлення одному клієнту",
            "Блокує один спосіб оплати для багатьох клієнтів",
            "Блокує всі способи оформлення для всіх клієнтів"
          ]
        },
        "human_review": {
          "type": "noul",
          "instructions": "За наведеним правилом це звернення потребує термінової перевірки людиною."
        }
      },
      "expected": {
        "team": "logistics",
        "impact": {
          "min": 0,
          "max": 0.5
        },
        "human_review": false
      }
    },
    {
      "id": "return-review-original",
      "state": "Внутрішня політика вигаданого магазину «Лінія»: стандартне повернення можливе, якщо від отримання минуло не більш ніж 14 днів, товар не використовували й усі бирки збережені. Якщо товар використовували, запит передають менеджеру для окремого розгляду. Якщо даних бракує, спочатку запитують уточнення. Замовлення: рюкзак. Днів від отримання: 6 (вже обчислено системою). Клієнт пише: «Брав рюкзак у похід на вихідних. На дні залишилася пляма, але бирки я зберіг. Хочу повернути». Це навчальна внутрішня політика, а не опис законодавства.",
      "questions": {
        "route": {
          "type": "choice",
          "instructions": "Який наступний крок передбачає наведена внутрішня політика?",
          "criteria": {
            "standard_return": "Стандартна процедура повернення",
            "manager_review": "Окремий розгляд менеджером",
            "ask_for_details": "Запит відсутніх фактів"
          }
        },
        "completeness": {
          "type": "score",
          "instructions": "Скільки з трьох необхідних фактів відомо: строк, використання, наявність бирок?",
          "criteria": [
            "Жодного",
            "Один факт",
            "Два факти",
            "Усі три факти"
          ]
        },
        "meets_standard_policy": {
          "type": "noul",
          "instructions": "Описаний запит відповідає всім умовам стандартного повернення за наведеною внутрішньою політикою."
        }
      },
      "expected": {
        "route": "manager_review",
        "completeness": {
          "min": 2.5,
          "max": 3
        },
        "meets_standard_policy": false
      }
    },
    {
      "id": "return-review-variant",
      "state": "Внутрішня політика вигаданого магазину «Лінія»: стандартне повернення можливе, якщо від отримання минуло не більш ніж 14 днів, товар не використовували й усі бирки збережені. Якщо товар використовували, запит передають менеджеру. Якщо даних бракує, запитують уточнення. Замовлення: рюкзак. Днів від отримання: 6. Клієнт підтверджує: товар не використовувався, усі бирки збережені. Це навчальна внутрішня політика, а не опис законодавства.",
      "questions": {
        "route": {
          "type": "choice",
          "instructions": "Який наступний крок передбачає наведена внутрішня політика?",
          "criteria": {
            "standard_return": "Стандартна процедура повернення",
            "manager_review": "Окремий розгляд менеджером",
            "ask_for_details": "Запит відсутніх фактів"
          }
        },
        "completeness": {
          "type": "score",
          "instructions": "Скільки з трьох необхідних фактів відомо: строк, використання, наявність бирок?",
          "criteria": [
            "Жодного",
            "Один факт",
            "Два факти",
            "Усі три факти"
          ]
        },
        "meets_standard_policy": {
          "type": "noul",
          "instructions": "Описаний запит відповідає всім умовам стандартного повернення за наведеною внутрішньою політикою."
        }
      },
      "expected": {
        "route": "standard_return",
        "completeness": {
          "min": 2.5,
          "max": 3
        },
        "meets_standard_policy": true
      }
    },
    {
      "id": "lead-routing-original",
      "state": "Вхідний запит до вигаданого B2B-сервісу: «Добрий день! У нас 80 операторів підтримки та близько 120 тисяч звернень на місяць. Працюємо в Zendesk. Хочемо автоматично розподіляти звернення за командами. До пілоту потрібно обговорити інтеграцію, доступ через приватну мережу та вимоги нашого відділу безпеки. Комерційні умови погодимо після технічної зустрічі». Правила: запити з інтеграцією або вимогами безпеки передавати технічним продажам; простий старт без цих вимог — у самостійний пілот; проблеми наявних клієнтів — у підтримку. Наявність запитаної функції в продукті тут не підтверджується.",
      "questions": {
        "next_step": {
          "type": "choice",
          "instructions": "Куди передати цей запит за наведеними правилами?",
          "criteria": {
            "technical_sales": "Технічні продажі: з'ясувати вимоги та можливість інтеграції",
            "self_service_trial": "Самостійний пілот без попередньої технічної зустрічі",
            "customer_support": "Підтримка наявного клієнта"
          }
        },
        "detail_level": {
          "type": "score",
          "instructions": "Наскільки конкретно описано задачу?",
          "criteria": [
            "Задача не визначена",
            "Є лише загальний інтерес",
            "Є конкретний процес або вимоги",
            "Є процес, масштаб і технічні вимоги"
          ]
        },
        "security_review_requested": {
          "type": "noul",
          "instructions": "Клієнт прямо просить обговорити вимоги безпеки перед початком пілоту."
        }
      },
      "expected": {
        "next_step": "technical_sales",
        "detail_level": {
          "min": 2.5,
          "max": 3
        },
        "security_review_requested": true
      }
    },
    {
      "id": "lead-routing-variant",
      "state": "Вхідний запит нового клієнта до вигаданого B2B-сервісу: «Хочу самостійно спробувати розподіл звернень за командами через ваш Playground. Підключати інтеграції не потрібно, окремих вимог безпеки немає». Правила: запити з інтеграцією або вимогами безпеки передавати технічним продажам; простий старт без цих вимог — у самостійний пілот; проблеми наявних клієнтів — у підтримку.",
      "questions": {
        "next_step": {
          "type": "choice",
          "instructions": "Куди передати цей запит за наведеними правилами?",
          "criteria": {
            "technical_sales": "Технічні продажі: з'ясувати вимоги та можливість інтеграції",
            "self_service_trial": "Самостійний пілот без попередньої технічної зустрічі",
            "customer_support": "Підтримка наявного клієнта"
          }
        },
        "detail_level": {
          "type": "score",
          "instructions": "Наскільки конкретно описано задачу?",
          "criteria": [
            "Задача не визначена",
            "Є лише загальний інтерес",
            "Є конкретний процес або вимоги",
            "Є процес, масштаб і технічні вимоги"
          ]
        },
        "security_review_requested": {
          "type": "noul",
          "instructions": "Клієнт прямо просить обговорити вимоги безпеки перед початком пілоту."
        }
      },
      "expected": {
        "next_step": "self_service_trial",
        "detail_level": {
          "min": 1.5,
          "max": 2.5
        },
        "security_review_requested": false
      }
    },
    {
      "id": "answer-grounding-original",
      "state": "Єдине джерело: «План Team у вигаданому сервісі «Контур» включає 3 робочі простори та до 50 учасників. Адміністратор може вручну експортувати звіт у CSV. Автоматичні звіти та експорт у PDF у плані Team недоступні». Питання клієнта: «Чи можна в Team налаштувати автоматичні PDF-звіти та необмежені робочі простори?» Чернетка відповіді асистента: «Так, Team підтримує автоматичні PDF-звіти та необмежену кількість робочих просторів». Оцінюйте лише відповідність наведеному джерелу.",
      "questions": {
        "verdict": {
          "type": "choice",
          "instructions": "Як чернетка співвідноситься з джерелом?",
          "criteria": {
            "supported": "Усі твердження чернетки підтверджені",
            "contradicted": "Принаймні одне твердження прямо суперечить джерелу",
            "insufficient": "Джерела недостатньо для перевірки, прямої суперечності немає"
          }
        },
        "grounding": {
          "type": "score",
          "instructions": "Яка частка двох ключових тверджень чернетки (автоматичні PDF-звіти; необмежені робочі простори) підтверджена джерелом?",
          "criteria": [
            "Жодне з двох",
            "Одне з двох",
            "Обидва"
          ]
        },
        "contains_contradiction": {
          "type": "noul",
          "instructions": "Чернетка містить твердження, що прямо суперечить наведеному джерелу."
        }
      },
      "expected": {
        "verdict": "contradicted",
        "grounding": {
          "min": 0,
          "max": 0.5
        },
        "contains_contradiction": true
      }
    },
    {
      "id": "answer-grounding-variant",
      "state": "Єдине джерело: «План Team у вигаданому сервісі «Контур» включає 3 робочі простори та до 50 учасників. Адміністратор може вручну експортувати звіт у CSV. Автоматичні звіти та експорт у PDF у плані Team недоступні». Питання клієнта: «Чи можна в Team налаштувати автоматичні PDF-звіти та необмежені робочі простори?» Чернетка відповіді асистента: «Автоматичні PDF-звіти у Team недоступні. Кількість робочих просторів обмежена трьома». Оцінюйте лише відповідність наведеному джерелу. Два ключові твердження цієї чернетки: PDF-звіти недоступні; робочих просторів не більше трьох.",
      "questions": {
        "verdict": {
          "type": "choice",
          "instructions": "Як чернетка співвідноситься з джерелом?",
          "criteria": {
            "supported": "Усі твердження чернетки підтверджені",
            "contradicted": "Принаймні одне твердження прямо суперечить джерелу",
            "insufficient": "Джерела недостатньо для перевірки, прямої суперечності немає"
          }
        },
        "grounding": {
          "type": "score",
          "instructions": "Яка частка двох тверджень чернетки (автоматичні PDF-звіти недоступні; робочих просторів не більше трьох) підтверджена джерелом?",
          "criteria": [
            "Жодне з двох",
            "Одне з двох",
            "Обидва"
          ]
        },
        "contains_contradiction": {
          "type": "noul",
          "instructions": "Чернетка містить твердження, що прямо суперечить наведеному джерелу."
        }
      },
      "expected": {
        "verdict": "supported",
        "grounding": {
          "min": 1.5,
          "max": 2
        },
        "contains_contradiction": false
      }
    }
  ],
  "results": [
    {
      "id": "support-routing-original",
      "status": "success",
      "elapsed_ms": 705.044,
      "response": {
        "model": "shvydko-latest",
        "answers": {
          "team": {
            "type": "choice",
            "choice": "engineering",
            "probabilities": {
              "engineering": 0.9997,
              "finance": 0.0002,
              "logistics": 0.0
            },
            "confidence": 0.9996
          },
          "impact": {
            "type": "score",
            "score": 1.9977,
            "probabilities": {
              "0": 0.0012,
              "1": 0.0,
              "2": 0.9985,
              "3": 0.0002
            },
            "confidence": 0.9973,
            "legend": {
              "0": "Не перешкоджає оформленню",
              "1": "Ускладнює оформлення одному клієнту",
              "2": "Блокує один спосіб оплати для багатьох клієнтів",
              "3": "Блокує всі способи оформлення для всіх клієнтів"
            }
          },
          "human_review": {
            "type": "noul",
            "noul": 0.9956
          }
        },
        "usage": {
          "input_tokens": 342,
          "output_tokens": 885,
          "cost_microusd": 0,
          "cost_usd": "0.000000",
          "price_per_million_input_usd": null
        },
        "request_id": "req_SkgPZ_88iOU0fZqz_pddrvlY",
        "latency_ms": 114.4,
        "gateway_latency_ms": 430.39,
        "service_mode": "preview"
      }
    },
    {
      "id": "support-routing-variant",
      "status": "success",
      "elapsed_ms": 978.361,
      "response": {
        "model": "shvydko-latest",
        "answers": {
          "team": {
            "type": "choice",
            "choice": "logistics",
            "probabilities": {
              "engineering": 0.0002,
              "finance": 0.0001,
              "logistics": 0.9998
            },
            "confidence": 0.9997
          },
          "impact": {
            "type": "score",
            "score": 0.0037,
            "probabilities": {
              "0": 0.9969,
              "1": 0.0027,
              "2": 0.0003,
              "3": 0.0001
            },
            "confidence": 0.9963,
            "legend": {
              "0": "Не перешкоджає оформленню",
              "1": "Ускладнює оформлення одному клієнту",
              "2": "Блокує один спосіб оплати для багатьох клієнтів",
              "3": "Блокує всі способи оформлення для всіх клієнтів"
            }
          },
          "human_review": {
            "type": "noul",
            "noul": 0.0005
          }
        },
        "usage": {
          "input_tokens": 332,
          "output_tokens": 892,
          "cost_microusd": 0,
          "cost_usd": "0.000000",
          "price_per_million_input_usd": null
        },
        "request_id": "req_Yn5Lr2SNeL74Nu9HkiX5ZN6u",
        "latency_ms": 115.0,
        "gateway_latency_ms": 636.19,
        "service_mode": "preview"
      }
    },
    {
      "id": "return-review-original",
      "status": "success",
      "elapsed_ms": 872.762,
      "response": {
        "model": "shvydko-latest",
        "answers": {
          "route": {
            "type": "choice",
            "choice": "manager_review",
            "probabilities": {
              "standard_return": 0.0008,
              "manager_review": 0.999,
              "ask_for_details": 0.0002
            },
            "confidence": 0.9985
          },
          "completeness": {
            "type": "score",
            "score": 2.9924,
            "probabilities": {
              "0": 0.0002,
              "1": 0.0004,
              "2": 0.0063,
              "3": 0.9932
            },
            "confidence": 0.9924,
            "legend": {
              "0": "Жодного",
              "1": "Один факт",
              "2": "Два факти",
              "3": "Усі три факти"
            }
          },
          "meets_standard_policy": {
            "type": "noul",
            "noul": 0.0019
          }
        },
        "usage": {
          "input_tokens": 338,
          "output_tokens": 370,
          "cost_microusd": 0,
          "cost_usd": "0.000000",
          "price_per_million_input_usd": null
        },
        "request_id": "req_iWX_YMWz7X3ELINilEvHCw8W",
        "latency_ms": 327.7,
        "gateway_latency_ms": 665.14,
        "service_mode": "preview"
      }
    },
    {
      "id": "return-review-variant",
      "status": "success",
      "elapsed_ms": 839.914,
      "response": {
        "model": "shvydko-latest",
        "answers": {
          "route": {
            "type": "choice",
            "choice": "standard_return",
            "probabilities": {
              "standard_return": 0.9999,
              "manager_review": 0.0001,
              "ask_for_details": 0.0
            },
            "confidence": 0.9999
          },
          "completeness": {
            "type": "score",
            "score": 2.9996,
            "probabilities": {
              "0": 0.0001,
              "1": 0.0,
              "2": 0.0002,
              "3": 0.9997
            },
            "confidence": 0.9996,
            "legend": {
              "0": "Жодного",
              "1": "Один факт",
              "2": "Два факти",
              "3": "Усі три факти"
            }
          },
          "meets_standard_policy": {
            "type": "noul",
            "noul": 0.9962
          }
        },
        "usage": {
          "input_tokens": 296,
          "output_tokens": 365,
          "cost_microusd": 0,
          "cost_usd": "0.000000",
          "price_per_million_input_usd": null
        },
        "request_id": "req_RNC1evCZHAFYPp_jJJpQelJl",
        "latency_ms": 98.7,
        "gateway_latency_ms": 447.54,
        "service_mode": "preview"
      }
    },
    {
      "id": "lead-routing-original",
      "status": "success",
      "elapsed_ms": 781.038,
      "response": {
        "model": "shvydko-latest",
        "answers": {
          "next_step": {
            "type": "choice",
            "choice": "technical_sales",
            "probabilities": {
              "technical_sales": 0.9999,
              "self_service_trial": 0.0001,
              "customer_support": 0.0
            },
            "confidence": 0.9998
          },
          "detail_level": {
            "type": "score",
            "score": 2.9982,
            "probabilities": {
              "0": 0.0,
              "1": 0.0,
              "2": 0.0018,
              "3": 0.9982
            },
            "confidence": 0.9982,
            "legend": {
              "0": "Задача не визначена",
              "1": "Є лише загальний інтерес",
              "2": "Є конкретний процес або вимоги",
              "3": "Є процес, масштаб і технічні вимоги"
            }
          },
          "security_review_requested": {
            "type": "noul",
            "noul": 0.9956
          }
        },
        "usage": {
          "input_tokens": 355,
          "output_tokens": 667,
          "cost_microusd": 0,
          "cost_usd": "0.000000",
          "price_per_million_input_usd": null
        },
        "request_id": "req_g-lkQKAInOrbiqP1woXbzHK6",
        "latency_ms": 131.5,
        "gateway_latency_ms": 486.66,
        "service_mode": "preview"
      }
    },
    {
      "id": "lead-routing-variant",
      "status": "success",
      "elapsed_ms": 801.314,
      "response": {
        "model": "shvydko-latest",
        "answers": {
          "next_step": {
            "type": "choice",
            "choice": "self_service_trial",
            "probabilities": {
              "technical_sales": 0.0002,
              "self_service_trial": 0.9996,
              "customer_support": 0.0002
            },
            "confidence": 0.9994
          },
          "detail_level": {
            "type": "score",
            "score": 1.6083,
            "probabilities": {
              "0": 0.1085,
              "1": 0.192,
              "2": 0.6821,
              "3": 0.0173
            },
            "confidence": 0.5736,
            "legend": {
              "0": "Задача не визначена",
              "1": "Є лише загальний інтерес",
              "2": "Є конкретний процес або вимоги",
              "3": "Є процес, масштаб і технічні вимоги"
            }
          },
          "security_review_requested": {
            "type": "noul",
            "noul": 0.0019
          }
        },
        "usage": {
          "input_tokens": 280,
          "output_tokens": 676,
          "cost_microusd": 0,
          "cost_usd": "0.000000",
          "price_per_million_input_usd": null
        },
        "request_id": "req_bVh94bw-vNEkDOMwAyCQYXE5",
        "latency_ms": 292.7,
        "gateway_latency_ms": 516.83,
        "service_mode": "preview"
      }
    },
    {
      "id": "answer-grounding-original",
      "status": "success",
      "elapsed_ms": 773.933,
      "response": {
        "model": "shvydko-latest",
        "answers": {
          "verdict": {
            "type": "choice",
            "choice": "contradicted",
            "probabilities": {
              "supported": 0.0007,
              "contradicted": 0.9986,
              "insufficient": 0.0007
            },
            "confidence": 0.9979
          },
          "grounding": {
            "type": "score",
            "score": 0.0017,
            "probabilities": {
              "0": 0.9985,
              "1": 0.0013,
              "2": 0.0002
            },
            "confidence": 0.9975,
            "legend": {
              "0": "Жодне з двох",
              "1": "Одне з двох",
              "2": "Обидва"
            }
          },
          "contains_contradiction": {
            "type": "noul",
            "noul": 0.9912
          }
        },
        "usage": {
          "input_tokens": 335,
          "output_tokens": 310,
          "cost_microusd": 0,
          "cost_usd": "0.000000",
          "price_per_million_input_usd": null
        },
        "request_id": "req_Kxyckf6fGWbPnY4_ugcby1MV",
        "latency_ms": 97.3,
        "gateway_latency_ms": 573.72,
        "service_mode": "preview"
      }
    },
    {
      "id": "answer-grounding-variant",
      "status": "success",
      "elapsed_ms": 529.499,
      "response": {
        "model": "shvydko-latest",
        "answers": {
          "verdict": {
            "type": "choice",
            "choice": "supported",
            "probabilities": {
              "supported": 0.9943,
              "contradicted": 0.0031,
              "insufficient": 0.0026
            },
            "confidence": 0.9914
          },
          "grounding": {
            "type": "score",
            "score": 1.9956,
            "probabilities": {
              "0": 0.0011,
              "1": 0.0023,
              "2": 0.9967
            },
            "confidence": 0.9934,
            "legend": {
              "0": "Жодне з двох",
              "1": "Одне з двох",
              "2": "Обидва"
            }
          },
          "contains_contradiction": {
            "type": "noul",
            "noul": 0.0082
          }
        },
        "usage": {
          "input_tokens": 370,
          "output_tokens": 308,
          "cost_microusd": 0,
          "cost_usd": "0.000000",
          "price_per_million_input_usd": null
        },
        "request_id": "req_dvo-42DkxhHQvRiMfzEK19-m",
        "latency_ms": 96.1,
        "gateway_latency_ms": 319.87,
        "service_mode": "preview"
      }
    }
  ],
  "provenance": {
    "source": "Actual public Shvydko API responses",
    "purpose": "Fictional tutorial examples; not a holdout benchmark or performance comparison",
    "expectations": "Authored before execution from each fictional rule; all scheduled cases included",
    "runtime_alias": "shvydko-latest may change; this recording is dated, not an immutable model revision"
  }
}