Версії та результат
Порівняно відповіді працюючої Shvydko v2, отримані 16 жовтня 2026 року, зі збереженими відповідями Jev 1.14 (ідентифікатор typesafe/jev-1.14-20261014) на тих самих питаннях. Висновок стосується цього запуску сервісу, наведених версій і панелі.
На українському зрізі середня точність між сімействами задач становила 90,50% для Shvydko v2 та 87,57% для Jev 1.14. Різниця — +2,93 відсоткового пункта, скоригований довірчий інтервал 98,33% — від +0,77 до +5,10 в. п. Український зріз містить 1 662 питання з трьох сімейств задач.
Ці відсотки — середнє з однаковою вагою для кожного сімейства, а не частка правильних відповідей серед усіх питань разом. Інтервал описує невизначеність у межах цієї вибірки та не враховує всі можливі відмінності майбутнього потоку користувачів.
Як рахували
Використано зафіксовану панель від 8 жовтня 2026 року: 1 119 запитів, 4 119 включених питань і 420 груп вихідних сценаріїв. Вона охоплює українську, російську та суржик. Обидві сторони мають відповіді на всі 4 119 включених питань; під час порівняння еталонні відповіді не редагували.
Правильною вважали відповідь із найбільшою ймовірністю, якщо вона збігалася з еталоном. Для точної рівності ймовірностей застосовано правило першого варіанта. Спочатку рахували точність у кожному сімействі задач, потім — середнє з рівними вагами в межах мови. Для української це логічне випливання, висновки за наданим уривком і застосування правил.
Невизначеність оцінено парним стратифікованим кластерним bootstrap: 20 000 повторних вибірок, у яких пов’язані питання й мовні варіанти одного сценарію залишаються разом для обох моделей. Поправка Бонферроні на три мовні порівняння дає інтервали 98,33% для кожної мови.
Що показали інші мовні зрізи
На російському зрізі різниця становила +0,08 в. п., інтервал — від −1,72 до +1,84 в. п. Він перетинає нуль, тому перевагу на цьому зрізі не встановлено. На суржику різниця становила +4,88 в. п., інтервал — від +2,50 до +7,88 в. п.; усі 800 питань цього зрізу належать лише до задач застосування правил.
Спільний статистичний критерій вимагав додатної нижньої межі інтервалу для всіх трьох мов. Його не виконано. Український результат не слід подавати як підтвердження переваги на всіх мовах або в усіх задачах.
Обмеження поруч із результатом
Усі включені записи належать до частин даних для розробки. Це діагностичне порівняння, а не остаточна незалежна перевірка на відкладеній вибірці. До аналізу увійшли 4 119 із 13 219 питань вихідної панелі; інші 9 100 не відповідали заданим правилам включення. Панель не представляє всі задачі й формулювання реальних користувачів.
Із 3 006 питань на застосування правил 1 802 створено тим самим генератором і для тих самих типів сценаріїв, що й навчальні дані; решта 1 204 стосуються відкладених типів сценаріїв. Спільні генератор і типи сценаріїв не означають збігу конкретних записів, але обмежують незалежність перевірки. Суржик у панелі — синтетичні словникові перетворення, а не повідомлення реальних користувачів.
Для Jev зафіксовано назву версії та файл відповідей, але немає незмінного ідентифікатора ревізії моделі. Результат стосується саме збережених відповідей Jev 1.14, а не гарантує поведінку всіх наступних викликів сервісу.
Ця перевірка не встановлює перевагу за швидкістю, вартістю чи якістю англійською. Остаточний вибір тестової панелі та незалежна перевірка людиною тут не оцінювалися. Для рішення про інтеграцію потрібна власна перевірка на даних і правилах вашого процесу.