-
-
Notifications
You must be signed in to change notification settings - Fork 57
Language ukrainian
Category: Cyrillic Languages Script: Cyrillic
| Metric | Value |
|---|---|
| Average Score | 🟠 6.2/10 |
| Accuracy | 6.9/10 |
| Fluency | 6.2/10 |
| Style | 6.0/10 |
| Total Tests | 120 |
| Best Model | google/gemini-3-flash-preview |
| Worst Model | llama3.2 |
| Model | Overall | Accuracy | Fluency | Style |
|---|---|---|---|---|
| google/gemini-3-flash-preview | 🟡 7.8 | 8.2 | 7.6 | 7.6 |
| google/gemini-2.0-flash-001 | 🟡 7.6 | 8.0 | 7.4 | 7.4 |
| mistralai/mistral-medium-3.1 | 🟡 7.4 | 8.0 | 7.2 | 7.6 |
| translategemma:12b | 🟡 7.4 | 7.6 | 7.2 | 6.8 |
| gemma3:27b-it-qat | 🟡 7.2 | 7.8 | 7.0 | 7.0 |
| ministral-3:14b | 🟡 7.2 | 7.4 | 7.2 | 6.6 |
| gemma3:12b | 🟡 7.0 | 7.8 | 6.8 | 7.0 |
| gemma3:27b | 🟡 7.0 | 7.6 | 6.8 | 7.0 |
| translategemma:27b | 🟡 7.0 | 7.6 | 7.0 | 6.6 |
| translategemma:12b-it-q4_K_M | 🟡 7.0 | 7.4 | 7.0 | 6.4 |
| translategemma:27b-it-q8_0 | 🟡 7.0 | 7.4 | 7.2 | 6.4 |
| qwen3:30b | 🟠 6.8 | 7.8 | 6.8 | 6.8 |
| ministral-3 | 🟠 6.6 | 7.2 | 6.4 | 6.4 |
| qwen3:30b-instruct | 🟠 6.6 | 7.4 | 6.6 | 6.4 |
| mistral-small:24b | 🟠 6.4 | 7.2 | 6.4 | 6.4 |
| translategemma:4b | 🟠 6.4 | 6.8 | 6.6 | 5.6 |
| translategemma:4b-it-q4_K_M | 🟠 6.2 | 7.0 | 6.2 | 5.6 |
| qwen3:14b | 🟠 6.0 | 6.8 | 6.0 | 5.8 |
| gemma3:4b | 🟠 5.8 | 6.8 | 5.8 | 5.8 |
| qwen3:4b | 🟠 5.2 | 6.2 | 5.2 | 4.6 |
| glm-4.7-flash:latest | 🟠 5.2 | 5.6 | 5.2 | 4.6 |
| qwen3:8b | 🔴 4.2 | 5.2 | 4.2 | 4.0 |
| llama3.1:8b | 🔴 4.0 | 5.0 | 4.0 | 3.8 |
| llama3.2 | ⚫ 1.0 | 2.0 | 1.0 | 1.0 |
Model: gemma3:27b-it-qat Score: 🟡 8.0/10
View Translation
Original (English):
Translation (Ukrainian):
У студії панував густий аромат троянд, а коли легкий літній вітерець завихрювався серед дерев саду, крізь відчинені двері долинав важкий запах бузку або ніжніший аромат квіток шипшини. З кутка дивану, оббитого перськими дорожніми килимами, на якому він лежав, палив, як звичайно, незліченну кількість цигарок, лорд Генрі Воттон міг ледь помітити блиск медово-солодких і медово-жовтих квітів глухабука.
Evaluator Feedback:
The translation preserves the sensory richness and aesthetic focus of Wilde's prose with strong accuracy in conveying the floral imagery and atmosphere. Minor fluency issues arise from the complex sentence structure and the somewhat awkward phrasing of "дорожними килимами" (travel carpets) instead of a more elegant rendering, plus "глухабука" is an unusual botanical term that may not resonate as smoothly as the original's "laburnum."
Model: gemma3:27b-it-qat Score: 🟡 8.0/10
View Translation
Original (English):
Translation (Ukrainian):
Я пішов у ліс, бо прагнув жити свідомо, лицем до найважливіших фактів життя, і побачити, чи не можу я чогось навчитися в нього, і щоб, коли прийде моя година, не виявилося, що я й не жив. Я не хотів жити тим, що не є життям, адже життя таке цінне; ні й не прагнув примиритися з долею, якщо тільки це не було абсолютно необхідно. Я хотів жити глибоко і висмоктати всю сутність життя.
Evaluator Feedback:
The translation captures the philosophical essence and meaning of Thoreau's passage well, with faithful rendering of key concepts like deliberate living and extracting life's marrow. Minor stylistic adjustments ('примиритися з долею' for resignation, 'висмоктати всю сутність' for suck out marrow) slightly soften the original's intensity and directness, though the Ukrainian remains eloquent and natural.
Model: ministral-3 Score: 🟡 8.0/10
View Translation
Original (English):
Translation (Ukrainian):
Це загальновизнана істина, що одинак, який володіє добрим статком, мусить шукати собі дружину. Наскільки б мало відомі були почуття чи погляди такого чоловіка, коли він вперше з'являється в околицях, ця істина так міцно закріпилася в уяві оточуючих родин, що його вважають законним майном однієї з їхніх дочок.
Evaluator Feedback:
The translation faithfully preserves Austen's meaning and ironic tone, with accurate rendering of key concepts like 'universally acknowledged' and the satirical property metaphor. Minor fluency issues arise from slightly awkward phrasing ('мусить шукати' is somewhat stiff) and the construction 'Наскільки б мало відомі були' feels less elegant than the original's flow, though it remains comprehensible and maintains the literary register.
| Score Range | Count | Percentage |
|---|---|---|
| 🟢 Excellent (9-10) | 0 | 0.0% |
| 🟡 Good (7-8) | 67 | 55.8% |
| 🟠 Acceptable (5-6) | 37 | 30.8% |
| 🔴 Poor (3-4) | 10 | 8.3% |
| ⚫ Failed (1-2) | 6 | 5.0% |