-
-
Notifications
You must be signed in to change notification settings - Fork 69
Language italian
Category: European Major Languages Script: Latin
| Metric | Value |
|---|---|
| Average Score | 🟡 7.0/10 |
| Accuracy | 7.5/10 |
| Fluency | 7.1/10 |
| Style | 6.6/10 |
| Total Tests | 130 |
| Best Model | qwen3.5:35b |
| Worst Model | llama3.2 |
| Model | Overall | Accuracy | Fluency | Style |
|---|---|---|---|---|
| qwen3.5:35b | 🟡 8.2 | 8.2 | 8.6 | 7.4 |
| translategemma:27b | 🟡 8.1 | 8.3 | 8.5 | 7.3 |
| google/gemini-2.0-flash-001 | 🟡 8.0 | 8.4 | 7.8 | 7.8 |
| google/gemini-3-flash-preview | 🟡 8.0 | 8.0 | 7.6 | 7.8 |
| gemma3:27b | 🟡 7.8 | 8.0 | 7.8 | 7.2 |
| mistralai/mistral-medium-3.1 | 🟡 7.8 | 8.2 | 7.8 | 7.6 |
| gemma3:27b-it-qat | 🟡 7.6 | 7.8 | 7.6 | 7.0 |
| qwen3:30b | 🟡 7.6 | 8.0 | 7.6 | 7.2 |
| translategemma:27b-it-q8_0 | 🟡 7.4 | 7.8 | 7.4 | 6.8 |
| qwen3:14b | 🟡 7.2 | 7.4 | 7.2 | 6.6 |
| mistral-small:24b | 🟡 7.2 | 7.8 | 7.4 | 7.2 |
| gemma3:12b | 🟡 7.2 | 7.4 | 7.2 | 6.6 |
| qwen3:30b-instruct | 🟡 7.0 | 7.4 | 7.2 | 6.4 |
| ministral-3:14b | 🟡 7.0 | 7.6 | 6.8 | 7.0 |
| translategemma:12b | 🟡 7.0 | 7.4 | 7.2 | 6.2 |
| qwen3:4b | 🟠 6.8 | 7.4 | 6.8 | 6.2 |
| ministral-3 | 🟠 6.8 | 7.6 | 6.8 | 6.6 |
| translategemma:12b-it-q4_K_M | 🟠 6.8 | 7.4 | 7.0 | 6.2 |
| qwen3:8b | 🟠 6.6 | 7.2 | 6.6 | 6.2 |
| gemma3:4b | 🟠 6.4 | 7.0 | 6.8 | 6.0 |
| translategemma:4b | 🟠 6.4 | 6.6 | 7.0 | 5.4 |
| translategemma:4b-it-q4_K_M | 🟠 6.2 | 6.4 | 6.8 | 5.2 |
| llama3.1:8b | 🟠 6.0 | 6.4 | 6.0 | 5.8 |
| qwen3.5:9b | 🟠 5.4 | 6.4 | 5.4 | 5.2 |
| llama3.2 | 🔴 4.4 | 5.4 | 4.4 | 4.2 |
Model: translategemma:27b Score: 🟢 10.0/10
View Translation
Original (English):
Translation (Italian):
È una verità universalmente riconosciuta che un uomo in possesso di una buona fortuna debba necessariamente desiderare una moglie. Per quanto poco si conoscano i sentimenti o le intenzioni di un tale uomo al momento del suo arrivo in un determinato quartiere, questa verità è talmente radicata nella mente delle famiglie circostanti, che egli viene considerato come la legittima proprietà di una delle loro figlie.
Evaluator Feedback:
The translation is exceptionally accurate and captures the iconic irony of Austen's opening; the choice of 'proprietà' and 'radicata' perfectly mirrors the original's weight. The only minor stylistic note is that 'quartiere' for 'neighbourhood' is technically correct but feels slightly more urban than the landed gentry context usually implies.
Model: translategemma:27b Score: 🟢 10.0/10
View Translation
Original (English):
Translation (Italian):
«Lei è stato in Afghanistan, immagino». «Ma come ha fatto a saperlo?» chiesi, stupito. «Non importa», rispose, ridacchiando tra sé. «La questione ora riguarda l'emoglobina. Non si rende conto dell'importanza di questa mia scoperta?» «È interessante, chimicamente parlando, senza dubbio», risposi, «ma in pratica…» «Ma no, signore, è la scoperta medico-legale più pratica degli ultimi anni. Non si rende conto che ci fornisce un test infallibile per individuare le tracce di sangue?»
Evaluator Feedback:
The translation is exceptionally accurate and captures the formal yet sharp tone of the original dialogue. The choice of 'Ma no, signore' for 'Why, man' effectively adapts the Victorian colloquialism into a natural Italian equivalent for the era.
Model: google/gemini-2.0-flash-001 Score: 🟢 9.0/10
View Translation
Original (English):
Translation (Italian):
È verità universalmente riconosciuta che un uomo solo, in possesso di un’ingente fortuna, debba essere in cerca di moglie. Per quanto poco si conoscano i sentimenti o le idee di un tale uomo al suo primo ingresso in un quartiere, questa verità è talmente radicata nella mente delle famiglie circostanti, che egli viene considerato come la legittima proprietà di una o dell’altra delle loro figlie.
Evaluator Feedback:
The translation faithfully preserves Austen's meaning and ironic tone, with excellent rendering of the famous opening line. Minor fluency issue: 'di un tale uomo' is slightly formal compared to the original's directness, but overall maintains the satirical voice and period-appropriate language effectively.
| Score Range | Count | Percentage |
|---|---|---|
| 🟢 Excellent (9-10) | 7 | 5.4% |
| 🟡 Good (7-8) | 88 | 67.7% |
| 🟠 Acceptable (5-6) | 31 | 23.8% |
| 🔴 Poor (3-4) | 4 | 3.1% |
| ⚫ Failed (1-2) | 0 | 0.0% |