-
-
Notifications
You must be signed in to change notification settings - Fork 69
Language french
Category: European Major Languages Script: Latin
| Metric | Value |
|---|---|
| Average Score | 🟡 7.3/10 |
| Accuracy | 7.6/10 |
| Fluency | 7.4/10 |
| Style | 6.7/10 |
| Total Tests | 130 |
| Best Model | mistralai/mistral-medium-3.1 |
| Worst Model | llama3.2 |
| Model | Overall | Accuracy | Fluency | Style |
|---|---|---|---|---|
| mistralai/mistral-medium-3.1 | 🟡 8.4 | 8.4 | 8.4 | 8.0 |
| google/gemini-2.0-flash-001 | 🟡 8.4 | 8.6 | 8.4 | 8.0 |
| qwen3.5:35b | 🟡 8.4 | 8.6 | 9.0 | 8.0 |
| ministral-3:14b | 🟡 8.2 | 8.2 | 8.2 | 7.6 |
| translategemma:27b | 🟡 8.1 | 8.2 | 8.6 | 7.1 |
| google/gemini-3-flash-preview | 🟡 8.0 | 8.0 | 8.0 | 7.4 |
| mistral-small:24b | 🟡 7.8 | 8.2 | 7.6 | 7.8 |
| qwen3:30b-instruct | 🟡 7.8 | 7.8 | 8.0 | 7.6 |
| translategemma:27b-it-q8_0 | 🟡 7.8 | 7.8 | 8.0 | 7.2 |
| gemma3:27b-it-qat | 🟡 7.4 | 7.8 | 7.4 | 7.0 |
| gemma3:12b | 🟡 7.4 | 7.8 | 7.6 | 7.0 |
| gemma3:27b | 🟡 7.4 | 7.4 | 7.6 | 7.0 |
| translategemma:12b-it-q4_K_M | 🟡 7.4 | 7.4 | 7.4 | 6.4 |
| qwen3:14b | 🟡 7.2 | 7.8 | 7.2 | 6.8 |
| qwen3:30b | 🟡 7.2 | 7.8 | 7.2 | 6.8 |
| ministral-3 | 🟡 7.2 | 7.4 | 7.2 | 6.6 |
| qwen3:8b | 🟡 7.0 | 7.4 | 7.0 | 6.4 |
| translategemma:12b | 🟡 7.0 | 7.0 | 7.2 | 6.0 |
| translategemma:4b | 🟡 7.0 | 7.0 | 7.6 | 6.2 |
| qwen3:4b | 🟠 6.8 | 7.4 | 6.6 | 6.4 |
| translategemma:4b-it-q4_K_M | 🟠 6.8 | 6.8 | 7.4 | 5.8 |
| gemma3:4b | 🟠 6.6 | 7.2 | 6.6 | 5.8 |
| qwen3.5:9b | 🟠 6.6 | 7.0 | 7.0 | 5.8 |
| llama3.1:8b | 🟠 5.2 | 6.0 | 5.2 | 5.2 |
| llama3.2 | 🔴 4.2 | 5.2 | 4.2 | 4.0 |
Model: mistral-small:24b Score: 🟢 9.0/10
View Translation
Original (English):
Translation (French):
C'est une vérité universellement reconnue qu'un célibataire pourvu d'une belle fortune doit être en quête d'une épouse. Si peu que l'on connaisse ses sentiments ou ses opinions sur ce point, dès son arrivée dans un quartier, cette vérité est si bien ancrée dans l'esprit des familles environnantes qu'il est considéré comme la propriété légitime de l'une ou l'autre de leurs filles.
Evaluator Feedback:
The translation faithfully preserves Austen's ironic meaning and satirical tone, with excellent equivalents like 'vérité universellement reconnue' and 'propriété légitime.' The prose flows naturally in French with only minor stylistic variations from the original.
Model: gemma3:27b Score: 🟢 9.0/10
View Translation
Original (English):
Translation (French):
Je suis allé dans les bois parce que je désirais vivre délibérément, affronter uniquement les faits essentiels de la vie et voir si je ne pouvais apprendre ce qu’elle avait à m’enseigner, afin de ne pas découvrir, au moment de mourir, que je n’avais pas vécu. Je ne voulais pas vivre une vie sans substance, car vivre est si précieux ; je ne voulais pas non plus me résigner, à moins que cela ne soit absolument nécessaire. Je voulais vivre intensément et extraire toute la moelle de la vie.
Evaluator Feedback:
The translation faithfully preserves Thoreau's meaning and philosophical intent with excellent accuracy. The French flows naturally and reads as genuine philosophical prose, though 'une vie sans substance' slightly softens the original's 'what was not life,' and 'vivre intensément' is somewhat more conventional than the vivid 'live deep' metaphor.
Model: qwen3:30b-instruct Score: 🟢 9.0/10
View Translation
Original (English):
Translation (French):
Il est une vérité universellement reconnue qu’un homme célibataire, possédant une fortune considérable, doit nécessairement chercher une épouse. Quoique les sentiments ou les pensées de pareil homme puissent rester inconnus lorsqu’il arrive pour la première fois dans une région, cette vérité est si bien ancrée dans l’esprit des familles environnantes qu’il est considéré comme le bien légitime de l’une ou l’autre de leurs filles.
Evaluator Feedback:
The translation faithfully preserves Austen's ironic opening with excellent semantic fidelity and natural French prose. Minor stylistic variations ("région" for neighborhood, "bien légitime" for property) are appropriate domestications that maintain the satirical tone and formal register of the original.
| Score Range | Count | Percentage |
|---|---|---|
| 🟢 Excellent (9-10) | 17 | 13.1% |
| 🟡 Good (7-8) | 84 | 64.6% |
| 🟠 Acceptable (5-6) | 23 | 17.7% |
| 🔴 Poor (3-4) | 6 | 4.6% |
| ⚫ Failed (1-2) | 0 | 0.0% |