-
-
Notifications
You must be signed in to change notification settings - Fork 58
Language japanese
Category: Asian Languages Script: Japanese
| Metric | Value |
|---|---|
| Average Score | 🟠 6.0/10 |
| Accuracy | 6.6/10 |
| Fluency | 6.0/10 |
| Style | 5.5/10 |
| Total Tests | 120 |
| Best Model | glm-4.7-flash:latest |
| Worst Model | llama3.2 |
| Model | Overall | Accuracy | Fluency | Style |
|---|---|---|---|---|
| glm-4.7-flash:latest | 🟡 7.8 | 8.2 | 8.0 | 7.2 |
| google/gemini-3-flash-preview | 🟡 7.6 | 8.0 | 7.4 | 7.4 |
| gemma3:27b | 🟡 7.4 | 7.6 | 7.4 | 6.8 |
| mistralai/mistral-medium-3.1 | 🟡 7.4 | 7.8 | 7.0 | 7.4 |
| google/gemini-2.0-flash-001 | 🟡 7.4 | 8.0 | 7.0 | 7.4 |
| translategemma:27b-it-q8_0 | 🟠 6.8 | 7.4 | 6.8 | 6.4 |
| ministral-3:14b | 🟠 6.6 | 7.2 | 6.6 | 6.0 |
| translategemma:27b | 🟠 6.6 | 7.4 | 6.6 | 6.2 |
| gemma3:27b-it-qat | 🟠 6.4 | 6.6 | 6.4 | 5.6 |
| mistral-small:24b | 🟠 6.4 | 7.0 | 6.4 | 5.6 |
| qwen3:30b-instruct | 🟠 6.2 | 6.8 | 6.2 | 5.6 |
| translategemma:12b | 🟠 6.2 | 7.0 | 6.2 | 5.8 |
| translategemma:12b-it-q4_K_M | 🟠 6.2 | 7.0 | 6.2 | 6.0 |
| qwen3:30b | 🟠 6.0 | 6.8 | 6.2 | 5.6 |
| ministral-3 | 🟠 6.0 | 6.8 | 6.0 | 5.4 |
| translategemma:4b | 🟠 5.8 | 6.2 | 6.2 | 5.0 |
| qwen3:4b | 🟠 5.6 | 6.6 | 5.6 | 5.2 |
| qwen3:14b | 🟠 5.4 | 6.2 | 5.4 | 4.8 |
| gemma3:4b | 🟠 5.4 | 6.2 | 5.6 | 4.8 |
| gemma3:12b | 🟠 5.4 | 6.0 | 5.6 | 4.8 |
| qwen3:8b | 🟠 5.2 | 6.2 | 5.2 | 5.0 |
| translategemma:4b-it-q4_K_M | 🟠 5.2 | 5.8 | 5.6 | 4.4 |
| llama3.1:8b | 🔴 3.4 | 4.0 | 3.6 | 2.8 |
| llama3.2 | ⚫ 1.8 | 2.4 | 1.8 | 1.4 |
Model: glm-4.7-flash:latest Score: 🟢 9.0/10
View Translation
Original (English):
Translation (Japanese):
世界ではよく知られた事実として、財産のある独身男性は、必ず妻を必要としているものだ。 しかし、その男性が初めて近所に住み始めたとき、彼がどのような感情や見解を持っているかなど、それほどよく知られていなくとも、周囲の家族の間ではこの真理は確信めいたものとして根強く植え付けられており、彼はある娘、あるいは別の娘の当然の所有物であると見なされているのである。
Evaluator Feedback:
The translation is highly accurate and captures the ironic tone of the original opening perfectly. While the phrasing is natural, it leans slightly toward a modern prose style rather than the classic literary elegance often associated with Austen's Japanese translations.
Model: gemma3:27b-it-qat Score: 🟡 8.0/10
View Translation
Original (English):
Translation (Japanese):
「アフガニスタンへ行かれたことがあるようですね」 「一体、どうしてそれがわかるのですか」と私は驚いて尋ねた。 彼は楽しげに笑いながら、「気にしないでください」と言った。「今重要なのはヘモグロビンについてです。私のこの発見の意義がおわかりでしょうか？」 「化学的には面白い発見でしょう。しかし、実際には――」 「いいえ、これは長年の間でもっとも実用的な法医学上の発見です。血痕の有無を確実に判別できるということが、わかっていないのですか？」
Evaluator Feedback:
The translation accurately conveys the meaning and dialogue flow of the original, with proper preservation of Holmes's deductive confidence and Watson's astonishment. Minor stylistic adjustments (「気にしないでください」 is slightly more formal than the casual dismissal of the original) and slight shifts in emphasis prevent a perfect score, but overall it captures the Victorian-era detective fiction tone effectively.
Model: gemma3:27b Score: 🟡 8.0/10
View Translation
Original (English):
Translation (Japanese):
「アフガニスタンにおられたようですね」 「一体、どうしてそんなことがわかるのですか？」と私は驚いて尋ねた。 彼は楽しそうに笑いながら、「それはさておき、今問題なのは血色素です。私のこの発見の意義がおわかりでしょうか？」 「化学的には興味深いことは確かですが、実用上は——」 「いや、これは長年にわたる法医学的発見の中でもっとも実用的なものです。この発見が、血液の痕跡に対する確実な鑑定法を与えてくれることがお分かりになりませんか？」
Evaluator Feedback:
The translation accurately captures the meaning and dialogue flow of the original, with appropriate formality levels for the Victorian-era detective fiction. Minor stylistic adjustments (such as slightly more elaborate phrasing in the final response) create a marginally different tone than the original's crisp efficiency, but the overall quality is strong and reads naturally in Japanese.
| Score Range | Count | Percentage |
|---|---|---|
| 🟢 Excellent (9-10) | 1 | 0.8% |
| 🟡 Good (7-8) | 46 | 38.3% |
| 🟠 Acceptable (5-6) | 59 | 49.2% |
| 🔴 Poor (3-4) | 8 | 6.7% |
| ⚫ Failed (1-2) | 6 | 5.0% |