-
-
Notifications
You must be signed in to change notification settings - Fork 69
Language japanese
Category: Asian Languages Script: Japanese
| Metric | Value |
|---|---|
| Average Score | 🟠 6.0/10 |
| Accuracy | 6.6/10 |
| Fluency | 6.0/10 |
| Style | 5.4/10 |
| Total Tests | 130 |
| Best Model | google/gemini-3-flash-preview |
| Worst Model | llama3.2 |
| Model | Overall | Accuracy | Fluency | Style |
|---|---|---|---|---|
| google/gemini-3-flash-preview | 🟡 7.6 | 8.0 | 7.4 | 7.4 |
| gemma3:27b | 🟡 7.4 | 7.6 | 7.4 | 6.8 |
| mistralai/mistral-medium-3.1 | 🟡 7.4 | 7.8 | 7.0 | 7.4 |
| google/gemini-2.0-flash-001 | 🟡 7.4 | 8.0 | 7.0 | 7.4 |
| translategemma:27b | 🟡 7.3 | 8.2 | 7.5 | 6.7 |
| translategemma:27b-it-q8_0 | 🟠 6.8 | 7.4 | 6.8 | 6.4 |
| ministral-3:14b | 🟠 6.6 | 7.2 | 6.6 | 6.0 |
| gemma3:27b-it-qat | 🟠 6.4 | 6.6 | 6.4 | 5.6 |
| mistral-small:24b | 🟠 6.4 | 7.0 | 6.4 | 5.6 |
| qwen3:30b-instruct | 🟠 6.2 | 6.8 | 6.2 | 5.6 |
| translategemma:12b | 🟠 6.2 | 7.0 | 6.2 | 5.8 |
| translategemma:12b-it-q4_K_M | 🟠 6.2 | 7.0 | 6.2 | 6.0 |
| qwen3:30b | 🟠 6.0 | 6.8 | 6.2 | 5.6 |
| ministral-3 | 🟠 6.0 | 6.8 | 6.0 | 5.4 |
| translategemma:4b | 🟠 5.8 | 6.2 | 6.2 | 5.0 |
| qwen3.5:35b | 🟠 5.8 | 6.4 | 6.2 | 5.0 |
| qwen3:4b | 🟠 5.6 | 6.6 | 5.6 | 5.2 |
| qwen3:14b | 🟠 5.4 | 6.2 | 5.4 | 4.8 |
| gemma3:4b | 🟠 5.4 | 6.2 | 5.6 | 4.8 |
| gemma3:12b | 🟠 5.4 | 6.0 | 5.6 | 4.8 |
| qwen3:8b | 🟠 5.2 | 6.2 | 5.2 | 5.0 |
| translategemma:4b-it-q4_K_M | 🟠 5.2 | 5.8 | 5.6 | 4.4 |
| qwen3.5:9b | 🟠 5.0 | 6.2 | 5.0 | 4.0 |
| llama3.1:8b | 🔴 3.4 | 4.0 | 3.6 | 2.8 |
| llama3.2 | ⚫ 1.8 | 2.4 | 1.8 | 1.4 |
Model: translategemma:27b Score: 🟢 9.0/10
View Translation
Original (English):
Translation (Japanese):
アトリエはバラの濃厚な香りで満たされ、庭の木々の間を夏のそよ風が吹き抜けると、開かれたドアからライラックの濃厚な香り、あるいはピンク色の花を咲かせる茨の繊細な香りが漂ってきた。ペルシャの鞍袋で作られたソファの隅で、いつものように数えきれないほどのタバコをくゆらせながら横たわっていたロード・ヘンリー・ウォットンは、蜂蜜のように甘く、蜂蜜色をしたニセアカシアの花の輝きを、かすかに捉えることができた。
Evaluator Feedback:
The translation captures Wilde's decadent aestheticism and sensory details with high precision, though 'laburnum' is more accurately 'kingusari' (golden chain tree) rather than 'niseakasia' (black locust). The prose maintains a sophisticated, literary rhythm that suits the Victorian source material perfectly.
Model: gemma3:27b-it-qat Score: 🟡 8.0/10
View Translation
Original (English):
Translation (Japanese):
「アフガニスタンへ行かれたことがあるようですね」 「一体、どうしてそれがわかるのですか」と私は驚いて尋ねた。 彼は楽しげに笑いながら、「気にしないでください」と言った。「今重要なのはヘモグロビンについてです。私のこの発見の意義がおわかりでしょうか？」 「化学的には面白い発見でしょう。しかし、実際には――」 「いいえ、これは長年の間でもっとも実用的な法医学上の発見です。血痕の有無を確実に判別できるということが、わかっていないのですか？」
Evaluator Feedback:
The translation accurately conveys the meaning and dialogue flow of the original, with proper preservation of Holmes's deductive confidence and Watson's astonishment. Minor stylistic adjustments (「気にしないでください」 is slightly more formal than the casual dismissal of the original) and slight shifts in emphasis prevent a perfect score, but overall it captures the Victorian-era detective fiction tone effectively.
Model: gemma3:27b Score: 🟡 8.0/10
View Translation
Original (English):
Translation (Japanese):
「アフガニスタンにおられたようですね」 「一体、どうしてそんなことがわかるのですか？」と私は驚いて尋ねた。 彼は楽しそうに笑いながら、「それはさておき、今問題なのは血色素です。私のこの発見の意義がおわかりでしょうか？」 「化学的には興味深いことは確かですが、実用上は——」 「いや、これは長年にわたる法医学的発見の中でもっとも実用的なものです。この発見が、血液の痕跡に対する確実な鑑定法を与えてくれることがお分かりになりませんか？」
Evaluator Feedback:
The translation accurately captures the meaning and dialogue flow of the original, with appropriate formality levels for the Victorian-era detective fiction. Minor stylistic adjustments (such as slightly more elaborate phrasing in the final response) create a marginally different tone than the original's crisp efficiency, but the overall quality is strong and reads naturally in Japanese.
| Score Range | Count | Percentage |
|---|---|---|
| 🟢 Excellent (9-10) | 1 | 0.8% |
| 🟡 Good (7-8) | 48 | 36.9% |
| 🟠 Acceptable (5-6) | 64 | 49.2% |
| 🔴 Poor (3-4) | 11 | 8.5% |
| ⚫ Failed (1-2) | 6 | 4.6% |