[EVAL REQUEST] BAAI/bge-m3

[cross32768]

https://huggingface.co/BAAI/bge-m3 は、論文 によればmultilingual-e5-largeよりも性能が良く、日本語にも対応しているmultilingualモデルですが、今の所JMTEBのような包括的な日本語ベンチマークでの評価はなされていないように見えます。お時間がありましたら、ぜひ評価を回してleaderboardに追加してみていただけないでしょうか。

モデルの基本情報

name: BAAI/bge-m3
type:
size:
lang: multilingual

モデル詳細

https://huggingface.co/BAAI/bge-m3

seen/unseen申告

JMTEBの評価データセットの中，training splitをモデル学習に使用した，またはvalidation setとして，ハイパラチューニングやearly stoppingに使用したデータセット名をチェックしてください。

（一応論文を参考につけています。日本語wikipediaは入っているようですが、JAQKETなどを直接使ってはいなさそうです。Mr.Tydiはmultilingualを使っていそうなので、日本語も入っていそうです）

• Classification
  • Amazon Review Classification
  • Amazon Counterfactual Classification
  • Massive Intent Classification
  • Massive Scenario Classification
• Clustering
  • Livedoor News
  • MewsC-16-ja
• STS
  • JSTS
  • JSICK
• Pair Classification
  • PAWS-X-ja
• Retrieval
  • JAQKET
  • Mr.TyDi-ja
  • JaGovFaqs-22k
  • NLP Journal title-abs
  • NLP Journal title-intro
  • NLP Journal abs-intro
• Reranking
  • Esci
• [] 申告しません

評価スクリプト

その他の情報

[hotchpotch]

JMTEB v1 計測するタイミングがあったので、ついでに bge-m3 も計測(max_seq_length: 2048, prefix 無し)してみました。

Model	Avg.	Retrieval	STS	Classification	Reranking	Clustering	PairClassification
baai/bge-m3	71.29	76.18	79.74	67.37	93.30	49.64	62.04

Retrieval は nlp_journal_* タスクが長いトークン処理ができる方が強いので、そのスコアが反映されている感じで、他は mE5-large とおんなじぐらいのスコアでしょうか。bge-m3 はよく使うのですが、肌感と一致する感じです。

{
    "Classification": {
        "amazon_counterfactual_classification": {
            "macro_f1": 0.45
        },
        "amazon_review_classification": {
            "macro_f1": 0.5609532661875992
        },
        "massive_intent_classification": {
            "macro_f1": 0.7864882048275103
        },
        "massive_scenario_classification": {
            "macro_f1": 0.897374653271338
        }
    },
    "Reranking": {
        "esci": {
            "ndcg@10": 0.9330001474527582
        }
    },
    "Retrieval": {
        "jagovfaqs_22k": {
            "ndcg@10": 0.7103090504122982
        },
        "jaqket": {
            "ndcg@10": 0.5643697236071284
        },
        "mrtydi": {
            "ndcg@10": 0.4517962097457569
        },
        "nlp_journal_abs_intro": {
            "ndcg@10": 0.9712081980536764
        },
        "nlp_journal_title_abs": {
            "ndcg@10": 0.958761789228421
        },
        "nlp_journal_title_intro": {
            "ndcg@10": 0.9143240866815546
        }
    },
    "STS": {
        "jsick": {
            "spearman": 0.7923500311638066
        },
        "jsts": {
            "spearman": 0.8023759753442437
        }
    },
    "Clustering": {
        "livedoor_news": {
            "v_measure_score": 0.5282111482844483
        },
        "mewsc16": {
            "v_measure_score": 0.4646624071324631
        }
    },
    "PairClassification": {
        "paws_x_ja": {
            "binary_f1": 0.6204431736954967
        }
    }
}

コマンドパラメータは以下です。

poetry run python -m jmteb \
  --embedder SentenceBertEmbedder \
  --embedder.model_name_or_path 'BAAI/bge-m3' \
  --embedder.model_kwargs '{"torch_dtype": "torch.bfloat16"}' \
  --embedder.device cuda \
  --embedder.batch_size 32 \
  --embedder.max_seq_length 2048 \
  --evaluators 'src/jmteb/configs/jmteb_no_prefix.jsonnet' # 適当に用意したものです