[2025/12/3] Machine Learning 輪講

[Hayashi-Yudai]

Why

Machine Learning 輪講は最新の技術や論文を追うことで、エンジニアが「技術で解決できること」のレベルをあげていくことを目的にした会です。

prev. #321

What

話したいことがある人はここにコメントしましょう！
面白いものを見つけた時点でとりあえず話すという宣言だけでもしましょう！

[Hayashi-Yudai]

Selecting User Histories to Generate LLM Users for Cold-Start Item Recommendation

コールドスタートアイテムの推薦を、LLM による Data Augmentation により改善する研究。これまでも LLM によるデータの水増しの研究はあったが、データ生成の際に利用されるユーザーはランダムに選ばれることが多く、非効率だった。

• Augmentationに使うユーザーを選ぶ Policy を用意する
• Policy によって選ばれたユーザーに対して、ランダムに2つのコールドアイテムを紐付ける
• LLM (LLaMa-3.2-3B-Instruct) に対してこのユーザーがどちらのアイテムをより好むか答えさせて正例/負例ペアを作成
• Two Tower の学習
• コールドスタートアイテムに対する Recall@k (CR@k) を計算して Policy にフィードバック

• LLM Interaction: 先行研究の手法 (ベースライン)。ユーザーの履歴からランダムにログをサンプリングしてきて Augmentation に使う
• 〇% LLM User: 提案手法。ベースラインで Augmentation に使ったユーザーの〇%を使って提案手法を適用したときの結果

[ghibney]

Improve the Personalization of Large-Scale Ranking Systems by Integrating User Survey Feedback

著者

Lv, Mengxi and Hogg, Drew and Grubb, Thomas and Bassi, Shashank and Li, Min and Simpson, Cayman and Rajagopalan, Senthil

学会

RecSys '25 (Extended Abstract)

どんな論文？

Metaの大規模な動画推薦システムにおいて、ユーザーアンケートに基づてユーザの真の興味を予測するモデル（User True Interest Survey; UTIS）を構築し、Retriever と Ranker の双方で活用することで、Tier 0（最重要ユーザ？）の継続率と満足度を向上させた研究

背景

従来の行動ログのみに依存した手法はノイズが多く、フィードバックループによりユーザーの真の興味と乖離しやすい

目的

短期的なエンゲージメントだけでなく、長期的なユーザー満足度と継続率の最大化する

手法

• 動画が興味に合致しているかを5段階評価してもらい、上位2つをpositive, 下位2つをnegativeとして軽量な分類モデルを構築
• リトリーブ段階での interest profile の再ランク付け

• 最終ランキング段階でのスコアリング特徴量としての利用

結果

• オフライン評価（分類モデルの比較。baselineは行動ログからポジネガを判定するヒューリスティックモデル）：
  • Accuracy: 71.5% (vs. 59.5%)
  • precision is 63.2% (vs. 48.3%)
  • recall is 66.1% (vs. 45.4%)
• オンラインA/Bテスト（数千万人規模）：
  • Tier 0ユーザーの継続率、エンゲージメント、およびユーザー満足度の有意な向上が確認された

[nogawanogawa]

ContextGNN: Beyond Two-Tower Recommendation Systems

論文URL

https://arxiv.org/abs/2411.19513

著者

Yiwen Yuan, Zecheng Zhang, Xinwei He, Akihiro Nitta, Weihua Hu, Dong Wang, Manan Shah, Shenyang Huang, Blaž Stojanovič, Alan Krumholz, Jan Eric Lenssen, Jure Leskovec, Matthias Fey

会議

ICLR 2025 (?)

背景

推薦における2タワー型アーキテクチャの重要な制限の一つは、ユーザーとアイテムに対して「ペア（組み合わせ）を考慮しない（pair-agnostic）」表現を学習してしまう点です。つまり、ユーザー表現は検討中のアイテムを認識しておらず、同様にアイテム表現もユーザーを認識していないため、アイテム表現はユーザーごとの独自の見方を捉えていません。そのため、両端の表現はいずれも、予測を行おうとしているペア間の依存関係に関する知識を捉えることができません

目的

2 tower のような計算効率を維持しつつ、ユーザー・アイテム間の相互作用についても考慮したモデルの実現

アプローチ

• CONTEXTGNN
  • 2 tower とpair wiseな表現の組み合わせ
  • フュージョンネットワークを使い、どちらを好むかをユーザーごとに計算して統合する際に荷重する

memo

• ContextGNN: Beyond Two-Tower Recommendation Systems nogawanogawa/paper_memo#145