SCALING_ROADMAP.md

48倍スケール開発課題メモ

🚧 48倍スケール（100文書処理）- 今後の課題

技術的課題

1. PyTorchバージョン互換性

   • torch.loadの脆弱性問題（CVE-2025-32434）
   • PyTorch 2.6以上への更新が必要
   • weights_only=True制限への対応

2. メモリ最適化

   • 100文書同時処理のメモリ効率化
   • バッチサイズの動的調整
   • GPU メモリリークの防止

3. モデル互換性

   • safetensors形式への移行
   • 軽量モデルの選択最適化
   • transformers ライブラリの更新

解決アプローチ

• PyTorch 2.6+への環境更新
• safetensors対応モデルの使用
• 段階的スケーリング（32倍 → 48倍）
• メモリプロファイリングツールの活用

現在の代替案

✅ 16倍スケール: 560文書処理（成功） ✅ 8倍スケール: 280文書処理（安定） ✅ 4倍スケール: 140文書処理（高速）

📊 現在の最高成果

• 16倍スケール: 560文書 → 14ノード in 14秒
• 処理速度: 39.9文書/秒
• GPU効率: 0.56%利用率
• 可視化: 完全文字化け解決済み

🎯 実用性評価

現在の16倍スケールで十分な実用性を確保：

• 大規模文献調査対応
• 高速処理（14秒完了）
• 安定した階層構造生成
• プロダクションレディ

---

記録日: 2025年10月31日 状態: 16倍スケール完成、48倍は将来課題