Skip to content

Conversation

@azu
Copy link
Member

@azu azu commented Oct 13, 2025

https://www.promptfoo.dev/ を使いtextlintルールのエラーメッセージをLLMで評価し、そのエラーメッセージが妥当かを判断したい

エラーメッセージの評価基準

1. 明確性 (clarity)

  • ユーザーが何が問題なのかを理解できるか
  • 専門用語が適切に説明されているか
  • メッセージの構造が分かりやすいか

2. 正確性 (accuracy)

  • 技術的に正しい指摘か
  • 指摘された問題が実際に存在するか
  • 誤検知ではないか

3. 修正可能性 (fixability)

  • 具体的な修正方法が示されているか
  • ユーザーが次のアクションを取れるか
  • 修正例や代替案が提供されているか

4. 文脈適合性 (contextual_fit)

  • テキストの文脈を考慮した適切な指摘か
  • 日本語の自然な表現を考慮しているか
  • 過度に厳格すぎないか

5. 修正品質 (fix_quality)

  • 指摘された問題が解消されているか
  • 元の意味が保たれているか
  • 自然で読みやすい日本語になっているか
image

TODO

  • CIでの実行できるモデルがない。無料で動かせるようなものがない

Sign up for free to join this conversation on GitHub. Already have an account? Sign in to comment

Labels

Type: Feature New Feature

Projects

None yet

Development

Successfully merging this pull request may close these issues.

2 participants