update test case

Author: azu

eval/prompts/evaluate_error_message.md

@@ -44,6 +44,6 @@
   "accuracy": 0.9,
   "fixability": 0.7,
   "contextual_fit": 0.8,
-  "reasoning": "評価の理由を簡潔に説明"
+  "reasoning": "評価の理由を日本語で簡潔に説明"
 }
 ```

eval/scripts/generate-dataset.mjs

@@ -25,13 +25,8 @@ const dataset = results.invalid.map((testCase, index) => {
     // エラーメッセージを取得
     const errorMessage = testCase.errors[0]?.message || "";
 
-    // 重複している助詞を抽出（メッセージから）
-    const particleMatch = errorMessage.match(/助詞 "([^"]+)" が/);
-    const particle = particleMatch ? particleMatch[1] : "";
-
     return {
         text: testCase.text,
-        particle: particle,
         errorMessage: errorMessage,
         options: testCase.options || {},
         caseId: `invalid-${index + 1}`

eval/tests/doubled_joshi_cases.json

@@ -2,7 +2,6 @@
   {
     "vars": {
       "text": "私は彼は好きだ",
-      "particle": "は",
       "errorMessage": "一文に二回以上利用されている助詞 \"は\" がみつかりました。\n\n次の助詞が連続しているため、文を読みにくくしています。\n\n- 私\"は\"\n- 彼\"は\"\n\n同じ助詞を連続して利用しない、文の中で順番を入れ替える、文を分割するなどを検討してください。\n",
       "options": {},
       "caseId": "invalid-1"
@@ -11,7 +10,6 @@
   {
     "vars": {
       "text": "あなたは「私は彼は好きだ」と言った。",
-      "particle": "は",
       "errorMessage": "一文に二回以上利用されている助詞 \"は\" がみつかりました。\n\n次の助詞が連続しているため、文を読みにくくしています。\n\n- 私\"は\"\n- 彼\"は\"\n\n同じ助詞を連続して利用しない、文の中で順番を入れ替える、文を分割するなどを検討してください。\n",
       "options": {},
       "caseId": "invalid-2"
@@ -20,7 +18,6 @@
   {
     "vars": {
       "text": "材料不足で代替素材で製品を作った。",
-      "particle": "で",
       "errorMessage": "一文に二回以上利用されている助詞 \"で\" がみつかりました。\n\n次の助詞が連続しているため、文を読みにくくしています。\n\n- 不足\"で\"\n- 素材\"で\"\n\n同じ助詞を連続して利用しない、文の中で順番を入れ替える、文を分割するなどを検討してください。\n",
       "options": {},
       "caseId": "invalid-3"
@@ -29,7 +26,6 @@
   {
     "vars": {
       "text": "クォートで囲むことで文字列を作成できる点は、他の文字列リテラルと同じです。",
-      "particle": "で",
       "errorMessage": "一文に二回以上利用されている助詞 \"で\" がみつかりました。\n\n次の助詞が連続しているため、文を読みにくくしています。\n\n- クォート\"で\"\n- こと\"で\"\n\n同じ助詞を連続して利用しない、文の中で順番を入れ替える、文を分割するなどを検討してください。\n",
       "options": {},
       "caseId": "invalid-4"
@@ -38,7 +34,6 @@
   {
     "vars": {
       "text": "列車事故でバスで振り替え輸送を行った。 ",
-      "particle": "で",
       "errorMessage": "一文に二回以上利用されている助詞 \"で\" がみつかりました。\n\n次の助詞が連続しているため、文を読みにくくしています。\n\n- 事故\"で\"\n- バス\"で\"\n\n同じ助詞を連続して利用しない、文の中で順番を入れ替える、文を分割するなどを検討してください。\n",
       "options": {},
       "caseId": "invalid-5"
@@ -47,7 +42,6 @@
   {
     "vars": {
       "text": "洋服をドラム式洗濯機でお湯と洗剤で洗い、乾燥機で素早く乾燥させる。",
-      "particle": "で",
       "errorMessage": "一文に二回以上利用されている助詞 \"で\" がみつかりました。\n\n次の助詞が連続しているため、文を読みにくくしています。\n\n- 機\"で\"\n- 洗剤\"で\"\n\n同じ助詞を連続して利用しない、文の中で順番を入れ替える、文を分割するなどを検討してください。\n",
       "options": {
         "min_interval": 2
@@ -58,7 +52,6 @@
   {
     "vars": {
       "text": "法律案は十三日の衆議院本会議で賛成多数で可決され、参議院に送付されます",
-      "particle": "で",
       "errorMessage": "一文に二回以上利用されている助詞 \"で\" がみつかりました。\n\n次の助詞が連続しているため、文を読みにくくしています。\n\n- 会議\"で\"\n- 多数\"で\"\n\n同じ助詞を連続して利用しない、文の中で順番を入れ替える、文を分割するなどを検討してください。\n",
       "options": {},
       "caseId": "invalid-7"
@@ -67,7 +60,6 @@
   {
     "vars": {
       "text": "彼女は困り切った表情で、小声で尋ねた。",
-      "particle": "で",
       "errorMessage": "一文に二回以上利用されている助詞 \"で\" がみつかりました。\n\n次の助詞が連続しているため、文を読みにくくしています。\n\n- 表情\"で\"\n- 小声\"で\"\n\n同じ助詞を連続して利用しない、文の中で順番を入れ替える、文を分割するなどを検討してください。\n",
       "options": {
         "strict": true
@@ -78,7 +70,6 @@
   {
     "vars": {
       "text": "白装束で重力のない足どりでやってくる",
-      "particle": "で",
       "errorMessage": "一文に二回以上利用されている助詞 \"で\" がみつかりました。\n\n次の助詞が連続しているため、文を読みにくくしています。\n\n- 白装束\"で\"\n- 足どり\"で\"\n\n同じ助詞を連続して利用しない、文の中で順番を入れ替える、文を分割するなどを検討してください。\n",
       "options": {
         "min_interval": 2
@@ -89,7 +80,6 @@
   {
     "vars": {
       "text": "既存のコードの利用",
-      "particle": "の",
       "errorMessage": "一文に二回以上利用されている助詞 \"の\" がみつかりました。\n\n次の助詞が連続しているため、文を読みにくくしています。\n\n- 既存\"の\"\n- コード\"の\"\n\n同じ助詞を連続して利用しない、文の中で順番を入れ替える、文を分割するなどを検討してください。\n",
       "options": {
         "strict": true
@@ -100,7 +90,6 @@
   {
     "vars": {
       "text": "これは`obj.method`は何をしているかを示します。",
-      "particle": "は",
       "errorMessage": "一文に二回以上利用されている助詞 \"は\" がみつかりました。\n\n次の助詞が連続しているため、文を読みにくくしています。\n\n- これ\"は\"\n- `obj.method`\"は\"\n\n同じ助詞を連続して利用しない、文の中で順番を入れ替える、文を分割するなどを検討してください。\n",
       "options": {},
       "caseId": "invalid-11"
@@ -109,7 +98,6 @@
   {
     "vars": {
       "text": "文字列にはそこには問題がある。",
-      "particle": "には",
       "errorMessage": "一文に二回以上利用されている助詞 \"には\" がみつかりました。\n\n次の助詞が連続しているため、文を読みにくくしています。\n\n- 列\"には\"\n- そこ\"には\"\n\n同じ助詞を連続して利用しない、文の中で順番を入れ替える、文を分割するなどを検討してください。\n",
       "options": {},
       "caseId": "invalid-12"
@@ -118,7 +106,6 @@
   {
     "vars": {
       "text": "そこには問題があるかもしれないかもしれない。",
-      "particle": "かも",
       "errorMessage": "一文に二回以上利用されている助詞 \"かも\" がみつかりました。\n\n次の助詞が連続しているため、文を読みにくくしています。\n\n- ある\"かも\"\n- ない\"かも\"\n\n同じ助詞を連続して利用しない、文の中で順番を入れ替える、文を分割するなどを検討してください。\n",
       "options": {},
       "caseId": "invalid-13"
@@ -127,7 +114,6 @@
   {
     "vars": {
       "text": "今まで、サイトはNetlifyスライドはGitLab Pagesといった配信分けをしていたのですが、\n「 `/slides` にビルドしたスライドを置きたい」という動機のものと、こんな構成を検討しています。\n\n* 最初にtextlintで文法チェック\n* ドキュメントを別にビルドしてarticle化\n* 複数articleを束ねてFirebaseへデプロイ",
-      "particle": "は",
       "errorMessage": "一文に二回以上利用されている助詞 \"は\" がみつかりました。\n\n次の助詞が連続しているため、文を読みにくくしています。\n\n- サイト\"は\"\n- スライド\"は\"\n\n同じ助詞を連続して利用しない、文の中で順番を入れ替える、文を分割するなどを検討してください。\n",
       "options": {},
       "caseId": "invalid-14"
@@ -136,7 +122,6 @@
   {
     "vars": {
       "text": "これはペンです．これは鉛筆です．",
-      "particle": "は",
       "errorMessage": "一文に二回以上利用されている助詞 \"は\" がみつかりました。\n\n次の助詞が連続しているため、文を読みにくくしています。\n\n- これ\"は\"\n- これ\"は\"\n\n同じ助詞を連続して利用しない、文の中で順番を入れ替える、文を分割するなどを検討してください。\n",
       "options": {
         "separatorCharacters": [
@@ -149,7 +134,6 @@
   {
     "vars": {
       "text": "これがiPhone、これがAndroidです。",
-      "particle": "が",
       "errorMessage": "一文に二回以上利用されている助詞 \"が\" がみつかりました。\n\n次の助詞が連続しているため、文を読みにくくしています。\n\n- これ\"が\"\n- これ\"が\"\n\n同じ助詞を連続して利用しない、文の中で順番を入れ替える、文を分割するなどを検討してください。\n",
       "options": {
         "commaCharacters": []

eval/tests/doubled_joshi_cases_small.json

@@ -2,7 +2,6 @@
   {
     "vars": {
       "text": "私は彼は好きだ",
-      "particle": "は",
       "errorMessage": "一文に二回以上利用されている助詞 \"は\" がみつかりました。\n\n次の助詞が連続しているため、文を読みにくくしています。\n\n- 私\"は\"\n- 彼\"は\"\n\n同じ助詞を連続して利用しない、文の中で順番を入れ替える、文を分割するなどを検討してください。\n",
       "options": {},
       "caseId": "invalid-1"
@@ -11,7 +10,6 @@
   {
     "vars": {
       "text": "あなたは「私は彼は好きだ」と言った。",
-      "particle": "は",
       "errorMessage": "一文に二回以上利用されている助詞 \"は\" がみつかりました。\n\n次の助詞が連続しているため、文を読みにくくしています。\n\n- 私\"は\"\n- 彼\"は\"\n\n同じ助詞を連続して利用しない、文の中で順番を入れ替える、文を分割するなどを検討してください。\n",
       "options": {},
       "caseId": "invalid-2"
@@ -20,7 +18,6 @@
   {
     "vars": {
       "text": "材料不足で代替素材で製品を作った。",
-      "particle": "で",
       "errorMessage": "一文に二回以上利用されている助詞 \"で\" がみつかりました。\n\n次の助詞が連続しているため、文を読みにくくしています。\n\n- 不足\"で\"\n- 素材\"で\"\n\n同じ助詞を連続して利用しない、文の中で順番を入れ替える、文を分割するなどを検討してください。\n",
       "options": {},
       "caseId": "invalid-3"
@@ -29,7 +26,6 @@
   {
     "vars": {
       "text": "クォートで囲むことで文字列を作成できる点は、他の文字列リテラルと同じです。",
-      "particle": "で",
       "errorMessage": "一文に二回以上利用されている助詞 \"で\" がみつかりました。\n\n次の助詞が連続しているため、文を読みにくくしています。\n\n- クォート\"で\"\n- こと\"で\"\n\n同じ助詞を連続して利用しない、文の中で順番を入れ替える、文を分割するなどを検討してください。\n",
       "options": {},
       "caseId": "invalid-4"
@@ -38,7 +34,6 @@
   {
     "vars": {
       "text": "列車事故でバスで振り替え輸送を行った。 ",
-      "particle": "で",
       "errorMessage": "一文に二回以上利用されている助詞 \"で\" がみつかりました。\n\n次の助詞が連続しているため、文を読みにくくしています。\n\n- 事故\"で\"\n- バス\"で\"\n\n同じ助詞を連続して利用しない、文の中で順番を入れ替える、文を分割するなどを検討してください。\n",
       "options": {},
       "caseId": "invalid-5"