CI for French tests

Author: ariya

.github/workflows/french.yml

@@ -0,0 +1,62 @@
+name: French tests
+
+on: [workflow_dispatch, push, pull_request]
+
+jobs:
+
+  canary-multi-turn:
+    runs-on: ubuntu-22.04
+    timeout-minutes: 3
+    strategy:
+      max-parallel: 3
+      fail-fast: false
+      matrix:
+        model:
+          - meta-llama/llama-3.2-3b-instruct             # $0.0100/$0.0200 [ 128K]
+          - google/gemma-3n-e4b-it                       # $0.0200/$0.0400 [  32K]
+          - google/gemma-3-4b-it                         # $0.0200/$0.0400 [ 128K]
+          - mistralai/mistral-small-3.2-24b-instruct     # $0.0500/$0.1000 [  32K]
+          - google/gemma-3-12b-it                        # $0.0500/$0.1000 [ 128K]
+          - qwen/qwen3-8b                                # $0.0350/$0.1380 [ 128K]
+          - google/gemini-flash-1.5-8b                   # $0.0380/$0.1500 [1000K]
+
+    steps:
+      - uses: actions/checkout@v4
+
+      - run: ./chat-llm.js tests/fr/canary-single-turn.txt
+        env:
+          LLM_API_BASE_URL: https://openrouter.ai/api/v1
+          LLM_API_KEY: ${{ secrets.LLM_API_KEY }}
+          LLM_CHAT_MODEL: ${{ matrix.model }}
+
+      - run: ./chat-llm.js tests/fr/canary-multi-turn.txt
+        env:
+          LLM_API_BASE_URL: https://openrouter.ai/api/v1
+          LLM_API_KEY: ${{ secrets.LLM_API_KEY }}
+          LLM_CHAT_MODEL: ${{ matrix.model }}
+
+
+  high-school-stem:
+    runs-on: ubuntu-22.04
+    timeout-minutes: 5
+    strategy:
+      max-parallel: 3
+      fail-fast: false
+      matrix:
+        model:
+          - meta-llama/llama-3.2-3b-instruct             # $0.0100/$0.0200 [ 128K]
+          - google/gemma-3n-e4b-it                       # $0.0200/$0.0400 [  32K]
+          - google/gemma-3-4b-it                         # $0.0200/$0.0400 [ 128K]
+          - mistralai/mistral-small-3.2-24b-instruct     # $0.0500/$0.1000 [  32K]
+          - google/gemma-3-12b-it                        # $0.0500/$0.1000 [ 128K]
+          - qwen/qwen3-8b                                # $0.0350/$0.1380 [ 128K]
+          - google/gemini-flash-1.5-8b                   # $0.0380/$0.1500 [1000K]
+
+    steps:
+      - uses: actions/checkout@v4
+
+      - run: ./chat-llm.js tests/fr/high-school-stem.txt
+        env:
+          LLM_API_BASE_URL: https://openrouter.ai/api/v1
+          LLM_API_KEY: ${{ secrets.LLM_API_KEY }}
+          LLM_CHAT_MODEL: ${{ matrix.model }}

tests/fr/canary-multi-turn.txt

@@ -0,0 +1,11 @@
+User: Quelle est la plus grande planète de notre système solaire ?
+Assistant: /Jupiter/ est la plus grande planète de notre système solaire.
+
+User: et la plus chaude ?
+Assistant: /Vénus|Venus/ est la planète la plus chaude de notre système solaire.
+
+User: et celle qui est surnommée la "Planète Rouge" ?
+Assistant:  /Mars/, en raison de son apparence rougeâtre causée par l'oxyde de fer sur sa surface.
+
+User: et laquelle est connue pour son système d'anneaux le plus complexe?
+Assistant: Ce doit être /Saturne/ !

tests/fr/canary-single-turn.txt

@@ -0,0 +1,2 @@
+User: Quelle est la plus grande planète de notre système solaire ?
+Assistant: /Jupiter/ est la plus grande planète de notre système solaire.

tests/fr/high-school-stem.txt

@@ -0,0 +1,22 @@
+Story: Questions sur les sujets STEM au lycée
+
+User: Quelle force attire les objets vers le centre de la Terre ?
+Assistant:  La force qui attire les objets vers le centre de la Terre est la force d'/attraction|gravitationnelle|gravité/.
+
+User: Quel est le numéro atomique du carbone ?
+Assistant: Le numéro atomique du carbone est /6|six/.
+
+User: Par quel processus les plantes produisent-elles leur propre nourriture ?
+Assistant: Les plantes produisent leur propre nourriture par le processus de la /photosynthèse|photsynthèse/.
+
+User: Quelle est la mesure en degrés de la somme des angles intérieurs d’un triangle ?
+Assistant: La somme des angles internes d'un triangle est de /180/ degrés.
+
+User: Quelle est l'unité de mesure de la force  ?
+Assistant: L'unité de mesure de la force est le /Newton|Kip/.
+
+User: Quel est le symbole chimique du magnésium ?
+Assistant: Le symbole chimique du magnésium est /Mg/.
+
+User: Quels sont les plus petits constituants connus de la matière ?
+Assistant: Les plus petits constituants connus de la matière sont /élémentaires|atom(es)?|proton(s)?|neutron(s)?|quark(s)?|électron(s)?|quanta|lepton(s)?/.