CI for Italian tests

Author: ariya

.github/workflows/italian.yml

@@ -0,0 +1,62 @@
+name: Italian tests
+
+on: [workflow_dispatch, push, pull_request]
+
+jobs:
+
+  canary-multi-turn:
+    runs-on: ubuntu-22.04
+    timeout-minutes: 3
+    strategy:
+      max-parallel: 3
+      fail-fast: false
+      matrix:
+        model:
+          - meta-llama/llama-3.2-3b-instruct             # $0.0100/$0.0200 [ 128K]
+          - google/gemma-3n-e4b-it                       # $0.0200/$0.0400 [  32K]
+          - google/gemma-3-4b-it                         # $0.0200/$0.0400 [ 128K]
+          - mistralai/mistral-small-3.2-24b-instruct     # $0.0500/$0.1000 [  32K]
+          - google/gemma-3-12b-it                        # $0.0500/$0.1000 [ 128K]
+          - qwen/qwen3-8b                                # $0.0350/$0.1380 [ 128K]
+          - google/gemini-flash-1.5-8b                   # $0.0380/$0.1500 [1000K]
+
+    steps:
+      - uses: actions/checkout@v4
+
+      - run: ./chat-llm.js tests/it/canary-single-turn.txt
+        env:
+          LLM_API_BASE_URL: https://openrouter.ai/api/v1
+          LLM_API_KEY: ${{ secrets.LLM_API_KEY }}
+          LLM_CHAT_MODEL: ${{ matrix.model }}
+
+      - run: ./chat-llm.js tests/it/canary-multi-turn.txt
+        env:
+          LLM_API_BASE_URL: https://openrouter.ai/api/v1
+          LLM_API_KEY: ${{ secrets.LLM_API_KEY }}
+          LLM_CHAT_MODEL: ${{ matrix.model }}
+
+
+  high-school-stem:
+    runs-on: ubuntu-22.04
+    timeout-minutes: 5
+    strategy:
+      max-parallel: 3
+      fail-fast: false
+      matrix:
+        model:
+          - meta-llama/llama-3.2-3b-instruct             # $0.0100/$0.0200 [ 128K]
+          - google/gemma-3n-e4b-it                       # $0.0200/$0.0400 [  32K]
+          - google/gemma-3-4b-it                         # $0.0200/$0.0400 [ 128K]
+          - mistralai/mistral-small-3.2-24b-instruct     # $0.0500/$0.1000 [  32K]
+          - google/gemma-3-12b-it                        # $0.0500/$0.1000 [ 128K]
+          - qwen/qwen3-8b                                # $0.0350/$0.1380 [ 128K]
+          - google/gemini-flash-1.5-8b                   # $0.0380/$0.1500 [1000K]
+
+    steps:
+      - uses: actions/checkout@v4
+
+      - run: ./chat-llm.js tests/it/high-school-stem.txt
+        env:
+          LLM_API_BASE_URL: https://openrouter.ai/api/v1
+          LLM_API_KEY: ${{ secrets.LLM_API_KEY }}
+          LLM_CHAT_MODEL: ${{ matrix.model }}

tests/it/canary-multi-turn.txt

@@ -0,0 +1,11 @@
+User: Quale pianeta del nostro sistema solare è il più grande?
+Assistant: /Giove|Giuove/ è il pianeta più grande del nostro sistema solare.
+
+User: E il più caldo?
+Assistant: /Venere|Venera/ è il pianeta più caldo del nostro sistema solare.
+
+User: E quale ha il soprannome "Il Pianeta Rosso"?
+Assistant: /Marte/, a causa del suo aspetto rossastro causato dall'ossido di ferro sulla sua superficie.
+
+User: E quale è noto per il sistema di anelli più complesso?
+Assistant: Deve essere /Saturno/!

tests/it/canary-single-turn.txt

@@ -0,0 +1,2 @@
+User: Quale pianeta del nostro sistema solare è il più grande?
+Assistant: /Giove|Giuove/ è il pianeta più grande del nostro sistema solare.

tests/it/high-school-stem.txt

@@ -0,0 +1,22 @@
+Story: Domande sui temi STEM a livello liceale
+
+User: Quale forza attrae gli oggetti verso il centro della Terra?
+Assistant: La /gravità|forza di gravità|forza gravitazionale/ attrae gli oggetti verso il centro della Terra.
+
+User: Qual è il numero atomico del carbonio?
+Assistant: Il numero atomico del carbonio è /6|sei/.
+
+User: Attraverso quale processo le piante producono il proprio cibo?
+Assistant: Le piante producono il proprio cibo attraverso il processo della /fotosintesi|fotosintesi clorofilliana/.
+
+User: Qual è la somma (in gradi) degli angoli interni di un triangolo?
+Assistant: La somma degli angoli interni di un triangolo è /180/ gradi.
+
+User: Qual è l'unità di misura della forza?
+Assistant: L'unità di misura della forza è il /newton/ (N).
+
+User: Qual è il simbolo chimico del magnesio?
+Assistant: Il simbolo chimico del magnesio è /Mg/.
+
+User: Quali sono i più piccoli costituenti conosciuti della materia?
+Assistant: I più piccoli costituenti conosciuti della materia sono /particelle elementari|particelle subatomiche|particelle ancora|quark|quant|leptoni|atomi|protoni|neutroni|elettroni/.