Skip to content

Commit 2f8069e

Browse files
ariyaariya
committed
CI: Spanish tests
1 parent 596789a commit 2f8069e

File tree

5 files changed

+130
-1
lines changed

5 files changed

+130
-1
lines changed

‎.github/workflows/spanish.yml‎

Lines changed: 94 additions & 0 deletions
Original file line numberDiff line numberDiff line change
@@ -0,0 +1,94 @@
1+
name: Spanish tests
2+
3+
on: [workflow_dispatch, push, pull_request]
4+
5+
jobs:
6+
7+
canary-multi-turn:
8+
runs-on: ubuntu-22.04
9+
timeout-minutes: 3
10+
strategy:
11+
max-parallel: 3
12+
fail-fast: false
13+
matrix:
14+
model:
15+
- meta-llama/llama-3.2-3b-instruct # $0.0100/$0.0200 [ 128K]
16+
- mistralai/mistral-nemo # $0.0100/$0.0270 [ 128K]
17+
- google/gemma-3n-e4b-it # $0.0200/$0.0400 [ 32K]
18+
- google/gemma-3-4b-it # $0.0200/$0.0400 [ 128K]
19+
- mistralai/ministral-3b # $0.0400/$0.0400 [ 128K]
20+
- mistralai/mistral-7b-instruct-v0.3 # $0.0280/$0.0540 [ 32K]
21+
- mistralai/mistral-small-3.2-24b-instruct # $0.0500/$0.1000 [ 32K]
22+
- google/gemma-3-12b-it # $0.0500/$0.1000 [ 128K]
23+
- microsoft/phi-3-mini-128k-instruct # $0.1000/$0.1000 [ 128K]
24+
- qwen/qwen3-8b # $0.0350/$0.1380 [ 128K]
25+
- amazon/nova-micro-v1 # $0.0350/$0.1400 [ 128K]
26+
- microsoft/phi-4 # $0.0700/$0.1400 [ 16K]
27+
- google/gemini-flash-1.5-8b # $0.0380/$0.1500 [1000K]
28+
- amazon/nova-lite-v1 # $0.0600/$0.2400 [ 300K]
29+
- qwen/qwen3-14b # $0.0800/$0.2400 [ 40K]
30+
- mistralai/mixtral-8x7b-instruct # $0.2400/$0.2400 [ 32K]
31+
- meta-llama/llama-3.3-70b-instruct # $0.0700/$0.2500 [ 128K]
32+
- qwen/qwen3-30b-a3b # $0.0800/$0.2900 [ 40K]
33+
- google/gemini-2.0-flash-lite-001 # $0.0750/$0.3000 [1000K]
34+
- meta-llama/llama-4-scout # $0.0800/$0.3000 [ 320K]
35+
- google/gemini-2.0-flash-001 # $0.1000/$0.4000 [1000K]
36+
- openai/gpt-4.1-nano # $0.1000/$0.4000 [1000K]
37+
- google/gemini-2.5-flash-lite-preview-06-17 # $0.1000/$0.4000 [1000K]
38+
39+
steps:
40+
- uses: actions/checkout@v4
41+
42+
- run: ./chat-llm.js tests/es/canary-single-turn.txt
43+
env:
44+
LLM_API_BASE_URL: https://openrouter.ai/api/v1
45+
LLM_API_KEY: ${{ secrets.LLM_API_KEY }}
46+
LLM_CHAT_MODEL: ${{ matrix.model }}
47+
48+
- run: ./chat-llm.js tests/es/canary-multi-turn.txt
49+
env:
50+
LLM_API_BASE_URL: https://openrouter.ai/api/v1
51+
LLM_API_KEY: ${{ secrets.LLM_API_KEY }}
52+
LLM_CHAT_MODEL: ${{ matrix.model }}
53+
54+
55+
high-school-stem:
56+
runs-on: ubuntu-22.04
57+
timeout-minutes: 5
58+
strategy:
59+
max-parallel: 3
60+
fail-fast: false
61+
matrix:
62+
model:
63+
- meta-llama/llama-3.2-3b-instruct # $0.0100/$0.0200 [ 128K]
64+
- mistralai/mistral-nemo # $0.0100/$0.0270 [ 128K]
65+
- google/gemma-3n-e4b-it # $0.0200/$0.0400 [ 32K]
66+
- google/gemma-3-4b-it # $0.0200/$0.0400 [ 128K]
67+
- mistralai/ministral-3b # $0.0400/$0.0400 [ 128K]
68+
- mistralai/mistral-7b-instruct-v0.3 # $0.0280/$0.0540 [ 32K]
69+
- mistralai/mistral-small-3.2-24b-instruct # $0.0500/$0.1000 [ 32K]
70+
- google/gemma-3-12b-it # $0.0500/$0.1000 [ 128K]
71+
- microsoft/phi-3-mini-128k-instruct # $0.1000/$0.1000 [ 128K]
72+
- qwen/qwen3-8b # $0.0350/$0.1380 [ 128K]
73+
- amazon/nova-micro-v1 # $0.0350/$0.1400 [ 128K]
74+
- microsoft/phi-4 # $0.0700/$0.1400 [ 16K]
75+
- google/gemini-flash-1.5-8b # $0.0380/$0.1500 [1000K]
76+
- amazon/nova-lite-v1 # $0.0600/$0.2400 [ 300K]
77+
- qwen/qwen3-14b # $0.0800/$0.2400 [ 40K]
78+
- mistralai/mixtral-8x7b-instruct # $0.2400/$0.2400 [ 32K]
79+
- meta-llama/llama-3.3-70b-instruct # $0.0700/$0.2500 [ 128K]
80+
- qwen/qwen3-30b-a3b # $0.0800/$0.2900 [ 40K]
81+
- google/gemini-2.0-flash-lite-001 # $0.0750/$0.3000 [1000K]
82+
- meta-llama/llama-4-scout # $0.0800/$0.3000 [ 320K]
83+
- google/gemini-2.0-flash-001 # $0.1000/$0.4000 [1000K]
84+
- openai/gpt-4.1-nano # $0.1000/$0.4000 [1000K]
85+
- google/gemini-2.5-flash-lite-preview-06-17 # $0.1000/$0.4000 [1000K]
86+
87+
steps:
88+
- uses: actions/checkout@v4
89+
90+
- run: ./chat-llm.js tests/es/high-school-stem.txt
91+
env:
92+
LLM_API_BASE_URL: https://openrouter.ai/api/v1
93+
LLM_API_KEY: ${{ secrets.LLM_API_KEY }}
94+
LLM_CHAT_MODEL: ${{ matrix.model }}

‎chat-llm.js‎

Lines changed: 1 addition & 1 deletion
Original file line numberDiff line numberDiff line change
@@ -202,7 +202,7 @@ Be as casual and as long as you want until you are confident to generate a corre
202202
</think>
203203
204204
Your answer should be a sentence or two, unless the user's request requires long-form outputs.
205-
Never use emojis. Never use markdown. Always answer in plain text.`;
205+
Never use emojis. Never use markdown. Always answer in plain text and in the same language as the query.`;
206206

207207
const reply = async (context) => {
208208
const { inquiry, history, delegates } = context;

‎tests/es/canary-multi-turn.txt‎

Lines changed: 11 additions & 0 deletions
Original file line numberDiff line numberDiff line change
@@ -0,0 +1,11 @@
1+
User: ¿Cuál es el planeta más grande de nuestro sistema solar?
2+
Assistant: /Jupiter|Júpiter/ es el planeta más grande de nuestro sistema solar.
3+
4+
User: ¿Y el más caliente?
5+
Assistant: /Venus|Vénus/ es el planeta más caliente de nuestro sistema solar.
6+
7+
User: ¿Y cuál es conocido como "El Planeta Rojo"?
8+
Assistant: /Marte/, debido a su apariencia rojiza causada por el óxido de hierro en su superficie.
9+
10+
User: ¿Y cuál es conocido por su prominente sistema de anillos?
11+
Assistant: ¡Ese debe ser /Saturn(o)?/!

‎tests/es/canary-single-turn.txt‎

Lines changed: 2 additions & 0 deletions
Original file line numberDiff line numberDiff line change
@@ -0,0 +1,2 @@
1+
User: ¿Cuál es el planeta más grande de nuestro sistema solar?
2+
Assistant: /Jupiter|Júpiter/ es el planeta más grande de nuestro sistema solar.

‎tests/es/high-school-stem.txt‎

Lines changed: 22 additions & 0 deletions
Original file line numberDiff line numberDiff line change
@@ -0,0 +1,22 @@
1+
Story: Preguntas sobre temas STEM en la escuela secundaria
2+
3+
User: ¿Qué fuerza atrae los objetos hacia el centro de la Tierra?
4+
Assistant: La /gravedad|fuerza gravitatoria|fuerza gravitacional|atracción terrestre|gravitación/ atrae los objetos hacia el centro de la Tierra.
5+
6+
User: ¿Cuál es el número atómico del carbono?
7+
Assistant: El número atómico del carbono es /6|seis/.
8+
9+
User: ¿Mediante qué proceso producen las plantas su propio alimento?
10+
Assistant: Las plantas producen su propio alimento mediante el proceso de /fotosíntesis|fotosintético|metabolismo ácido/.
11+
12+
User: ¿Cuál es la suma (en grados) de los ángulos internos de un triángulo?
13+
Assistant: La suma de los ángulos internos de un triángulo es /180/ grados.
14+
15+
User: ¿Cuál es la unidad de medida de la fuerza?
16+
Assistant: La unidad de medida de la fuerza es el /Newton/ (N).
17+
18+
User: ¿Cuál es el símbolo del elemento magnesio?
19+
Assistant: El símbolo del elemento magnesio es /Mg/.
20+
21+
User: ¿Cuáles son las partículas más pequeñas conocidas de la materia?
22+
Assistant: Las partículas más pequeñas conocidas de la materia son /partículas( elementales)?|quark[s]?|leptones|protones|neutrones|electrones/.

0 commit comments

Comments
 (0)