Skip to content

Commit 542f14e

Browse files
committed
CI for Indonesian tests
1 parent d8e3097 commit 542f14e

File tree

4 files changed

+97
-0
lines changed

4 files changed

+97
-0
lines changed

.github/workflows/indonesian.yml

Lines changed: 62 additions & 0 deletions
Original file line numberDiff line numberDiff line change
@@ -0,0 +1,62 @@
1+
name: Indonesian tests
2+
3+
on: [workflow_dispatch, push, pull_request]
4+
5+
jobs:
6+
7+
canary-multi-turn:
8+
runs-on: ubuntu-22.04
9+
timeout-minutes: 3
10+
strategy:
11+
max-parallel: 3
12+
fail-fast: false
13+
matrix:
14+
model:
15+
- meta-llama/llama-3.2-3b-instruct # $0.0100/$0.0200 [ 128K]
16+
- google/gemma-3n-e4b-it # $0.0200/$0.0400 [ 32K]
17+
- google/gemma-3-4b-it # $0.0200/$0.0400 [ 128K]
18+
- mistralai/mistral-small-3.2-24b-instruct # $0.0500/$0.1000 [ 32K]
19+
- google/gemma-3-12b-it # $0.0500/$0.1000 [ 128K]
20+
- qwen/qwen3-8b # $0.0350/$0.1380 [ 128K]
21+
- google/gemini-flash-1.5-8b # $0.0380/$0.1500 [1000K]
22+
23+
steps:
24+
- uses: actions/checkout@v4
25+
26+
- run: ./chat-llm.js tests/id/canary-single-turn.txt
27+
env:
28+
LLM_API_BASE_URL: https://openrouter.ai/api/v1
29+
LLM_API_KEY: ${{ secrets.LLM_API_KEY }}
30+
LLM_CHAT_MODEL: ${{ matrix.model }}
31+
32+
- run: ./chat-llm.js tests/id/canary-multi-turn.txt
33+
env:
34+
LLM_API_BASE_URL: https://openrouter.ai/api/v1
35+
LLM_API_KEY: ${{ secrets.LLM_API_KEY }}
36+
LLM_CHAT_MODEL: ${{ matrix.model }}
37+
38+
39+
high-school-stem:
40+
runs-on: ubuntu-22.04
41+
timeout-minutes: 5
42+
strategy:
43+
max-parallel: 3
44+
fail-fast: false
45+
matrix:
46+
model:
47+
- meta-llama/llama-3.2-3b-instruct # $0.0100/$0.0200 [ 128K]
48+
- google/gemma-3n-e4b-it # $0.0200/$0.0400 [ 32K]
49+
- google/gemma-3-4b-it # $0.0200/$0.0400 [ 128K]
50+
- mistralai/mistral-small-3.2-24b-instruct # $0.0500/$0.1000 [ 32K]
51+
- google/gemma-3-12b-it # $0.0500/$0.1000 [ 128K]
52+
- qwen/qwen3-8b # $0.0350/$0.1380 [ 128K]
53+
- google/gemini-flash-1.5-8b # $0.0380/$0.1500 [1000K]
54+
55+
steps:
56+
- uses: actions/checkout@v4
57+
58+
- run: ./chat-llm.js tests/id/high-school-stem.txt
59+
env:
60+
LLM_API_BASE_URL: https://openrouter.ai/api/v1
61+
LLM_API_KEY: ${{ secrets.LLM_API_KEY }}
62+
LLM_CHAT_MODEL: ${{ matrix.model }}

tests/id/canary-multi-turn.txt

Lines changed: 11 additions & 0 deletions
Original file line numberDiff line numberDiff line change
@@ -0,0 +1,11 @@
1+
User: Sebutkan planet terbesar di tata surya kita!
2+
Assistant: Planet terbesar di tata surya kita adalah /Jupiter/.
3+
4+
User: kalau yang terpanas?
5+
Assistant: /Venus/ adalah planet terpanas di tata surya, dengan suhu rata-rata 460 °C.
6+
7+
User: dan yang mana yang dijuluki sebagai Planet Merah?
8+
Assistant: /Mars/ dijuluki sebagai "Planet Merah" karena permukaannya berwarna kemerah-merahan.
9+
10+
User: dan planet mana yang tersohor dengan cincin yang sangat kompleks?
11+
Assistant: Planet /Saturnus/ terkenal dengan cincin yang sangat kompleks dan terlihat sangat spektakuler.

tests/id/canary-single-turn.txt

Lines changed: 2 additions & 0 deletions
Original file line numberDiff line numberDiff line change
@@ -0,0 +1,2 @@
1+
User: Sebutkan planet terbesar di tata surya kita!
2+
Assistant: Planet terbesar di tata surya kita adalah /Jupiter/.

tests/id/high-school-stem.txt

Lines changed: 22 additions & 0 deletions
Original file line numberDiff line numberDiff line change
@@ -0,0 +1,22 @@
1+
Story: Pertanyaan STEM untuk SMA
2+
3+
User: Apa gaya yang menarik benda-benda menuju pusat Bumi?
4+
Assistant: Gaya yang menarik benda-benda menuju pusat Bumi dikenal sebagai /gravitasi/.
5+
6+
User: Berapakah nomor atom karbon?
7+
Assistant: Nomor atom karbon adalah /6|enam/.
8+
9+
User: Proses apakah yang digunakan oleh tumbuhan-tumbuhan untuk membuat makanannya sendiri?
10+
Assistant: Tumbuhan membuat makanannya sendiri menggunakan /fotosintesis|fotosintesa/.
11+
12+
User: Berapakah jumlah sudut (dalam derajat) pada sebuah segitiga?
13+
Assistant: Jumlah sudut pada sebuah segitiga adalah /180/ derajat.
14+
15+
User: Apa satuan untuk mengukur gaya?
16+
Assistant: Satuan untuk mengukur gaya adalah /Newton/ (N).
17+
18+
User: Apa simbol kimia untuk magnesium?
19+
Assistant: Simbol kimia untuk magnesium adalah /Mg/.
20+
21+
User: Apakah komponent subatomik dari materi?
22+
Assistant: Unit terkecil dari materi adalah /atom|proton|quark|lepton|partikel/.

0 commit comments

Comments
 (0)