Skip to content

Commit 300383e

Browse files
committed
Update test files to reflect tokenization
1 parent b7528a8 commit 300383e

File tree

4 files changed

+54
-5
lines changed

4 files changed

+54
-5
lines changed

inflection/resources/org/unicode/inflection/tokenizer/config_ml.properties

Lines changed: 3 additions & 0 deletions
Original file line numberDiff line numberDiff line change
@@ -2,4 +2,7 @@
22
# Copyright 2025 Unicode Incorporated and others. All rights reserved.
33
#
44
tokenizer.implementation.class=DefaultTokenizer
5+
tokenizer.nonDecompound.file=/org/unicode/inflection/tokenizer/ml/nondecompound.tok
6+
tokenizer.decompound=(..+)(കൾ|ങ്ങൾ|മാർ|ക്കാല|ന്ന|ന്റെ|യുടേ|യേ|യാൽ|ഇൽ|ല്|ന്|ം|നെ|യെ)?(ഓട്|ഉടൻ|ഒപ്പം|ഒടൊപ്പം)?(തന്നെ|പോലെ|പോലും|മാത്രം)?(യ്|ഉം)?
7+
58

Lines changed: 33 additions & 0 deletions
Original file line numberDiff line numberDiff line change
@@ -0,0 +1,33 @@
1+
#
2+
# Copyright 2025 Unicode Incorporated and others. All rights reserved.
3+
#
4+
5+
അമ്മ
6+
അച്ഛൻ
7+
അച്ഛി
8+
അമ്മൻ
9+
മകൻ
10+
മകൾ
11+
കുട്ടി
12+
കുട്ടികൾ
13+
ആൺകുട്ടി
14+
ആൺകുട്ടികൾ
15+
പെൺകുട്ടി
16+
പെൺകുട്ടികൾ
17+
കഥ
18+
ചിത്രം
19+
ചിത്രങ്ങൾ
20+
ഗ്രന്ഥം
21+
ഗ്രന്ഥങ്ങൾ
22+
മക്കൾ
23+
ഞാൻ
24+
നീ
25+
നിങ്ങൾ
26+
അവൻ
27+
അവൾ
28+
അവ
29+
അവർ
30+
ഇത്
31+
അത്
32+
ഇവ
33+
അവ

inflection/test/resources/inflection/dialog/inflection/ml.xml

Lines changed: 12 additions & 5 deletions
Original file line numberDiff line numberDiff line change
@@ -9,10 +9,6 @@
99
<test><source number="plural">മരം</source><result>മരങ്ങൾ</result></test>
1010
<test><source number="plural">കഥ</source><result>കഥകൾ</result></test>
1111

12-
<!-- Malayalam Adjective Inflection Tests -->
13-
<test><source>നല്ല</source><result exists="true">നല്ല</result></test>
14-
<test><source>നല്ല</source><result exists="true">നല്ല</result></test>
15-
1612
<!-- Malayalam Verb Inflection Tests -->
1713
<test><source tense="present" person="first" number="singular">ചോദിക്കുക</source><result>ചോദിക്കുന്നു</result></test>
1814
<test><source tense="past" person="first" number="singular">ചോദിക്കുക</source><result>ചോദിച്ചു</result></test>
@@ -25,7 +21,7 @@
2521
<test><source case="dative">കുട്ടി</source><result>കുട്ടിക്ക്</result></test>
2622
<test><source case="genitive">കുട്ടി</source><result>കുട്ടിയുടെ</result></test>
2723
<test><source case="locative">കുട്ടി</source><result>കുട്ടിയിൽ</result></test>
28-
<test><source case="instrumental">കുട്ടി</source><result>കുട്ടിയാല്</result></test>
24+
<test><source case="instrumental">കുട്ടി</source><result>കുട്ടിയാൽ</result></test>
2925

3026
<!-- Malayalam Adjective Inflection Tests -->
3127
<test><source gender="feminine">പുതിയ</source><result>പുതിയ</result></test>
@@ -80,4 +76,15 @@
8076
<!-- Subjunctive -->
8177
<test><source mood="subjunctive">വരിക</source><result>വരുമെന്ന്</result></test>
8278

79+
<!-- Plural suffix token cases -->
80+
<test><source number="plural">ലൈറ്റുകൾ</source><result>ലൈറ്റുകൾ</result></test>
81+
<test><source number="plural">കുട്ടികൾ</source><result>കുട്ടികൾ</result></test>
82+
<test><source number="plural">വളപ്പുറത്തെ ലൈറ്റുകൾ</source><result>വളപ്പുറത്തെ ലൈറ്റുകൾ</result></test>
83+
<test><source number="plural">ക്യാമ്പസ് ലൈറ്റുകൾ</source><result>ക്യാമ്പസ് ലൈറ്റുകൾ</result></test>
84+
<test><source number="plural">വളപ്പുറത്തെ ലൈറ്റ്</source><result>വളപ്പുറത്തെ ലൈറ്റുകൾ</result></test>
85+
<test><source number="plural">ഫേസ്ബുക്കുകൾ</source><result>ഫേസ്ബുക്കുകൾ</result></test>
86+
<test><source number="plural">ഫേസ്ബുക്ക്</source><result>ഫേസ്ബുക്കുകൾ</result></test>
87+
<test><source number="plural" tense="present">വരിക</source><result>വരുന്നു</result></test>
88+
<test><source number="plural" pos="verb">ചോദിക്കുന്നു</source><result>ചോദിക്കുന്നു</result></test>
89+
8390
</inflectionTest>

inflection/test/resources/inflection/dialog/pronoun/ml.xml

Lines changed: 6 additions & 0 deletions
Original file line numberDiff line numberDiff line change
@@ -57,4 +57,10 @@
5757
<test><source person="third">ഞാൻ</source><result gender="masculine">അവൻ</result></test>
5858
<test><source person="third" gender="feminine">ഞാൻ</source><result>അവൾ</result></test>
5959
<test><source person="second" formality="formal">ഞാൻ</source><result>താങ്കൾ</result></test>
60+
61+
<!-- Plural token examples -->
62+
<test><source person="first" number="plural" case="nominative" clusivity="exclusive"/><result>ഞങ്ങൾ</result></test>
63+
<test><source person="first" number="plural" case="nominative" clusivity="inclusive"/><result>നാം</result></test>
64+
<test><source person="first" number="plural">ഞങ്ങൾ രണ്ടുപേർ</source><result>ഞങ്ങൾ രണ്ടുപേർ</result></test>
65+
6066
</inflectionTest>

0 commit comments

Comments
 (0)