fix(tn): 全角数字 (#157)

xingchensong · web-flow · commit 2c0e38fb6035 · 2023-11-15T19:16:24.000+08:00
diff --git a/tn/chinese/data/number/digit.tsv b/tn/chinese/data/number/digit.tsv
@@ -7,3 +7,12 @@
 7	七
 8	八
 9	九
+１	一
+２	二
+３	三
+４	四
+５	五
+６	六
+７	七
+８	八
+９	九
diff --git a/tn/chinese/data/number/teen.tsv b/tn/chinese/data/number/teen.tsv
@@ -7,3 +7,12 @@
 7	七
 8	八
 9	九
+１	
+２	二
+３	三
+４	四
+５	五
+６	六
+７	七
+８	八
+９	九
diff --git a/tn/chinese/data/number/zero.tsv b/tn/chinese/data/number/zero.tsv
@@ -1 +1,2 @@
 0	零
+０	零
diff --git a/tn/chinese/rules/cardinal.py b/tn/chinese/rules/cardinal.py
@@ -34,7 +34,7 @@ def build_tagger(self):
         sign = string_file('tn/chinese/data/number/sign.tsv')
         dot = string_file('tn/chinese/data/number/dot.tsv')
 
-        rmzero = delete('0')
+        rmzero = delete('0') | delete('０')
         rmpunct = delete(',').ques
         digits = zero | digit
         self.digits = digits
diff --git a/tn/chinese/test/data/normalizer.txt b/tn/chinese/test/data/normalizer.txt
@@ -42,3 +42,7 @@ B2B => B to B
 当场票数≥100万 => 当场票数大于等于一百万
 独得300w张 => 独得三百万张
 面积是10km² => 面积是十平方千米
+仅仅是２０１５年 => 仅仅是二零一五年
+包含３０００余件 => 包含三千余件
+查处４５０余名 => 查处四百五十余名
+查处450余名 => 查处四百五十余名

-Original file line number
+Diff line change
 	七
 	八
 	九
 +１	一
 +２	二
 +３	三
 +４	四
 +５	五
 +６	六
 +７	七
 +８	八
 +９	九