Skip to content

Commit 7fda17b

Browse files
LoganLiu66LoganLiu66
authored
Support Japanese TN&ITN (#281)
* [tn] support Japanese TN * [itn] support Japanese ITN * [tn] fix Japanese TN * [itn] fix Japanese ITN * [tn] format code for Japanese TN * [itn] format code for Japanese ITN * [itn] fix Japanese ITN * [tn] fix Japanese TN * [itn] fix Japanese ITN
1 parent d1e2090 commit 7fda17b

File tree

115 files changed

+8970
-8
lines changed

Some content is hidden

Large Commits have some content hidden by default. Use the searchbox below for content that may be hidden.

115 files changed

+8970
-8
lines changed

‎itn/japanese/__init__.py‎

Whitespace-only changes.

‎itn/japanese/data/char/common_chinese_char.tsv‎

Lines changed: 2502 additions & 0 deletions
Large diffs are not rendered by default.

‎itn/japanese/data/char/fullwidth_to_halfwidth.tsv‎

Lines changed: 95 additions & 0 deletions
Original file line numberDiff line numberDiff line change
@@ -0,0 +1,95 @@
1+
， ,
2+
。 .
3+
． .
4+
“ "
5+
” "
6+
！ !
7+
＂ "
8+
＃ #
9+
％ %
10+
＆ &
11+
＇ '
12+
（ (
13+
） )
14+
＊ *
15+
＋ +
16+
－ -
17+
／ /
18+
： :
19+
； ;
20+
＜ <
21+
＝ =
22+
＞ >
23+
？ ?
24+
＠ @
25+
＼ \
26+
＾ ^
27+
＿ _
28+
｀ `
29+
｛ {
30+
｜ |
31+
｝ }
32+
～ ~
33+
＄ $
34+
０ 0
35+
１ 1
36+
２ 2
37+
３ 3
38+
４ 4
39+
５ 5
40+
６ 6
41+
７ 7
42+
８ 8
43+
９ 9
44+
ａ a
45+
Ａ A
46+
ｂ b
47+
Ｂ B
48+
ｃ c
49+
Ｃ C
50+
ｄ d
51+
Ｄ D
52+
ｅ e
53+
Ｅ E
54+
ｆ f
55+
Ｆ F
56+
ｇ g
57+
Ｇ G
58+
ｈ h
59+
Ｈ H
60+
ｉ i
61+
Ｉ I
62+
ｊ j
63+
Ｊ J
64+
ｋ k
65+
Ｋ K
66+
ｌ l
67+
Ｌ L
68+
ｍ m
69+
Ｍ M
70+
ｎ n
71+
Ｎ N
72+
ｏ o
73+
Ｏ O
74+
ｐ p
75+
Ｐ P
76+
ｑ q
77+
Ｑ Q
78+
ｒ r
79+
Ｒ R
80+
ｓ s
81+
Ｓ S
82+
ｔ t
83+
Ｔ T
84+
ｕ u
85+
Ｕ U
86+
ｖ v
87+
Ｖ V
88+
ｗ w
89+
Ｗ W
90+
ｘ x
91+
Ｘ X
92+
ｙ y
93+
Ｙ Y
94+
ｚ z
95+
Ｚ Z

‎itn/japanese/data/char/hiragana_and_katakana.tsv‎

Lines changed: 160 additions & 0 deletions
Original file line numberDiff line numberDiff line change
@@ -0,0 +1,160 @@
1+
あ
2+
い
3+
う
4+
え
5+
お
6+
か
7+
き
8+
く
9+
け
10+
こ
11+
さ
12+
し
13+
す
14+
せ
15+
そ
16+
た
17+
ち
18+
つ
19+
て
20+
と
21+
な
22+
に
23+
ぬ
24+
ね
25+
の
26+
は
27+
ひ
28+
ふ
29+
へ
30+
ほ
31+
ま
32+
み
33+
む
34+
め
35+
も
36+
や
37+
ゆ
38+
よ
39+
ら
40+
り
41+
る
42+
れ
43+
ろ
44+
わ
45+
を
46+
ん
47+
ア
48+
イ
49+
ウ
50+
エ
51+
オ
52+
カ
53+
キ
54+
ク
55+
ケ
56+
コ
57+
サ
58+
シ
59+
ス
60+
セ
61+
ソ
62+
タ
63+
チ
64+
ツ
65+
テ
66+
ト
67+
ナ
68+
ニ
69+
ヌ
70+
ネ
71+
ノ
72+
ハ
73+
ヒ
74+
フ
75+
ヘ
76+
ホ
77+
マ
78+
ミ
79+
ム
80+
メ
81+
モ
82+
ヤ
83+
ユ
84+
ヨ
85+
ラ
86+
リ
87+
ル
88+
レ
89+
ロ
90+
ワ
91+
ヲ
92+
ン
93+
が
94+
ぎ
95+
ぐ
96+
げ
97+
ご
98+
ざ
99+
じ
100+
ず
101+
ぜ
102+
ぞ
103+
だ
104+
ぢ
105+
づ
106+
で
107+
ど
108+
ば
109+
び
110+
ぶ
111+
べ
112+
ぼ
113+
ぱ
114+
ぴ
115+
ぷ
116+
ぺ
117+
ぽ
118+
ガ
119+
ギ
120+
グ
121+
ゲ
122+
ゴ
123+
ザ
124+
ジ
125+
ズ
126+
ゼ
127+
ゾ
128+
ダ
129+
ヂ
130+
ヅ
131+
デ
132+
ド
133+
バ
134+
ビ
135+
ブ
136+
ベ
137+
ボ
138+
パ
139+
ピ
140+
プ
141+
ペ
142+
ポ
143+
ャ
144+
ァ
145+
ィ
146+
ュ
147+
ッ
148+
ゥ
149+
ェ
150+
ョ
151+
ォ
152+
ぁ
153+
ぃ
154+
ぅ
155+
ぇ
156+
ぉ
157+
っ
158+
ゃ
159+
ゅ
160+
ょ

‎itn/japanese/data/char/oov_tags.tsv‎

Lines changed: 1 addition & 0 deletions
Original file line numberDiff line numberDiff line change
@@ -0,0 +1 @@
1+
<oov> </oov>

‎itn/japanese/data/char/punctuations_ja.tsv‎

Lines changed: 72 additions & 0 deletions
Original file line numberDiff line numberDiff line change
@@ -0,0 +1,72 @@
1+
！
2+
？
3+
｡
4+
。
5+
＂
6+
＃
7+
＄
8+
％
9+
＆
10+
＇
11+
（
12+
）
13+
＊
14+
＋
15+
，
16+
－
17+
／
18+
：
19+
；
20+
＜
21+
＝
22+
＞
23+
＠
24+
［
25+
＼
26+
］
27+
＾
28+
＿
29+
｀
30+
｛
31+
｜
32+
｝
33+
～
34+
｟
35+
｠
36+
｢
37+
｣
38+
､
39+
、
40+
〃
41+
》
42+
「
43+
」
44+
『
45+
』
46+
【
47+
】
48+
〔
49+
〕
50+
〖
51+
〗
52+
〘
53+
〙
54+
〚
55+
〛
56+
〜
57+
〝
58+
〞
59+
〟
60+
〰
61+
–
62+
—
63+
‘
64+
’
65+
‛
66+
“
67+
”
68+
„
69+
‟
70+
…
71+
‧
72+
﹏

‎itn/japanese/data/date/day.tsv‎

Lines changed: 31 additions & 0 deletions
Original file line numberDiff line numberDiff line change
@@ -0,0 +1,31 @@
1+
一 1
2+
二 2
3+
三 3
4+
四 4
5+
五 5
6+
六 6
7+
七 7
8+
八 8
9+
九 9
10+
十 10
11+
十一 11
12+
十二 12
13+
十三 13
14+
十四 14
15+
十五 15
16+
十六 16
17+
十七 17
18+
十八 18
19+
十九 19
20+
二十 20
21+
二十一 21
22+
二十二 22
23+
二十三 23
24+
二十四 24
25+
二十五 25
26+
二十六 26
27+
二十七 27
28+
二十八 28
29+
二十九 29
30+
三十 30
31+
三十一 31

‎itn/japanese/data/date/month.tsv‎

Lines changed: 12 additions & 0 deletions
Original file line numberDiff line numberDiff line change
@@ -0,0 +1,12 @@
1+
一 1
2+
二 2
3+
三 3
4+
四 4
5+
五 5
6+
六 6
7+
七 7
8+
八 8
9+
九 9
10+
十 10
11+
十一 11
12+
十二 12

‎itn/japanese/data/date/week.tsv‎

Lines changed: 14 additions & 0 deletions
Original file line numberDiff line numberDiff line change
@@ -0,0 +1,14 @@
1+
月曜日 月
2+
月曜 月
3+
火曜日 火
4+
火曜 火
5+
水曜日 水
6+
水曜 水
7+
木曜日 木
8+
木曜 木
9+
金曜日 金
10+
金曜 金
11+
土曜日 土
12+
土曜 土
13+
日曜日 日
14+
日曜 日

‎itn/japanese/data/default/blacklist.tsv‎

Whitespace-only changes.

0 commit comments

Comments
 (0)