chore: vietbud500 256 sentencepiece

Author: nglehuy

examples/datasets/vietbud500/sentencepiece/train_bpe_256.metadata.json

@@ -0,0 +1,12 @@
+{
+  "train": {
+    "max_input_length": 256498,
+    "max_label_length": 100,
+    "num_entries": 634158
+  },
+  "eval": {
+    "max_input_length": 117571,
+    "max_label_length": 57,
+    "num_entries": 7500
+  }
+}

examples/datasets/vietbud500/sentencepiece/train_bpe_256.model

@@ -0,0 +1,256 @@
+<unk>	0
+▁c	-0
+ng	-1
+▁t	-2
+nh	-3
+▁đ	-4
+▁m	-5
+▁l	-6
+▁th	-7
+▁v	-8
+▁ch	-9
+▁b	-10
+▁nh	-11
+▁k	-12
+▁n	-13
+▁h	-14
+▁kh	-15
+▁ng	-16
+▁s	-17
+▁g	-18
+▁là	-19
+ông	-20
+▁tr	-21
+▁r	-22
+▁không	-23
+ời	-24
+▁p	-25
+▁ph	-26
+▁cá	-27
+▁có	-28
+ên	-29
+▁d	-30
+ôi	-31
+ình	-32
+▁gi	-33
+anh	-34
+qu	-35
+▁qu	-36
+▁và	-37
+ột	-38
+ới	-39
+▁củ	-40
+▁của	-41
+iế	-42
+ười	-43
+▁như	-44
+▁một	-45
+▁tôi	-46
+▁nó	-47
+▁mà	-48
+▁người	-49
+iệ	-50
+▁x	-51
+▁anh	-52
+▁đư	-53
+ại	-54
+ất	-55
+ấy	-56
+▁nà	-57
+▁mình	-58
+▁đi	-59
+▁thì	-60
+▁cái	-61
+ợc	-62
+em	-63
+▁được	-64
+ay	-65
+▁cũ	-66
+uy	-67
+▁co	-68
+▁cũng	-69
+ững	-70
+ong	-71
+▁những	-72
+▁cho	-73
+▁con	-74
+ai	-75
+ải	-76
+▁em	-77
+▁ngh	-78
+▁cả	-79
+ều	-80
+▁đó	-81
+▁cô	-82
+ồi	-83
+▁lại	-84
+▁với	-85
+ch	-86
+ao	-87
+ân	-88
+▁này	-89
+▁đã	-90
+▁trong	-91
+ần	-92
+uố	-93
+▁để	-94
+▁làm	-95
+▁nói	-96
+▁ta	-97
+ạn	-98
+▁phải	-99
+▁ra	-100
+ây	-101
+▁chú	-102
+▁nhưng	-103
+ướ	-104
+ang	-105
+au	-106
+▁rồi	-107
+▁sẽ	-108
+âu	-109
+ến	-110
+▁về	-111
+▁nhi	-112
+iết	-113
+an	-114
+ác	-115
+▁khi	-116
+òn	-117
+▁ti	-118
+▁gì	-119
+▁thế	-120
+▁bạn	-121
+ước	-122
+▁ở	-123
+▁họ	-124
+▁đến	-125
+▁còn	-126
+▁thể	-127
+▁các	-128
+ết	-129
+▁mẹ	-130
+▁việ	-131
+ươ	-132
+ật	-133
+▁ông	-134
+▁biết	-135
+úc	-136
+▁nhà	-137
+▁chúng	-138
+ương	-139
+ận	-140
+oà	-141
+▁chị	-142
+ành	-143
+▁bà	-144
+ơn	-145
+▁thấy	-146
+▁từ	-147
+ầu	-148
+ậy	-149
+▁chuy	-150
+▁nào	-151
+ăn	-152
+▁chỉ	-153
+ờng	-154
+ữa	-155
+▁rất	-156
+▁sự	-157
+ồng	-158
+▁nhiều	-159
+ùng	-160
+▁	-161
+n	-162
+h	-163
+c	-164
+i	-165
+t	-166
+g	-167
+m	-168
+a	-169
+đ	-170
+à	-171
+u	-172
+l	-173
+o	-174
+ư	-175
+y	-176
+ô	-177
+v	-178
+r	-179
+b	-180
+k	-181
+á	-182
+ó	-183
+ì	-184
+s	-185
+ế	-186
+p	-187
+ờ	-188
+ấ	-189
+ạ	-190
+ả	-191
+ê	-192
+ộ	-193
+ớ	-194
+â	-195
+ố	-196
+ệ	-197
+ề	-198
+ủ	-199
+d	-200
+ậ	-201
+ể	-202
+e	-203
+ợ	-204
+ú	-205
+q	-206
+ữ	-207
+ơ	-208
+ồ	-209
+ọ	-210
+ầ	-211
+ị	-212
+ứ	-213
+x	-214
+ắ	-215
+ã	-216
+ở	-217
+ũ	-218
+ự	-219
+í	-220
+ò	-221
+ă	-222
+ừ	-223
+ặ	-224
+ẽ	-225
+ẹ	-226
+ù	-227
+ỏ	-228
+ụ	-229
+ổ	-230
+ỉ	-231
+ĩ	-232
+ằ	-233
+ẫ	-234
+ý	-235
+é	-236
+ử	-237
+ỗ	-238
+ẻ	-239
+ẳ	-240
+ẩ	-241
+ễ	-242
+è	-243
+ỡ	-244
+õ	-245
+ỳ	-246
+ỹ	-247
+ỷ	-248
+ẵ	-249
+ỵ	-250
+w	-251
+f	-252
+j	-253
+z	-254