词表构建 #67
Description
词表构建时是可以包含验证集和测试集的吗？小白不太懂，希望得到解答为什么可以/不可以
Trainer.py
data_files = [train_data_file, dev_data_file, test_data_file]
matched_words = get_corpus_matched_word_from_lexicon_tree(data_files, embed_lexicon_tree)
word_vocab = ItemVocabArray(items_array=matched_words, is_word=True, has_default=False, unk_num=5)