Efficient BPE 博客高效中文BPE实现代码仓库。 ebpe.py 我的高效BPE实现 bpe_eval.ipynb 评测代码 requirements.txt 为 bpe_eval.ipynb的依赖，ebpe.py 本身仅以来 tqdm 显示进度条