token与label 没有做到对应关系

[bestpredicts]

在 convert_examples_to_features 函数中，代码对每个词进行token分词处理对时候，并没有让label更新 使得label来对应每个分词过后对token 只是在最后通过while循环来对齐 但是实际上token和label 已经不是一一对应的关系了 感觉这里应该是有问题的

[liuyukid]

模型并不计算sub_token（带##前缀的token）的损失，利用valid_sequence_output函数将sub_token在BERT中的输出给mask掉了，所以最后在计算损失的时候是可以将token和label对应起来的

[HuiBinR]

我看到这个问题和作者的回答的时候，还是挺迷惑的，觉得确实不对应（但是其实是对应的）。自己写个小例子就能看出来了。
原文： I like perfect things
label：O O B I
分词：I li ##ke per ##fect thing ##s
label: O O B I -100 -100 -100
输出：o1 o2 o3 o4 o5 o6 o7
v-mask: 1 1 0 1 0 1 0
结果：o1 o2 o4 o6 (label完全和分词首部分对上）

输出：模型输出
v-mask：valid mask
结果：valid_sequence_output