关于代码变量的三个困惑(token_id_subs,token_id_table,segment_rel)

[huang12zheng]

请问,Bee里的segment_rel是什么意思呢?

1. 公式如下:
segment_rel[seg_id_1 * num_segments + seg_id_2] = rel_to_bucket(
                        # ret = n_up * max_depth + n_down
2. 结果如下:
array([ 0,  2,  3,  2,  3,  2,  3,  9,  0,  2, 10, 11, 10, 11, 17,  9,  0,
       18, 19, 18, 19,  9, 10, 11,  0,  2, 10, 11, 17, 18, 19,  9,  0, 18,
       19,  9, 10, 11, 10, 11,  0,  2, 17, 18, 19, 18, 19,  9,  0],
      dtype=int32)
3. cpm_live/training_tasks/bee/pretrain.py

token_id_table

'token_id_table': {'': {86583: 0}}
86583 这个应该就是新增的ans_1吧?
那这个0是什么意思呢?

我认为是指对应的新的 字典(token 或者说 就是 ans_1对应的id), 是这个情况吗?

token_id_subs

已知公式:

  token_id_subs.append(token_id_table[token_name][idx])
else
  token_id_subs.append(0)

token_id_subs = [0] + token_id_subs

我发现其部分数据是[0, 0, 0], 觉得应该会特别长. 或者说是token长度.
那这个token_id_subs指什么呢?
或者说, 那这里的0是什么意思呢?

[huang12zheng]

1. segment_rel变为7*7就比较清楚了
   rel-1:
   [
   -1, 1, 2, 1, 2, 1, 2,
   8, -1, 1, 9, 10, 9, 10,
   16, 8, -1, 17, 18, 17, 18,
   8, 9, 10, -1, 1, 9, 10,
   16, 17, 18, 8, -1, 17, 18,
   8, 9, 10, 9, 10, -1, 1,
   16, 17, 18, 17, 18, 8, -1]
2. 比如(2,1)是8, 我们也知道2的父亲是1. 8*1+0=8
3. 又比如[(1,0),(3,0),(5,0)]是8,(2,0)是16
   (1),(2)这两个是 子向上找父
4. 但(0,1)却是1 或者说,0到1 向下只有需要1步,到2,要先到1再到2
   这是你向下找子