Skip to content

数据长度的问题 #26

@chenyangjun45

Description

@chenyangjun45

现在的max_seq_length是512,但是我看原始数据,一个问题下的所有paras拼接起来都是大于512的,按512截断的话,会不会把answer位置给截下来了?我看代码里超过512的只有截断,是吧?对于长度超过512的文本,有没有什么好方法处理一下?

Metadata

Metadata

Assignees

No one assigned

    Labels

    No labels
    No labels

    Projects

    No projects

    Milestone

    No milestone

    Relationships

    None yet

    Development

    No branches or pull requests

    Issue actions