Skip to content

请问这里的中文模型支持的最大输入序列长度是512tokens吗?超过512tokens就会被截断嘛?可不可以在微调的时候扩大模型的位置编码数量? #130

@chengzi-big

Description

@chengzi-big

1.请问这里的中文模型支持的最大输入序列长度是512tokens吗?
2.超过512tokens就会被截断嘛?
3.可不可以在微调的时候扩大模型的位置编码数量?
4.因为我的数据集中的输入过长,如果超过512tokens之后的输入被截断的话,可能会造成信息丢失,请问您有什么更好的办法吗?

Metadata

Metadata

Assignees

No one assigned

    Labels

    No labels
    No labels

    Type

    No type

    Projects

    No projects

    Milestone

    No milestone

    Relationships

    None yet

    Development

    No branches or pull requests

    Issue actions