数据规模与模型规模 #8
-
|
用200G 的数据训练10B 的模型，这个规模上是否匹配呢？数据量是不是有点少了呢？ |
Beta Was this translation helpful? Give feedback.
Replies: 1 comment 5 replies
-
|
您好， |
Beta Was this translation helpful? Give feedback.
-
|
参考Training Compute-Optimal Large Language Models 也许需要扩大数据2-3倍，才能让训练更加高效 |
Beta Was this translation helpful? Give feedback.
-
|
是的，根据文章中的估算大概要200B左右数据，不过我们目前的高质量数据还不够，所以暂时采取将50B数据多跑几遍的策略，我们的日常进度也是按照200B的总数据量来算的～ |
Beta Was this translation helpful? Give feedback.
-
|
确实，语种，tokenizer，模型架构等等都有可能影响，不过总体来说数据量多些大概率没坏处。 |
Beta Was this translation helpful? Give feedback.
-
|
我们目前没有使用悟道的数据，因为这些数据主要是面向学术研究的 |
Beta Was this translation helpful? Give feedback.
-
|
有一个关于模型训练时间的讨论，在这里讨论会更好。#46 (comment) |
Beta Was this translation helpful? Give feedback.
您好，
175B的GPT3使用了大概300B Token的数据，目前我们清洗之后的200G数据大约是50B的Token数量，用来训练10B的模型在量级上应该是足够的。
此外200G目前也是初始阶段的数据量，后续有新的数据我们也会不断增加～
感谢您的提问！