民间版中文羊驼模型（Plus）v3.0

[ymcui]

比假期先到来的是我们的最新模型😄，本次更新主要聚焦于以下几方面：

🚀 发布中文LLaMA, Alpaca Plus版（7B）

推出中文LLaMA, Alpaca Plus版（7B），相比基础版本的改进点如下：

• 进一步扩充了训练数据，其中LLaMA扩充至120G文本（通用领域），Alpaca扩充至4M指令数据（重点增加了STEM相关数据）
• Alpaca训练时采用了更大的rank，相比原版具有更低的验证集损失
• 评测结果显示，Alpaca-Plus-7B相比基础版Alpaca-7B效果更优，部分任务接近或超过13B版本
• 这一轮比拼：7B获得65.1分，13B获得70.6分，Plus-7B效果75.3分，具体评测结果请参考效果评测

（Plus-13B在路上）

💯 完善了评测样例

在原有的测试样例的基础上，进一步对评测样例、评测方法进行完善，请参考效果评测。

• 样例总量从160个扩充至200个，每个任务20个样例
• 评测模型由Q4改为Q8，更接近于原始模型的效果，更具有参考价值
• 修正了部分prompt，使得指令意图更明确

📚 简化了模型合并脚本

现在用户可以使用统一的merge_llama_with_chinese_lora.py对模型进行合并和转换了。

• 支持输出.pth格式模型：用于后续llama.cpp等的量化和部署
• 支持输出.bin格式（huggingface）模型：用于进一步精调或其他训练目的
• Alpaca-Plus合并流程稍有不同，请务必参考最新合并流程教程

📚 添加了预训练脚本

提供了用于训练LLaMA的预训练脚本，基于🤗transformers中的run_clm.py。具体使用方法请参考Wiki中的相关教程。

预祝大家假期愉快~ 🎉🎉🎉

---

This discussion was created from the release 民间版中文羊驼模型（Plus）v3.0.

[jamesljl]

干得漂亮！！！期待 Plus-13B ！！！