第4节课作业(15班)

[ironartisan]

提交第4节课作业

[dqyydq]

https://blog.csdn.net/qq_52410386/article/details/135545198?spm=1001.2014.3001.5501

[IyGnahz]

笔记+作业 https://g6xuom3zbh.feishu.cn/docx/G8szdsIcXoVlPkxLe3HcwKfJnRe

[seienn]

https://gvxxiiwsufy.feishu.cn/wiki/HGjKw3zVeiQekqkkrqacwrCenVc?from=from_copylink

[lizhunkg]

第四课作业：https://note.youdao.com/s/Qpz3fR9i

[scchy]

第4节课作业: https://github.com/scchy/My_Learn/blob/master/LLM_prime/4_InternLM_Xtun_HW.md

[Mrguanglei]

https://gzr5xfkph4.feishu.cn/docx/Cl7ldaAmgofDInx3Q1YcfP0Qnid?from=from_copylink

[szhowardhuang]

InternLM-Chat 个人小助手认知微调实践

目标：通过微调，帮助模型了解自己的身份

方式：使用XTuner进行微调

环境准备：

建立ft-self目录，拷贝底座大模型internlm-chat-7b到这个目录。其它看教程

数据准备：

新建data目录，在data目录下创建一个json文件personal_assistant.json作为本次微调所使用的数据集。
内容如下：

其中conversation表示一次对话的内容，input为输入，即用户会问的问题，output为输出，即想要模型回答的答案。

配置准备：

建立config目录，在此目录执行 xtuner copy-cfg internlm_chat_7b_qlora_oasst1_e3 .
    修改如下：黄色高亮部分

启动微调：

xtuner train /root/ft-self/config/internlm_chat_7b_qlora_oasst1_e3_copy.py

微调后参数转换/合并:

先转成HuggiingFace格式

	# 创建用于存放Hugging Face格式参数的hf文件夹
	mkdir /root/ft-self/work_dirs/hf
	
	export MKL_SERVICE_FORCE_INTEL=1
	export MKL_THREADING_LAYER='GNU'
	
	# 配置文件存放的位置
	export CONFIG_NAME_OR_PATH=/root/ft-self/config/internlm_chat_7b_qlora_oasst1_e3_copy.py
	
	# 模型训练后得到的pth格式参数存放的位置
	export PTH=/root/ft-self/work_dirs/internlm_chat_7b_qlora_oasst1_e3_copy/epoch_4.pth
	
	# pth文件转换为Hugging Face格式后参数存放的位置
	export SAVE_HF_PATH=/root/ft-self/work_dirs/hf
	
	# 执行参数转换
	xtuner convert pth_to_hf $CONFIG_NAME_OR_PATH $PTH $SAVE_HF_PATH

然后合并

	export MKL_SERVICE_FORCE_INTEL=1
	export MKL_THREADING_LAYER='GNU'
	
	# 原始模型参数存放的位置
	export NAME_OR_PATH_TO_LLM=/root/ft-self/internlm-chat-7b
	
	# Hugging Face格式参数存放的位置
	export NAME_OR_PATH_TO_ADAPTER=/root/ft-self/work_dirs/hf
	
	# 最终Merge后的参数存放的位置
	mkdir /root/ft-self/work_dirs/hf_merge
	export SAVE_MERGE_PATH=/root/ft-self/work_dirs/hf_merge
	
	# 执行参数Merge
	xtuner convert merge $NAME_OR_PATH_TO_LLM $NAME_OR_PATH_TO_ADAPTER  $SAVE_MERGE_PATH  --max-shard-size 2GB

web展示：

	pip install streamlit==1.24.0
	建立code目录，下载代码
	git clone https://gitee.com/InternLM/InternLM.git
	进入目录，
	修改web_demo.py的模型path到merge后的模型路径 /root/ft-self/work_dirs/hf_merge
	
	
	streamlit run /root/ft-self/code/InternLM/web_demo.py --server.address 127.0.0.1 --server.port 6006

效果如下：

[woodx9]

请参考实操部分记录 飞书链接

[sokolo05]

第四节课作业：https://github.com/sokolo05/Scholar_PuYu/blob/main/01.%E8%AF%BE%E7%A8%8B%E4%BD%9C%E4%B8%9A/%E7%AC%AC4%E8%8A%82_%E4%BD%9C%E4%B8%9A.md

[ziptoam]

第四节课作业
https://note.youdao.com/s/YQkqcnT8

[520Enterprise]

https://www.cnblogs.com/520Enterprise/p/17945399

[yabgdsajghsj]

https://note.youdao.com/s/Mu2FU4ld

[Gaia-yue]

https://github.com/Gaia-yue/---/blob/main/LLM/4_finetune-homework.md

[Mrguanglei]

https://mqf0lvyk616.feishu.cn/wiki/WtJVwc5qBiAIl8k6EKocEf01nPh?from=from_copylink

[lta155]

http://t.csdnimg.cn/bAKdw

[bblgbr]

第四节课作业，不好意思迟交了：https://github.com/bblgbr/play_llm/blob/main/InterLM_Class/04%20XTuner%E5%A4%A7%E6%A8%A1%E5%9E%8B%E5%8D%95%E5%8D%A1%E5%BE%AE%E8%B0%83-%E4%BD%9C%E4%B8%9A.md

[NANDSS1]

https://www.yuque.com/nandss/gyyg9p/uqg49wwo7x85d4eq?singleDoc# 《lesson4 XTuner单卡低成本微调实战作业》

[g29times]

https://novagen.notion.site/094f4b0fd9e34471983a47c8e23ae9b3?pvs=4
https://colab.research.google.com/drive/1UkHZuTEr7Hx7s4lMeS2K3j7w1wluztim?usp=sharing

[HarveyLiii]

微调训练过程：

微调效果对比：