课程项目：大模型推理系统

[YdrMaster]

• 项目导师：PanZezhong1725
• 项目目标
• 评分标准
  • 单人完成，在本讨论下跟帖，提交代码地址以及一份 pdf 项目报告（包含项目都有哪些功能以及使用方式）；
  • 通过指标：实现模型推理和 AI 对话；
  • 评优资格：在项目通过的基础上，完成下列拓展中的至少两项：
    1. 混合精度推理；
    2. 可交互的 UI 或网络服务 API；
    3. 多会话管理以及历史会话回滚；
    4. 多线程分布式推理优化，附加性能对比；
    5. 适配一种加速软件栈后端，Nvidia、AMD、国产芯片或 OpenCL、九源后端均可；
    6. 有其他想法可和导师讨论是否可以作为拓展；

[451846939]

https://github.com/451846939/learning-lm-rs 项目地址，md文件在项目地址中的项目报告中
项目报告.pdf

[islatan]

https://github.com/nanakura/infinitensor-exam-grading/tree/main/learning-lm-rs 项目地址
项目报告

[PanZezhong1725]

请大家避免在报告中粘贴大段代码，重点总结自己的想法思路以及使用的技术，说一说自己做了哪些拓展功能和有待提高的点

[Lfan-ke]

基础项目地址：https://github.com/Lfan-ke/learning-lm-rs

进阶项目（交互UI+多会话+历史会滚）子模块：https://github.com/Lfan-ke/HeXingYiKe

项目报告：https://github.com/Lfan-ke/HeXingYiKe/blob/main/%E9%A1%B9%E7%9B%AE%E6%8A%A5%E5%91%8A.pdf

全损GIF录屏展示：https://github.com/Lfan-ke/HeXingYiKe/blob/main/%E5%85%A8%E6%8D%9F%E7%94%BB%E8%B4%A8GIF%E5%B1%95%E7%A4%BA.gif

[Redemption-ZTX]

项目地址：https://github.com/Redemption-ZTX/LLama-AI-chatbot
项目报告：https://github.com/Redemption-ZTX/LLama-AI-chatbot/blob/main/%E5%A4%A7%E6%A8%A1%E5%9E%8B%E6%8E%A8%E7%90%86%E7%B3%BB%E7%BB%9F%E9%A1%B9%E7%9B%AE%E6%8A%A5%E5%91%8A.pdf

[zhouyecs]

项目地址：https://github.com/zhouyecs/learning-lm-rs
项目报告：https://github.com/zhouyecs/learning-lm-rs/blob/main/report.md

[goldenfox2025]

项目地址：https://github.com/goldenfox2025/LLM_infer/tree/main
项目报告：https://github.com/goldenfox2025/LLM_infer/blob/main/readme.md

[Shl1015CS]

项目地址：https://github.com/Shl1015CS/learning-lm-rs/tree/final
项目报告：https://github.com/Shl1015CS/learning-lm-rs/blob/final/model_architecture.md

[Simon25772]

后端：https://github.com/Simon25772/learning-lm-rs
前端：https://github.com/Simon25772/llm-ui-vue2-app
报告：https://docs.qq.com/pdf/DZGxkY1BCV1NzQUZt

[Bakameow]

项目：https://github.com/Bakameow/learning-lm-rs
报告：https://github.com/Bakameow/learning-lm-rs/blob/main/report.md

[LT2120]

项目地址：https://github.com/LT2120/learning-lm-rs
项目报告：https://github.com/LT2120/learning-lm-rs/blob/main/Rust-LLM.pdf

[Red-Sa1t]

后端地址：[https://github.com/Red-Sa1t/AiChatBackEnd](url)
前端地址：[https://github.com/Red-Sa1t/AiChatFrontEnd](url)
项目报告：https://github.com/Red-Sa1t/AiChatBackEnd/blob/main/%E5%A4%A7%E6%A8%A1%E5%9E%8B%E6%8E%A8%E7%90%86%E7%B3%BB%E7%BB%9F%E9%A1%B9%E7%9B%AE%E6%8A%A5%E5%91%8A.pdf

[ulrica66666]

项目地址：https://github.com/ulrica66666/learning-lm-rs
项目报告：https://github.com/ulrica66666/learning-lm-rs/blob/main/%E5%A4%A7%E6%A8%A1%E5%9E%8B%E6%8E%A8%E7%90%86%E7%B3%BB%E7%BB%9F%E6%8A%A5%E5%91%8A.pdf

[shengdaozm]

项目地址:https://github.com/shengdaozm/learning-lm-rs.git
项目报告:https://github.com/shengdaozm/learning-lm-rs/blob/main/report/report.md

[MarkMrLi]

项目地址：https://github.com/MarkMrLi/learning-lm-rs
报告.pdf

[pitayaya]

项目地址：https://github.com/pitayaya/learning-lm-rs
项目报告：https://github.com/pitayaya/learning-lm-rs/blob/main/report.pdf

[Betelgeu]

项目地址: https://github.com/Betelgeu/learning-lm-rs
项目报告: https://github.com/Betelgeu/learning-lm-rs/blob/main/report.md

[zlhbest]

项目地址：https://github.com/zlhbest/learning-lm-rs
项目报告：https://github.com/zlhbest/learning-lm-rs/blob/main/report.md

[Gfreely]

项目地址：https://github.com/[Gfreely/learning-lm-rs](https://github.com/Gfreely/learning-lm-rs)
项目报告：https://github.com/Gfreely/learning-lm-rs/blob/main/Report.md

[T4t4KAU]

项目地址：https://github.com/T4t4KAU/learning-lm-rs/
项目报告：https://github.com/T4t4KAU/learning-lm-rs/blob/main/%E7%AE%80%E5%8D%95%E5%A4%A7%E6%A8%A1%E5%9E%8B%E6%8E%A8%E7%90%86%E7%B3%BB%E7%BB%9F%E5%AE%9E%E7%8E%B0.pdf

[mxCynic]

后端地址：https://github.com/mxCynic/learning-lm-rs
前端地址：https://github.com/mxCynic/learning-lm-rs-frontend
项目报告：https://github.com/mxCynic/learning-lm-rs/blob/main/README.md

[hustcsc]

项目地址：https://github.com/hustcsc/learning-lm-rs
项目报告：https://github.com/hustcsc/learning-lm-rs/blob/main/LLM.pdf

[jane017]

项目报告：https://github.com/jane017/learning-lm-rs/blob/main/%E9%A1%B9%E7%9B%AE%E6%8A%A5%E5%91%8A.md
项目地址：https://github.com/jane017/learning-lm-rs/tree/main/src

[marrgieD]

项目报告：https://github.com/marrgieD/llm-inference-rust/blob/main/report.md
项目地址：https://github.com/marrgieD/llm-inference-rust

[writingdoge]

项目地址：https://github.com/writingdoge/learning-lm-rs
项目报告：https://github.com/writingdoge/learning-lm-rs/blob/master/report.md

[Kimsale]

项目地址：https://github.com/Kimsale/learning-lm-rs
项目报告：https://github.com/Kimsale/learning-lm-rs/blob/main/项目报告.pdf

[LogicalMonster]

项目地址：https://github.com/LogicalMonster/learning-lm-rs
项目报告：https://github.com/LogicalMonster/learning-lm-rs/blob/main/report.md

[weijia99]

项目地址：https://github.com/weijia99/learning-lm-rs
项目报告：https://github.com/weijia99/learning-lm-rs/blob/main/src/%E5%9F%BA%E4%BA%8Erust%E7%9A%84%E5%A4%A7%E6%A8%A1%E5%9E%8B%E7%9A%84%E6%8E%A8%E7%90%86%E7%B3%BB%E7%BB%9F.pdf

[weierkeji]

项目地址：https://github.com/weierkeji/InfiniTensor
项目报告：https://github.com/weierkeji/InfiniTensor/blob/main/%E9%A1%B9%E7%9B%AE%E6%8A%A5%E5%91%8A.pdf

[weierkeji]

原始版本：https://github.com/weierkeji/InfiniTensor/tree/main/learning-lm-rs-original
优化：（混合精度推理+适配Nvidia加速软件栈后端）：https://github.com/weierkeji/InfiniTensor/tree/main/learning-lm-rs-final

[Littlew0od]

项目地址：https://github.com/Littlew0od/learning-lm-rs
混合精度运算：https://github.com/Littlew0od/learning-lm-rs/tree/fp16
项目报告：https://github.com/Littlew0od/learning-lm-rs/blob/main/report.md