开放选题：InfiniLM 适配模型/后端

[YdrMaster]

InfiniLM 现有以下模型和后端支持：

• llama
  • cpu
  • nv
  • infini
  • cl
• gpt2
  • cpu

本项目要求为 InfiniLM 测试、添加和适配更多模型。大致流程是：

1. 获取模型，可浏览 huggingface/github 或通过任何渠道；
2. 使用 llama.cpp/convert_hf_to_gguf.py 或其他方式将模型转换为 gguf 格式；
3. 在 InfiniLM 中跑通（说人话）；

• 项目导师：ztf（gpt2 适配者）；

• 项目目标：

  • 测试现有模型是否可支持；
  • 如果模型不能直接支持，尝试转换模型参数到现有模型；
  • 如果模型结构与任何现有模型不能兼容，则实现新的模型；
  • 为模型添加新的后端 crate 以支持更多加速硬件；

  NOTICE 对于不可直接支持的模型，要怎么操作需要与项目导师沟通确定。

• 评分标准
  本项目采用积分制。每个测试的新模型，需要提交转换模型为 gguf 的文档；

  • 不需要修改即可直接支持的模型，每份文档积 1 分；
  • 转换模型后可推理的，在 gguf-utils 中实现转换逻辑，每种转换逻辑根据难度积 3~6 分；
  • 实现新的模型（同时需要实现 cpu 后端），根据模型结构难度，每个模型积 10~20 分；
  • 为已有 cpu 后端的模型添加新的后端，每个积 3~6 分；

  NOTICE 积分累计。例如，添加一个与 llama 有相似性但无法兼容（低难度）的模型及 cpu 后端，同时提交 模型 gguf 转换方法，可积分 10+1=11 分。

  NOTICE 分值评价由导师及 InfiniLM 团队讨论决定，可提前与导师确认。

  组队人数	通过标准	优秀标准
  1	12	18
  2	18	24
  3	24	32