开放选题：InfinILM 重构反量化推理

[YdrMaster]

InfiniLM 目前在 llama-cpu 中支持反量化推理。即加载 gguf 量化模型，使用每个参数矩阵前对参数反量化再参与计算。目前反量化的实现不够通用，因此需要重构。

llama 推理中只有线性层参数需要量化，因此重构方案是修改算子库-矩阵乘。将反量化矩阵乘视作混合精度矩阵乘，使用 workspace 存储反量化参数。矩阵乘的 3 个参数中，允许 a 和 b 是任意的量化类型，反量化到 c 的数据类型进行计算。

• 项目导师：pwh（当前版本反量化推理作者）；
• 项目目标
  • 基本条件：重构 llama-cpu，支持 q8_0 量化类型（说人话）；
  • 目标 1：支持至少 5 个量化类型；
  • 目标 2：支持 llama-nv 反量化推理；
  • 目标 3：支持 llama-cl 反量化推理；
  • 目标 4：支持 gpt2-cpu 反量化推理；
  • 目标 5：为 llama-nv 适配天数；
  • 目标 6：使用 SIMD 或其他手段优化 cpu 反量化推理，使性能提升至少 50%；
• 评分标准

  组队人数	通过标准	优秀标准
  1	至少完成 1 个目标	至少完成 3 个目标，或其他贡献
  2	至少完成 3 个目标	至少完成 5 个目标，或其他贡献