llama.cpp需求

[noemotiovon]

• ROPE算子：MROPE模式支持
• ROPE算子：VISION模式支持
• ROPE算子：支持部分headSize旋转（n_dims <= src0->ne0）
• CONV_TRANSPOSE_1D算子：支持 (op->src[0]->ne[0] - 1) > 255 场景
• OUT_PROD算子：新算子支持
• GATED_LINEAR_ATTN算子：新算子支持
• L2_NORM算子：新算子支持
• CROSS_ENTROPY_LOSS算子：新算子支持
• RWKV_WKV6算子：新算子支持
• RWKV_WKV7算子：新算子支持
• SSM_CONV算子：新算子支持
• SSM_SCAN算子：新算子支持
• 重构：acl graph中，将图命中的校验沉淀至lru cache中
• 针对某些特殊模型，支持使用aclnnRopeWithSinCosCache融合算子（工作量较大）
• 优化set_device
• 新增量化方法支持Q4_1，Q8_1，QK_M
• 重构：所有调用aclnn的方法，全部提供静态方法和注释进行封装，并替换之前的使用
• 优化图顺序，多流并行 vulkan: sort graph to allow more parallel execution ggml-org/llama.cpp#15850
• 优化mul_mat_id量化，参考非量化版本，剔除device_to_host的copy动作
• llama-parallel 精度问题Bug修复
• FA 算子新增测试用例精度问题修复
• MUL_MAT算子新增测试用例精度问题修复

[noemotiovon]

ROPE算子：MROPE模式支持

验收条件：

1. 移除下面的判断条件

        case GGML_OP_ROPE: {
            // TODO: with ops-test v == 1
            // TODO: n_dims <= ne0
            if (op->src[0]->ne[0] != op->op_params[1]) {
                return false;
            }

            const int mode = ((const int32_t *) op->op_params)[2];
            if (mode & GGML_ROPE_TYPE_MROPE) {
                return false;
            }
            if (mode & GGML_ROPE_TYPE_VISION) {
                return false;
            }
#ifdef ASCEND_310P
            if(!ggml_is_contiguous(op->src[0])){
                return false;
            }
#endif
            return true;
        }

2. 确保所有的测试用例都通过

./bin/test-backend-ops test -b CANN0 -o ROPE

[noemotiovon]

ROPE算子：VISION模式支持

验收条件：

1. 移除下面的判断条件

        case GGML_OP_ROPE: {
            // TODO: with ops-test v == 1
            // TODO: n_dims <= ne0
            if (op->src[0]->ne[0] != op->op_params[1]) {
                return false;
            }

            const int mode = ((const int32_t *) op->op_params)[2];
            if (mode & GGML_ROPE_TYPE_MROPE) {
                return false;
            }
            if (mode & GGML_ROPE_TYPE_VISION) {
                return false;
            }
#ifdef ASCEND_310P
            if(!ggml_is_contiguous(op->src[0])){
                return false;
            }
#endif
            return true;
        }

2. 确保所有的测试用例都通过

./bin/test-backend-ops test -b CANN0 -o ROPE

[noemotiovon]

ROPE算子：支持部分headSize旋转（n_dims <= src0->ne0）

验收条件：

1. 移除下面的判断条件

        case GGML_OP_ROPE: {
            // TODO: with ops-test v == 1
            // TODO: n_dims <= ne0
            if (op->src[0]->ne[0] != op->op_params[1]) {
                return false;
            }

            const int mode = ((const int32_t *) op->op_params)[2];
            if (mode & GGML_ROPE_TYPE_MROPE) {
                return false;
            }
            if (mode & GGML_ROPE_TYPE_VISION) {
                return false;
            }
#ifdef ASCEND_310P
            if(!ggml_is_contiguous(op->src[0])){
                return false;
            }
#endif
            return true;
        }

2. 确保所有的测试用例都通过

./bin/test-backend-ops test -b CANN0 -o ROPE

[noemotiovon]

CONV_TRANSPOSE_1D算子：支持 (op->src[0]->ne[0] - 1) > 255 场景

验收条件：

1. 移除下面的判断条件

        case GGML_OP_CONV_TRANSPOSE_1D:
            // TODO: ((weightL - 1) * dilationW - padLeft)=1336 should not be larger than 255.
            return (op->src[0]->ne[0] - 1) <= 255;

2. 确保所有的测试用例都通过

./bin/test-backend-ops test -b CANN0 -o CONV_TRANSPOSE_1D

[noemotiovon]

OUT_PROD算子：新算子支持

验收条件：

1. 在ggml_backend_cann_supports_op中注册GGML_OP_OUT_PROD，

        case GGML_OP_OUT_PROD:
            return true;

2. 确保所有的测试用例都通过

./bin/test-backend-ops test -b CANN0 -o OUT_PROD

[noemotiovon]

GATED_LINEAR_ATTN算子：新算子支持

验收条件：

1. 在ggml_backend_cann_supports_op中注册GGML_OP_GATED_LINEAR_ATTN，

        case GGML_OP_GATED_LINEAR_ATTN:
            return true;

2. 确保所有的测试用例都通过

./bin/test-backend-ops test -b CANN0 -o GATED_LINEAR_ATTN

[noemotiovon]

L2_NORM算子：新算子支持

验收条件：

1. 在ggml_backend_cann_supports_op中注册GGML_OP_L2_NORM，

        case GGML_OP_L2_NORM:
            return true;

2. 确保所有的测试用例都通过

./bin/test-backend-ops test -b CANN0 -o L2_NORM

[noemotiovon]

CROSS_ENTROPY_LOSS算子：新算子支持

验收条件：

1. 在ggml_backend_cann_supports_op中注册GGML_OP_CROSS_ENTROPY_LOSS，

        case GGML_OP_CROSS_ENTROPY_LOSS:
            return true;

2. 确保所有的测试用例都通过

./bin/test-backend-ops test -b CANN0 -o CROSS_ENTROPY_LOSS

[noemotiovon]

RWKV_WKV6算子：新算子支持

验收条件：

1. 在ggml_backend_cann_supports_op中注册GGML_OP_RWKV_WKV6，

        case GGML_OP_RWKV_WKV6:
            return true;

2. 确保所有的测试用例都通过

./bin/test-backend-ops test -b CANN0 -o RWKV_WKV6

[noemotiovon]

RWKV_WKV7算子：新算子支持

验收条件：

1. 在ggml_backend_cann_supports_op中注册GGML_OP_RWKV_WKV7，

        case GGML_OP_RWKV_WKV6:
            return true;

2. 确保所有的测试用例都通过

./bin/test-backend-ops test -b CANN0 -o RWKV_WKV7

[noemotiovon]

SSM_CONV算子：新算子支持

验收条件：

1. 在ggml_backend_cann_supports_op中注册GGML_OP_SSM_CONV，

        case GGML_OP_SSM_CONV:
            return true;

2. 确保所有的测试用例都通过

./bin/test-backend-ops test -b CANN0 -o SSM_CONV

[noemotiovon]

SSM_SCAN算子：新算子支持

验收条件：

1. 在ggml_backend_cann_supports_op中注册GGML_OP_SSM_SCAN，

        case GGML_OP_SSM_SCAN:
            return true;

2. 确保所有的测试用例都通过

./bin/test-backend-ops test -b CANN0 -o SSM_SCAN

[noemotiovon]

重构：acl graph中，将图命中的校验沉淀至lru cache中

验收条件：
在 acl graph 模型推理正常，无精度问题。

./bin/llama-cli -m path_to_model -p "Building a website can be done in 10 steps:" -ngl 32

[noemotiovon]

针对某些特殊模型，支持使用aclnnRopeWithSinCosCache融合算子（工作量较大）

拆分为两个部分：

1. 对于GGML_OP_ROPE，使用aclnnRopeWithSinCosCache代替之前的实现。之前的ROPE不要删，这个可以很对Qwen2.5-0.5B来做。
2. 当前是在q,k上分别调用了GGML_OP_ROPE算子，使用融合算子，来代替之前的两次调用。

验收条件：

1. 确保所有的测试用例都通过，且模型推理正常，无精度问题。

./bin/test-backend-ops test -b CANN0 -o ROPE
./bin/llama-cli -m path_to_model -p "Building a website can be done in 10 steps:" -ngl 32

2. 确保所有的测试用例都通过，且模型推理正常，无精度问题。

./bin/test-backend-ops test -b CANN0 -o ROPE
./bin/llama-cli -m path_to_model -p "Building a website can be done in 10 steps:" -ngl 32

参考资料：
算子融合方法：

• vulkan: Add fusion support for RMS_NORM+MUL ggml-org/llama.cpp#14366
• metal : fuse add, mul ggml-org/llama.cpp#14596
• CUDA: add fused rms norm ggml-org/llama.cpp#14800
• cuda : add softcap fusion ggml-org/llama.cpp#14907

[noemotiovon]

重构：所有调用aclnn的方法，全部提供静态方法和注释进行封装，并替换之前的使用

验收条件：
确保所有的运算符测试用例都通过，且模型推理正常，无精度问题。

./bin/test-backend-ops test -b CANN0
./bin/llama-cli -m path_to_model -p "Building a website can be done in 10 steps:" -ngl 32