Skip to content

Conversation

@CFXTGJD
Copy link

@CFXTGJD CFXTGJD commented Dec 3, 2025

描述 (Description)

本次 PR 实现了 MROPE (Multimodal Rotary Positional Embedding) 算子。
主要改动包括:

  1. ggml_backend_cann_supports_op 中放开了对 MROPE 模式下 ext_factor、部分旋转及非连续内存输入的限制。
  2. 新增 aclnn_compute_mrope_tables_host 实现 Host 端混合维度表计算。
  3. 优化了 Tensor 广播机制以减少显存占用。

相关问题/功能: #【#13

测试 (Testing)

编译并运行测试:
cmake --build . --config Release -j
./bin/test-backend-ops test -b CANN0 -o ROPE
所有mode=8的测试结果均为OK

备注 (Notes)

@hipudding @noemotiovon

@AIogry
Copy link

AIogry commented Dec 4, 2025

测试结果 (Testing Results)
已通过所有mode=8 (MROPE) 的测试
test-figure1
test-figure2
test-figure3

@noemotiovon
Copy link
Owner

LGTM,MROPE上游社区已经实现啦,可以对比一下上游社区的实现,如果有更好的处理,也可以给给上游社区提PR优化:这个是当前社区的MROPE实现:ggml-org#17401

Sign up for free to join this conversation on GitHub. Already have an account? Sign in to comment

Labels

None yet

Projects

None yet

Development

Successfully merging this pull request may close these issues.

3 participants