https://wu-kan.cn/2025/03/03/%E6%B5%85%E8%AF%BBDeepGEMM/

[giscus[bot]]

https://wu-kan.cn/2025/03/03/%E6%B5%85%E8%AF%BBDeepGEMM/

五年前我曾经尝试过 Volta 上的 GEMM，能够接近当时 CUTLASS 的水平，可惜其可读性一直没达到能让自己满意的水平。拜读一下 DeepGEMM，一句话评价：比 CUTLASS 简洁、好上手（CUTLASS 为了兼容各种 Shape 和 Case 做了过于多的抽象，难以读懂的同时算法上束手束脚，DeepGEMM 只针对自己用的Contiguous Layout），很适合阅读。比较佩服的一点是 DS 能够自信自己的工程师技术水平优于 NV CUTLASS 团队的水平，敢于开启这个项目：从代码规模来看，整个项目很可能是单挑的（一个精巧的代码设计需要一个自上到下对算法细节全部精通的工程师），给我几个月不一定能写出来（写一个代码结构差不多的有可能，Debug 多久就要看命了）…

https://wu-kan.cn/2025/03/03/%E6%B5%85%E8%AF%BBDeepGEMM/

[tengyangzh]

后缀 RS 和 SS 分别表示 A 和 B 在 RMEM 还是 SMEM。R 表示 RMEM，S 表示 SMEM。由于 B 必须存放在 SMEM，因此第二个字母总是 S。
by https://zhuanlan.zhihu.com/p/28622739849