中间变量Y是否有必要

[hbsun2113]

这里定义了中间变量Y，请问这是必要的操作吗？为什么不可以直接向C中写入数据，而需要Y作为中转？

[L0phTg]

Y存放的是A和B做矩阵乘法后得到的张量

[DongqiShen]

为啥不直接把计算结果放在C里面

[Hzfengsy]

感谢提问，这是一个很好的问题，我来做几点补充：

1. 是否使用Y中转都是合法程序，运行结果正确；
2. 使用Y中转的程序可以通过变换将C[vi,vi]=T.max(Y[vi,vj], 0) compute_at到循环i底下，从而减少Y的使用空间，与直接写入C基本等价；
3. 针对CPU而言，直接写入C是最优解（也可以通过2中描述的方法变换得到），但针对其他硬件（比如GPU TensorCore），直接写入C较为困难；
4. 综上，在定义算子的时候使用Y中转可以应用于更多的后端设备，应用在CPU上也可以通过变换来减少内存消耗。

[hbsun2113]

请问第三点中“直接写入C较为困难"是什么原因？可否说明写入Y和写入C的区别？

[Hzfengsy]

在一些加速器上，不同的计算单元有不同的储存单元，但这些计算单元往往不是图灵完备的。以Tensor Core wmma指令为例，执行Y[i, j] += A[i, k] * B[j, k]可以执行在TensorCore上，但是Tensor Core并不支持加法和其他操作，即无法完成Y[i, j] = max(Y[i, j], 0)。
对应的做法是需要把Y的数据拷贝到传统CUDA单元寄存器上，再进行计算，即C[i, j] = max(Y[i, j], 0)（其中implicit会将Y[i, j]进行拷贝）

[hbsun2113]

感谢！我总结下：对于A[i, k] * B[j, k]可以使用Tensor Core进行加速，所以优先放到Y上。

[yzh119]

@hbsun2113 这是一类很典型的优化技巧叫做parallel associative reduction，可以参考这篇论文https://andrew.adams.pub/par.pdf