【新算子】- cholesky 算子开发

[PetrelYy]

开发计划可参考以下节点：

1. 方案撰写，xx.xx~xx.xx
2. 开发自测，xx.xx~xx.xx
3. 提出 PR/MR，xx.xx~xx.xx
4. review（ 3个赞），xx.xx~xx.xx
5. maintainer 合入

[dglr]

当前进度：完成float类型多batch计算，运行时间达到v100的10倍以内，性能如下

[PetrelYy]

PR 一起贴出来吧

[dglr]

pr链接：#1018

[dglr]

设计文档已完成

[dglr]

已完成complex类型batch=1时的cholesky分解，并在pr中更新了commit

[dglr]

当前complex类型的cholesky分解正确性还没有完全稳定，矩阵规模较大时有概率正确性无法通过。
当前测试性能如下：

[PetrelYy]

已安排寒武纪同学review 文档

@dglr 更新下进展把：预计开发&自测完成时间

[dglr]

目前已完成complex类型batch=1情况的开发，正在优化性能中，预计6.17前优化完毕性能，然后开始编写多batch情况，预计6.24前完成多batch情况的编写及优化。之后7.1之前完成自测

[dglr]

上次开会后增加了pytorch中cholesky分解作为时间对比，当前运行时间对比如下，单位为微秒：

上述规模中128 * 128和3000 * 3000是任务书中要求的规模。
当前性能瓶颈在矩阵乘法中。以3072 * 3072规模为例，对其进行性能分析，结果如下：

图中红框中为调用底层的矩阵乘法，且由于没有cgemm的底层实现，当前cgemm是由4个sgemm拼接而成。
可以看到矩阵乘法的时间占比总和已经达到了70%，矩阵乘法所占用时间超过了5300微秒，已经超过了cusolver和pytorch运行时间的10倍。

[dglr]

本周完成了多batch下矩阵分解代码编写完成，现在基本调通，有些规模还有bug。

[dglr]

本周完成了多batch下complex float类型的矩阵分解进行性能调优，下图为运行时间对比。

上图中batch数为32，规模为128时瓶颈在矩阵乘法中。对其进行性能分析，结果如下图所示：

图中红框中为调用底层的矩阵乘法，且由于没有cgemm的底层实现，当前cgemm是由4个sgemm拼接而成。可以看到矩阵乘法的时间占比总和已经达到了60%，矩阵乘法所占用时间超过了2000微秒，已经超过了cusolver和pytorch运行时间的10倍。

[dglr]

cholesky算子在测试时发现精度问题。cholesky分解算子在运算过程中会涉及到开方、除法以及大量的累积乘加运算，就结果来看最终的输出结果精度不甚理想。
这里测试的计算流程为：生成随机数->将随机数的上三角部分置为0，使得矩阵变成下三角矩阵->矩阵和自身的转置相乘，保证结果可以被cholesky分解->将结果传递给设备计算。
在输入矩阵规模为batch=1，边长为32的情况下，mlu上计算出的误差结果为（相比于理论上正确的结果）：

相同的输入在pytorch 2.3.1+cu121版本中计算，误差结果为：

这个误差会随着规模的扩大而迅速增加。
当输入规模扩大到64时mlu上的计算出现nan，而pytorch中报错：

所以目前的结论是有些理论上可以被cholesky分解的矩阵在实际计算中因为精度的问题无法被分解