为什么TVM是一个单独的组件？

[hbsun2113]

我理解TVM所做的优化其实也可以由现有的机器学习框架来完成(e.g. Tensorflow, Pytorch..)，比如可以通过开放更多和TVM类似API的形式(e.g. 也提供reorder, parallel...)。请问为什么要单独建立一个框架来单独做优化这件事情？TVM有哪些优势是现有框架无法做到的？

[yzh119]

PyTorch的算子都是手写（C++/CUDA）或者第三方库（cublas/cutlass/cudnn）完成，并没有算子级别的IR以及相应的变换抽象（reorder/vectorize/...），因此无法开放相关的API。

[yzh119]

TVM的优势：

1. 允许用户自定义torch/tensorflow中不存在的算子并生成高效实现。
2. 使用自动调度器，平台相关的（arm/AMD GPU/NVIDIA GPU/intel cpu）性能调优。
3. 对于部署，生成最小化的库，而不是需要依赖一个庞大的第三方库（例如cudnn）
4. 可以做计算图层面的优化（算子融合等等），可以接受tf/pytorch导出的模型并做相应的计算图和算子调优，提高模型的推理性能（TensorRT等框架也可以做到相关事情）。

[hbsun2113]

谢谢解答！我之前理解TVM是对Tensorflow/Pytorch的补充(e.g. plugin)，现在看来这不准确，应该是和Tensorflow/Pytorch相同的定位，都是做框架，但TVM具备自己的独特优势。

[yzh119]

TVM的定位更底层一点：一套在各个平台上自动化部署和性能调优的编译器栈，并不是框架。

Tensorflow/PyTorch这些框架定位更倾向于在常用平台上训练/部署神经网络，其中的分布式训练和自动求导模块是TVM不具备的。TVM可以用于替换Tensorflow/PyTorch这些框架的手写算子，raf是一个基于TVM的深度学习框架。