张量程序抽象有助于单一算子的聚焦，那对于全局的模型算子图来说这样的优化是最优吗？ #60
-
|
通过张量程序抽象，再逐个对每个算子进行针对性地张量函数优化，这一做法让我觉得更像是对一个复杂全局优化问题的简化，将一个问题以一种贪心的思想进行优化。 |
Beta Was this translation helpful? Give feedback.
Replies: 1 comment 3 replies
-
|
很好的问题，如果每个算子的优化都是独立的话，那么每个算子调到最优就是全局最优解。 图层面的优化更加复杂，一方面需要考虑算子融合和各种子图变换，另一方面我们可能会对每个算子的输入输出做格式转化（例如array packing，NCHW <-> NHWC），这两者都必须考虑全局的信息。这也是为什么需要Relax这个层级的抽象。 |
Beta Was this translation helpful? Give feedback.
-
|
谢谢解答！由于我目前才看到第二节课，很多东西特别是图优化的内容可能还不太了解，不过我还是有所疑惑。按您说的，所以图优化是先于算子优化的，我认为这其实也是一个贪心，贪心的最优性证明需要符合最优子结构和贪心选择性，这能被证明吗？ |
Beta Was this translation helpful? Give feedback.
-
|
google有做过算子级和图层面联合优化的工作：https://mangpo.net/papers/xla-autotuning-pact2021.pdf
图优化不一定要先于算子优化，可能是一个迭代优化的过程 图优化->算子优化->图优化->算子优化 etc
如果对输入输出做格式转换那么就有影响（因为格式转换本身也是一个算子） |
Beta Was this translation helpful? Give feedback.
-
|
了解了了解了，感谢！ |
Beta Was this translation helpful? Give feedback.
很好的问题，如果每个算子的优化都是独立的话，那么每个算子调到最优就是全局最优解。
图层面的优化更加复杂，一方面需要考虑算子融合和各种子图变换，另一方面我们可能会对每个算子的输入输出做格式转化（例如array packing，NCHW <-> NHWC），这两者都必须考虑全局的信息。这也是为什么需要Relax这个层级的抽象。