parallel/unroll/vectorize的区别？

[hbsun2113]

我不确定是否是自己遗漏了，虽然在课程或者作业中频繁提到这3个操作parallel/unroll/vectorize，但我没有找到对其的解释和区分(e.g. 使用场景)。在TVM文档中也没有找到解释。请问可以帮忙分辨这三者之间的不同吗？

我自己粗浅的理解:

1. parallel是同时执行多条语句。
2. vectorize是SIMD，即使用一条指令操纵多条数据。
3. unroll是循环展开，减少了循环中的分支判断开销。同时也属于增加并行度的一种方法？

[Hzfengsy]

1. Parallel相当于把循环底下的执行部分做成了一个线程，提供线程级并行
2. vectorize是SIMD没错
3. unroll是循环展开（传统编译器常见优化），但不会增加并行度

[yzh119]

@hbsun2113 关于问题三，“并行度”这个词并没有一个准确的定义，如果你指的是IPC(Instruction Per Cycle)，那么你是对的，loop unroll是经典的提高IPC的方法之一。

[hbsun2113]

请问unroll是通过什么方式增加IPC的？是因为减少了分支判断的开销还是因为消除了语句之间的顺序关系？

[hbsun2113]

unroll 用于将循环展开，即如果循环次数是可以在编译时确定的话，编译器将会把带有判断和跳转的循环代码展开成串行代码。这样做的好处主要是减少了判断语句，此外还有利于编译器发现数据依赖从而更好地分配寄存器。缺点是可能会增加寄存器的使用，有潜在的降低GPU占用率的风险。
link

[yzh119]

sorry 之前没有看到你的问题，你贴的这段话基本上是正确的。
在你看的这个例子中，#pragma unroll提示编译器去展开一个循环，其中unroll factor是由nvcc决定的，在tvm中执行unroll循环会显式完全展开。

[hbsun2113]

补充一点，我发现parallel、unroll、vectorize的顺序一般是固定的（逐级包含：parallel最外层，unroll在中间、vectorize最内层），我猜测是因为它们粒度逐渐变小：parallel(线程级)、unroll(语句级)、vectorize(指令级)。

[hbsun2113]

@Hzfengsy @yzh119 我对这类优化知识缺乏，请问有推荐的学习资料吗？

[yzh119]

CAAQA(Computer Architecture: A Quantative Approach)的第3.2节