why launch 3 kernels for prefill stage?

[sleepwalker2017]

从代码看，invokeProcessKV_v2_ 这个 kernel 做了 Rope 和量化相关的事情。
而 invokeFlattenKV_v2_ 似乎仅仅是 Rope 相关的。
dispatchAttention 是 Attention 相关的操作。

疑惑：

1. 前面两个 kernel 的作用描述正确吗？是否有重合？
2. 为什么这些操作没有融合进 Attention 呢？

谢谢！

补充：
第一个 kernel： 从连续内存加载 -> 预处理 -> 写入 page
第二个 kernel： 从 page 加载 -> 写入连续内存？

    if (pf_batch_size) {
        const int offset    = dc_batch_size;
        const int sum_k_len = h_cu_k_len[offset + pf_batch_size] - h_cu_k_len[offset];
        // We are executing prefill & decoding kernels concurrently, but only have 1 workspace
        // disable split kv for prefill for now
        auto params = CreateParams(offset, pf_batch_size, 1, pf_stream);
        if constexpr (sizeof(T) == 2) {
            invokeProcessKV_v2_(params);
            sync_check_cuda_error();

            /// TODO: skip flattening for `sm_80`
            invokeFlattenKV_v2_(params, sum_k_len);
            sync_check_cuda_error();

            dispatchAttention(params);
            sync_check_cuda_error();
        }
    }

[lzhangzz]

1. 基本都对
2. 这些操作不适合跟 attention，attention 的内层循环非常 dense，fuse 其它操作容易变慢

[sleepwalker2017]

感谢，内层的 dense 是指乘累加操作吗？看起来量化和 Rope 也是类似的乘法和加法运算啊