为什么训练和推理是按照33=4*8 +1来处理的

[liwang0621]

训练的时候是按照33一个window来进行vea encode，这样带来的问题就是long history中的latent在时序上是按照1+48｜1+48这样的latent进行拼接处理的，这里跟vae的因果性其实是不一样的，虽然跟推理是完全对齐的
想问一下大佬为什么这样设计，有没有尝试过，只有第一个chunk 的latent是1+4 n这样的latent，后面的latent都是4n这样的latent，这样拼接在history当中，这样history只会对空间进行不同的压缩，vae的时许因果性可能还在

[SHYuanBest]

@liwang0621 感谢关注！

1. 对于第一个问题：训练和推理一致性问题 #14
2. 对于第二个问题，只有第一个chunk 的latent是1+4 n这样的latent，后面的latent都是4n这样的latent这种设计和各种forcing一样，我们实际跑下来发现会有非常严重的跳变现象，如下（我按照24fps播放，所以看着可能有点快，官方fps是16）。

CausVid (大概第3s的时候第一次出现)

3_1440_ori1440.mp4

LongSANA (大概第1s的时候第一次出现)

5_240_ori241.mp4

[liwang0621]

@liwang0621 感谢关注！

1. 对于第一个问题：训练和推理一致性问题 #14
2. 对于第二个问题，只有第一个chunk 的latent是1+4 n这样的latent，后面的latent都是4n这样的latent这种设计和各种forcing一样，我们实际跑下来发现会有非常严重的跳变现象，如下（我按照24fps播放，所以看着可能有点快，官方fps是16）。

CausVid (大概第3s的时候第一次出现)

3_1440_ori1440.mp4

LongSANA (大概第1s的时候第一次出现)

5_240_ori241.mp4

大佬有分析过原因吗，会不会是因为每个chunk输出的4n这样的latent在分布上有差别，均值方差啥的

[SHYuanBest]

大概率是分布差异的原因。因为现在基于Causal VAE的基模比如Wan、Hunyuan Video、LTX Video等，他们在pre-train、mid-train、post-train阶段见到的都只有1+4n一个空间，如果强行把他拉到一个同时含有1+4n和4n的空间，大概率会拉低性能上限。