Semantic VQ + Diffusion Decoder重构问题

[synbol]

我现在将图片经过Semantic VQ的离散化，模拟LLM的生成token，在经过Diffusion Decoder的解码，想请教下是出了什么问题呢？

[minkowski0125]

我现在将图片经过Semantic VQ的离散化，模拟LLM的生成token，在经过Diffusion Decoder的解码，想请教下是出了什么问题呢？

semantic-VQ的压缩倍数为16但Diffusion decoder的解码倍数为32，如果需要等分辨率编解码，需要先将图片降2倍分辨率，不然高分辨率图像的分辨率/token数可能不在decoder适应范围内。
同时，需要保证输入原始图片的长宽分别整除32

[ChinChyi]

@minkowski0125 我这里有个疑问，我发现在我输入图片进行语义信息的编码和离散的过程中，我1024分辨率的图片，编码后变成了1024个token，这个按16倍下采样不应该是4096个token吗，这个是在image process的时候，已经把图片下采样了2倍吗

[minkowski0125]

@minkowski0125 我这里有个疑问，我发现在我输入图片进行语义信息的编码和离散的过程中，我1024分辨率的图片，编码后变成了1024个token，这个按16倍下采样不应该是4096个token吗，这个是在image process的时候，已经把图片下采样了2倍吗

是的

[ChinChyi]

@minkowski0125 想问一下，这里放缩两倍的代码在哪里呀，我在transformers库里没找到

[ChinChyi]

@minkowski0125 大佬，按照你的提示，我们做了512分辨率的重建，发现效果还是很差，请问这个还有别的点需要注意吗