视觉embed与官网结果不一致

[jianbaba]

大佬，我用相同的pixel_values输入分别在官网和您的代码中测试，发现vision_hidden_states结果相差很大。这个您这边有遇到过吗？方便看下吗？
vision_hidden_states = self.qwenvl.visual.patch_embed.proj(pixel_values.to(dtype=self.qwenvl.visual.patch_embed.proj.weight.dtype)).view(1, -1, self.qwenvl.visual.patch_embed.embed_dim)

[DakeQQ]

我也不清楚呢，self.qwenvl.visual.patch_embed.proj的权重都是Qwen2_5_VLForConditionalGeneration.from_pretrained()加载的。除了命名方式之外，这段代码跟原码没区别。

# 原码：
class Qwen2_5_VisionPatchEmbed(nn.Module):
    def __init__(
        self,
        patch_size: int = 14,
        temporal_patch_size: int = 2,
        in_channels: int = 3,
        embed_dim: int = 1152,
    ) -> None:
        super().__init__()
        self.patch_size = patch_size
        self.temporal_patch_size = temporal_patch_size
        self.in_channels = in_channels
        self.embed_dim = embed_dim

        kernel_size = [temporal_patch_size, patch_size, patch_size]
        self.proj = nn.Conv3d(in_channels, embed_dim, kernel_size=kernel_size, stride=kernel_size, bias=False)

    def forward(self, hidden_states: torch.Tensor) -> torch.Tensor:
        target_dtype = self.proj.weight.dtype
        hidden_states = hidden_states.view(
            -1, self.in_channels, self.temporal_patch_size, self.patch_size, self.patch_size
        )
        hidden_states = self.proj(hidden_states.to(dtype=target_dtype)).view(-1, self.embed_dim)
        return hidden_states

[jianbaba]

我也不清楚呢，self.qwenvl.visual.patch_embed.proj的权重都是Qwen2_5_VLForConditionalGeneration.from_pretrained()加载的。除了命名方式之外，这段代码跟原码没区别。

原码：

class Qwen2_5_VisionPatchEmbed(nn.Module):
def init(
self,
patch_size: int = 14,
temporal_patch_size: int = 2,
in_channels: int = 3,
embed_dim: int = 1152,
) -> None:
super().init()
self.patch_size = patch_size
self.temporal_patch_size = temporal_patch_size
self.in_channels = in_channels
self.embed_dim = embed_dim

    kernel_size = [temporal_patch_size, patch_size, patch_size]
    self.proj = nn.Conv3d(in_channels, embed_dim, kernel_size=kernel_size, stride=kernel_size, bias=False)

def forward(self, hidden_states: torch.Tensor) -> torch.Tensor:
    target_dtype = self.proj.weight.dtype
    hidden_states = hidden_states.view(
        -1, self.in_channels, self.temporal_patch_size, self.patch_size, self.patch_size
    )
    hidden_states = self.proj(hidden_states.to(dtype=target_dtype)).view(-1, self.embed_dim)
    return hidden_states

是的，很奇怪，我权重导出来了发现也是一致的，输入数据也是一致的，但就是计算结果hidden_states中的个别数据差异很大，大佬方便试一下吗？7B模型，求求了。

[DakeQQ]

在试了，有进展通知您

[jianbaba]

在试了，有进展通知您

我这边发现了原因，是加载大模型时使用cpu和gpu的结果会导致您的pt和官网的pt的结果有差异，都使用gpu加载，结果就会是一致的了，但是貌似使用您的pt代码，无论是cpu还是gpu加载，最后转成的onnx模型，其图片推理结果与使用您的pt代码（cpu加载）的结果是一致的。所以现在的问题是：不知道怎么样才能得到与用你的pt代码（gpu加载）推理结果一致的onnx模型。

[DakeQQ]

有点拗口令阿...

好的，这段话经过整理和分析后，可以拆解成以下几个重点，让语意更清晰：

目标：
您希望最终产生的ONNX 模型，在进行图片推理时，其结果能与「在GPU 环境下加载的PyTorch (.pt) 模型」所得到的结果完全一致。

目前观察到的现象：

1. **执行环境产生差异：**您发现，同一个.pt 模型，分别在CPU 和GPU 环境下加载运行，会产生不同的推理结果。
2. **以GPU 结果为准：**当您的.pt 模型和官方的.pt 模型都使用GPU 加载时，两者的结果是一致的。这表示「GPU加载的结果」是您期望达成的标准。
3. **ONNX 转换问题：**当您将.pt 模型转换为ONNX 格式时，无论原始的.pt 模型是透过CPU 还是GPU 加载的，最终产生的ONNX 模型，其推理结果始终只跟「在CPU 环境下加载的.pt 模型」结果相同。

核心问题：
综合以上几点，您想问的是：
「应该如何操作，才能成功导出一个ONNX 模型，使其推理结果能够复制『GPU加载.pt 模型』的行为，而不是目前这样总是对应到CPU 的结果？」

这样的表述方式，将您的发现和遇到的困难分点说明，条理会更清楚。

您可以试试把导出代码中所有.half() to.(torch.float16)全部換成float32。但视觉这里的处理本來也全都是float32，不应该是精度造成的问题...我现在也还没有想法是哪里的问题

[jianbaba]

有点拗口令阿...

好的，这段话经过整理和分析后，可以拆解成以下几个重点，让语意更清晰：
目标：
您希望最终产生的ONNX 模型，在进行图片推理时，其结果能与「在GPU 环境下加载的PyTorch (.pt) 模型」所得到的结果完全一致。
目前观察到的现象：

1. **执行环境产生差异：**您发现，同一个.pt 模型，分别在CPU 和GPU 环境下加载运行，会产生不同的推理结果。
2. **以GPU 结果为准：**当您的.pt 模型和官方的.pt 模型都使用GPU 加载时，两者的结果是一致的。这表示「GPU加载的结果」是您期望达成的标准。
3. **ONNX 转换问题：**当您将.pt 模型转换为ONNX 格式时，无论原始的.pt 模型是透过CPU 还是GPU 加载的，最终产生的ONNX 模型，其推理结果始终只跟「在CPU 环境下加载的.pt 模型」结果相同。

核心问题：
综合以上几点，您想问的是：
「应该如何操作，才能成功导出一个ONNX 模型，使其推理结果能够复制『GPU加载.pt 模型』的行为，而不是目前这样总是对应到CPU 的结果？」
这样的表述方式，将您的发现和遇到的困难分点说明，条理会更清楚。

您可以试试把导出代码中所有.half() to.(torch.float16)全部換成float32。但视觉这里的处理本來也全都是float32，不应该是精度造成的问题...我现在也还没有想法是哪里的问题
哈哈哈，您分析的很对。我大概搜了一些资料明白了，onnx在onnxruntime和onnxruntime-gpu下推理的结果是不一致的，如果达到pt在gpu的效果，只能将onnx在onnxruntime-gpu下跑。

[DakeQQ]

Ovis2也很強，可以看看