2.2.2-Pytorch编写Transformer-选读中的编码器层数相关初始化有问题

[guobaxu]

    def forward(self, src: Tensor, mask: Optional[Tensor] = None, src_key_padding_mask: Optional[Tensor] = None) -> Tensor:
        output = positional_encoding(src, src.shape[-1])
        for _ in range(self.num_layers):
            output = self.layer(output, src_mask=mask, src_key_padding_mask=src_key_padding_mask)
        
        if self.norm is not None:
            output = self.norm(output)
        
        return output

这里是在forward中重复计算了self.num_layers次，但实际上是共享了参数，而不是创建了self.num_layers个编码层。
解码器中也是这样的问题

[guobaxu]

不过整个流程看下来还算很顺畅，感谢编者的努力👍