在实现mlp时,我在silu时,错误的写反了“gate”和“up”,但由于目前的测试用例里,gate和up是数值相同的,导致我当时并未发现此问题。在项目阶段,我才偶然发现了这个问题,这会导致最后的输出出现乱码。 建议将test_mpl的up和gate的值进行区分。