fix use_mul_mat_vec_f for mul_mat_id

Author: am17an

ggml/src/ggml-cuda/ggml-cuda.cu

@@ -2063,12 +2063,14 @@ static bool ggml_cuda_should_fuse_mul_mat_vec_f(const ggml_tensor * tensor) {
     ggml_tensor *       src1 = tensor->src[1];
     const ggml_tensor * dst  = tensor;
 
+    const bool is_mul_mat_id = tensor->op == GGML_OP_MUL_MAT_ID;
+
     bool use_mul_mat_vec_f =
         (src0->type == GGML_TYPE_F32 || src0->type == GGML_TYPE_F16 || src0->type == GGML_TYPE_BF16) &&
         src1->type == GGML_TYPE_F32 && dst->type == GGML_TYPE_F32;
 
     const int cc      = ggml_cuda_info().devices[ggml_cuda_get_device()].cc;
-    use_mul_mat_vec_f = use_mul_mat_vec_f && ggml_cuda_should_use_mmvf(src0->type, cc, src0->ne, src1->ne[1]);
+    use_mul_mat_vec_f = use_mul_mat_vec_f && ggml_cuda_should_use_mmvf(src0->type, cc, src0->ne, is_mul_mat_id ? src1->ne[2]: src1->ne[1]);
 
     if (tensor->op == GGML_OP_MUL_MAT_ID) {
         use_mul_mat_vec_f = use_mul_mat_vec_f && dst->ne[2] == 1;

tests/test-backend-ops.cpp

@@ -4690,7 +4690,7 @@ struct test_fused_ffn_gate : public test_case {
     }
 
     double max_nmse_err() override {
-        return 5e-4;
+        return 1e-3;
     }
 };