@@ -1115,8 +1115,8 @@ static void ggml_cuda_op_mul_mat_cublas(
11151115 CUBLAS_CHECK (
11161116 cublasGemmEx (ctx.cublas_handle (id), CUBLAS_OP_T, CUBLAS_OP_N,
11171117 row_diff, src1_ncols, ne10,
1118- &alpha, src0_ptr, CUDA_R_16F, ne00,
1119- src1_ptr, CUDA_R_16F, ne10,
1118+ &alpha, src0_ptr, CUDA_R_16F, ne00,
1119+ src1_ptr, CUDA_R_16F, ne10,
11201120 &beta, dst_dd_i, CUDA_R_32F, ldc,
11211121 CUBLAS_COMPUTE_32F,
11221122 CUBLAS_GEMM_DEFAULT_TENSOR_OP));
@@ -1129,9 +1129,9 @@ static void ggml_cuda_op_mul_mat_cublas(
11291129 CUBLAS_CHECK (
11301130 cublasGemmEx (ctx.cublas_handle (id), CUBLAS_OP_T, CUBLAS_OP_N,
11311131 row_diff, src1_ncols, ne10,
1132- &alpha_f16, src0_ptr, CUDA_R_16F, ne00,
1133- src1_ptr, CUDA_R_16F, ne10,
1134- &beta_f16, dst_f16. get () , CUDA_R_16F, ldc,
1132+ &alpha_f16, src0_ptr, CUDA_R_16F, ne00,
1133+ src1_ptr, CUDA_R_16F, ne10,
1134+ &beta_f16, dst_dd_i , CUDA_R_16F, ldc,
11351135 CUBLAS_COMPUTE_16F,
11361136 CUBLAS_GEMM_DEFAULT_TENSOR_OP));
11371137
0 commit comments