Try synchronous submission

reeselevine · reeselevine · commit 69965a819909 · 2025-08-04T20:35:05.000-07:00
diff --git a/ggml/src/ggml-webgpu/ggml-webgpu.cpp b/ggml/src/ggml-webgpu/ggml-webgpu.cpp
@@ -26,7 +26,7 @@
 
 /* Constants */
 
-#define WEBGPU_COMMAND_SUBMIT_BATCH_SIZE 16
+#define WEBGPU_COMMAND_SUBMIT_BATCH_SIZE 1
 #define WEBGPU_MUL_MAT_WG_SIZE           64
 #define WEBGPU_NUM_PARAM_BUFS            100
 #define WEBGPU_PARAMS_BUF_SIZE_BYTES     256
@@ -329,6 +329,7 @@ static void ggml_backend_webgpu_build_and_enqueue(webgpu_context &
             ggml_backend_webgpu_submit_queue(ctx);
         }
     }
+    ggml_backend_webgpu_wait_on_submission(ctx);
 }
 
 static void ggml_backend_webgpu_buffer_memset(webgpu_context & ctx,

Original file line number	Diff line number	Diff line change
`@@ -26,7 +26,7 @@`
`26`	`26`
`27`	`27`	`/* Constants */`
`28`	`28`
`29`		`-#define WEBGPU_COMMAND_SUBMIT_BATCH_SIZE 16`
	`29`	`+#define WEBGPU_COMMAND_SUBMIT_BATCH_SIZE 1`
`30`	`30`	`#define WEBGPU_MUL_MAT_WG_SIZE 64`
`31`	`31`	`#define WEBGPU_NUM_PARAM_BUFS 100`
`32`	`32`	`#define WEBGPU_PARAMS_BUF_SIZE_BYTES 256`
`@@ -329,6 +329,7 @@ static void ggml_backend_webgpu_build_and_enqueue(webgpu_context &`
`329`	`329`	`ggml_backend_webgpu_submit_queue(ctx);`
`330`	`330`	`}`
`331`	`331`	`}`
	`332`	`+ ggml_backend_webgpu_wait_on_submission(ctx);`
`332`	`333`	`}`
`333`	`334`
`334`	`335`	`static void ggml_backend_webgpu_buffer_memset(webgpu_context & ctx,`