-DGGML_SCHED_MAX_COPIES=1 -DGGML_CUDA_IQK_FORCE_BF16=1

https://www.reddit.com/r/LocalLLaMA/comments/1l0m8r0/comment/mvhmq3c/

Author: Thireus

.github/workflows/release.yml

@@ -411,7 +411,9 @@ jobs:
             -DGGML_NATIVE=OFF ^
             -DGGML_CPU=OFF ^
             -DGGML_CUDA=ON ^
-            -DLLAMA_CURL=OFF
+            -DLLAMA_CURL=OFF ^
+            -DGGML_SCHED_MAX_COPIES=1 ^
+            -DGGML_CUDA_IQK_FORCE_BF16=1
           set /A NINJA_JOBS=%NUMBER_OF_PROCESSORS%-1
           cmake --build build --config Release -j %NINJA_JOBS% --target ggml-cuda