update tune_script.sh

Author: divakar-amd

benchmarks/kernels/tune_script.sh

@@ -1,9 +1,32 @@
 #!/bin/bash
 
-FUSED_MOE_PERSISTENT=1 VLLM_MOE_PADDING=128 VLLM_MOE_SHUFFLE=1 TRITON_HIP_USE_NEW_STREAM_PIPELINE=1 python benchmark_mixtral_moe_rocm.py --model 8x7B --TP 4
+export FUSED_MOE_PERSISTENT=1 
+export VLLM_MOE_PADDING=128 
+export VLLM_MOE_SHUFFLE=1 
+export TRITON_HIP_USE_NEW_STREAM_PIPELINE=1 
 
-FUSED_MOE_PERSISTENT=1 VLLM_MOE_PADDING=128 VLLM_MOE_SHUFFLE=1 TRITON_HIP_USE_NEW_STREAM_PIPELINE=1 python benchmark_mixtral_moe_rocm.py --model 8x7B --TP 8  
+## ---- Mixtral fp8 tuning ---- ##
 
-FUSED_MOE_PERSISTENT=1 VLLM_MOE_PADDING=128 VLLM_MOE_SHUFFLE=1 TRITON_HIP_USE_NEW_STREAM_PIPELINE=1 python benchmark_mixtral_moe_rocm.py --model 8x22B --TP 8  
+python benchmark_moe.py --model /data/Mixtral-8x7B-Instruct-v0.1-FP8/  -tp 1 --dtype fp8_w8a8 --tune
+python benchmark_moe.py --model /data/Mixtral-8x7B-Instruct-v0.1-FP8/  -tp 2 --dtype fp8_w8a8 --tune
+python benchmark_moe.py --model /data/Mixtral-8x7B-Instruct-v0.1-FP8/  -tp 4 --dtype fp8_w8a8 --tune
+python benchmark_moe.py --model /data/Mixtral-8x7B-Instruct-v0.1-FP8/  -tp 8 --dtype fp8_w8a8 --tune
 
-FUSED_MOE_PERSISTENT=1 VLLM_MOE_PADDING=128 VLLM_MOE_SHUFFLE=1 TRITON_HIP_USE_NEW_STREAM_PIPELINE=1 python benchmark_mixtral_moe_rocm.py --model 8x22B --TP 16 
+python benchmark_moe.py --model /data/Mixtral-8x22B-Instruct-v0.1-FP8/  -tp 1 --dtype fp8_w8a8 --tune
+python benchmark_moe.py --model /data/Mixtral-8x22B-Instruct-v0.1-FP8/  -tp 2 --dtype fp8_w8a8 --tune
+python benchmark_moe.py --model /data/Mixtral-8x22B-Instruct-v0.1-FP8/  -tp 4 --dtype fp8_w8a8 --tune
+python benchmark_moe.py --model /data/Mixtral-8x22B-Instruct-v0.1-FP8/  -tp 8 --dtype fp8_w8a8 --tune
+
+
+## ---- Mixtral fp16 tuning ---- ##
+
+python benchmark_moe.py --model /data/AI-ModelScope/Mixtral-8x7B-Instruct-v0___1/  -tp 1  --tune
+python benchmark_moe.py --model /data/AI-ModelScope/Mixtral-8x7B-Instruct-v0___1/  -tp 2  --tune
+python benchmark_moe.py --model /data/AI-ModelScope/Mixtral-8x7B-Instruct-v0___1/  -tp 4  --tune
+python benchmark_moe.py --model /data/AI-ModelScope/Mixtral-8x7B-Instruct-v0___1/  -tp 8  --tune
+
+python benchmark_moe.py --model /data/huggingFace/Mixtral-8x22B-v0.1/  -tp 1  --tune
+python benchmark_moe.py --model /data/huggingFace/Mixtral-8x22B-v0.1/  -tp 2  --tune
+python benchmark_moe.py --model /data/huggingFace/Mixtral-8x22B-v0.1/  -tp 4  --tune
+python benchmark_moe.py --model /data/huggingFace/Mixtral-8x22B-v0.1/  -tp 8  --tune
+