Skip to content

Commit 7e3eb8d

Browse files
kaixihkaixih
authored
tuner: Update autotune results for the nvfp4 cutlass moe backends for v0.2.9 (#1361)
Update the autotuned results for the nvfp4 cutlass moe backend since this [commit ](1b831688799de950a889062a1661589d891cf235)updates it.
1 parent 1752dfd commit 7e3eb8d

File tree

1 file changed

+116
-0
lines changed

1 file changed

+116
-0
lines changed

‎flashinfer/tuning_configs/v0_2_9_trtllm_fused_moe_NVIDIA_B200.py

Lines changed: 116 additions & 0 deletions
Original file line numberDiff line numberDiff line change
@@ -0,0 +1,116 @@
1+
best_configs = {"('trtllm::fused_moe::gemm1', 'MoERunner', ((1, 3584), (256, 512, 448), (0,), (256, 7168, 16), (0,)))": (0,
2+
5),
3+
"('trtllm::fused_moe::gemm1', 'MoERunner', ((1, 3584), (32, 4096, 448), (0,), (32, 7168, 128), (0,)))": (0,
4+
5),
5+
"('trtllm::fused_moe::gemm1', 'MoERunner', ((1024, 3584), (256, 512, 448), (0,), (256, 7168, 16), (0,)))": (0,
6+
5),
7+
"('trtllm::fused_moe::gemm1', 'MoERunner', ((1024, 3584), (32, 4096, 448), (0,), (32, 7168, 128), (0,)))": (0,
8+
3),
9+
"('trtllm::fused_moe::gemm1', 'MoERunner', ((128, 3584), (256, 512, 448), (0,), (256, 7168, 16), (0,)))": (0,
10+
5),
11+
"('trtllm::fused_moe::gemm1', 'MoERunner', ((128, 3584), (32, 4096, 448), (0,), (32, 7168, 128), (0,)))": (0,
12+
5),
13+
"('trtllm::fused_moe::gemm1', 'MoERunner', ((16, 3584), (256, 512, 448), (0,), (256, 7168, 16), (0,)))": (0,
14+
5),
15+
"('trtllm::fused_moe::gemm1', 'MoERunner', ((16, 3584), (32, 4096, 448), (0,), (32, 7168, 128), (0,)))": (0,
16+
5),
17+
"('trtllm::fused_moe::gemm1', 'MoERunner', ((16384, 3584), (256, 512, 448), (0,), (256, 7168, 16), (0,)))": (0,
18+
3),
19+
"('trtllm::fused_moe::gemm1', 'MoERunner', ((2, 3584), (256, 512, 448), (0,), (256, 7168, 16), (0,)))": (0,
20+
5),
21+
"('trtllm::fused_moe::gemm1', 'MoERunner', ((2, 3584), (32, 4096, 448), (0,), (32, 7168, 128), (0,)))": (0,
22+
6),
23+
"('trtllm::fused_moe::gemm1', 'MoERunner', ((2048, 3584), (256, 512, 448), (0,), (256, 7168, 16), (0,)))": (0,
24+
1),
25+
"('trtllm::fused_moe::gemm1', 'MoERunner', ((2048, 3584), (32, 4096, 448), (0,), (32, 7168, 128), (0,)))": (0,
26+
3),
27+
"('trtllm::fused_moe::gemm1', 'MoERunner', ((256, 3584), (256, 512, 448), (0,), (256, 7168, 16), (0,)))": (0,
28+
5),
29+
"('trtllm::fused_moe::gemm1', 'MoERunner', ((256, 3584), (32, 4096, 448), (0,), (32, 7168, 128), (0,)))": (0,
30+
1),
31+
"('trtllm::fused_moe::gemm1', 'MoERunner', ((32, 3584), (256, 512, 448), (0,), (256, 7168, 16), (0,)))": (0,
32+
5),
33+
"('trtllm::fused_moe::gemm1', 'MoERunner', ((32, 3584), (32, 4096, 448), (0,), (32, 7168, 128), (0,)))": (0,
34+
5),
35+
"('trtllm::fused_moe::gemm1', 'MoERunner', ((4, 3584), (256, 512, 448), (0,), (256, 7168, 16), (0,)))": (0,
36+
5),
37+
"('trtllm::fused_moe::gemm1', 'MoERunner', ((4, 3584), (32, 4096, 448), (0,), (32, 7168, 128), (0,)))": (0,
38+
5),
39+
"('trtllm::fused_moe::gemm1', 'MoERunner', ((4096, 3584), (256, 512, 448), (0,), (256, 7168, 16), (0,)))": (0,
40+
3),
41+
"('trtllm::fused_moe::gemm1', 'MoERunner', ((4096, 3584), (32, 4096, 448), (0,), (32, 7168, 128), (0,)))": (0,
42+
3),
43+
"('trtllm::fused_moe::gemm1', 'MoERunner', ((512, 3584), (256, 512, 448), (0,), (256, 7168, 16), (0,)))": (0,
44+
5),
45+
"('trtllm::fused_moe::gemm1', 'MoERunner', ((512, 3584), (32, 4096, 448), (0,), (32, 7168, 128), (0,)))": (0,
46+
3),
47+
"('trtllm::fused_moe::gemm1', 'MoERunner', ((64, 3584), (256, 512, 448), (0,), (256, 7168, 16), (0,)))": (0,
48+
5),
49+
"('trtllm::fused_moe::gemm1', 'MoERunner', ((64, 3584), (32, 4096, 448), (0,), (32, 7168, 128), (0,)))": (0,
50+
5),
51+
"('trtllm::fused_moe::gemm1', 'MoERunner', ((8, 3584), (256, 512, 448), (0,), (256, 7168, 16), (0,)))": (0,
52+
5),
53+
"('trtllm::fused_moe::gemm1', 'MoERunner', ((8, 3584), (32, 4096, 448), (0,), (32, 7168, 128), (0,)))": (0,
54+
5),
55+
"('trtllm::fused_moe::gemm1', 'MoERunner', ((8192, 3584), (256, 512, 448), (0,), (256, 7168, 16), (0,)))": (0,
56+
3),
57+
"('trtllm::fused_moe::gemm1', 'MoERunner', ((8192, 3584), (32, 4096, 448), (0,), (32, 7168, 128), (0,)))": (0,
58+
3),
59+
"('trtllm::fused_moe::gemm2', 'MoERunner', ((1, 3584), (256, 512, 448), (0,), (256, 7168, 16), (0,)))": (0,
60+
5),
61+
"('trtllm::fused_moe::gemm2', 'MoERunner', ((1, 3584), (32, 4096, 448), (0,), (32, 7168, 128), (0,)))": (0,
62+
5),
63+
"('trtllm::fused_moe::gemm2', 'MoERunner', ((1024, 3584), (256, 512, 448), (0,), (256, 7168, 16), (0,)))": (0,
64+
5),
65+
"('trtllm::fused_moe::gemm2', 'MoERunner', ((1024, 3584), (32, 4096, 448), (0,), (32, 7168, 128), (0,)))": (0,
66+
3),
67+
"('trtllm::fused_moe::gemm2', 'MoERunner', ((128, 3584), (256, 512, 448), (0,), (256, 7168, 16), (0,)))": (0,
68+
5),
69+
"('trtllm::fused_moe::gemm2', 'MoERunner', ((128, 3584), (32, 4096, 448), (0,), (32, 7168, 128), (0,)))": (0,
70+
5),
71+
"('trtllm::fused_moe::gemm2', 'MoERunner', ((16, 3584), (256, 512, 448), (0,), (256, 7168, 16), (0,)))": (0,
72+
5),
73+
"('trtllm::fused_moe::gemm2', 'MoERunner', ((16, 3584), (32, 4096, 448), (0,), (32, 7168, 128), (0,)))": (0,
74+
5),
75+
"('trtllm::fused_moe::gemm2', 'MoERunner', ((16384, 3584), (256, 512, 448), (0,), (256, 7168, 16), (0,)))": (0,
76+
3),
77+
"('trtllm::fused_moe::gemm2', 'MoERunner', ((2, 3584), (256, 512, 448), (0,), (256, 7168, 16), (0,)))": (0,
78+
5),
79+
"('trtllm::fused_moe::gemm2', 'MoERunner', ((2, 3584), (32, 4096, 448), (0,), (32, 7168, 128), (0,)))": (0,
80+
5),
81+
"('trtllm::fused_moe::gemm2', 'MoERunner', ((2048, 3584), (256, 512, 448), (0,), (256, 7168, 16), (0,)))": (0,
82+
1),
83+
"('trtllm::fused_moe::gemm2', 'MoERunner', ((2048, 3584), (32, 4096, 448), (0,), (32, 7168, 128), (0,)))": (0,
84+
3),
85+
"('trtllm::fused_moe::gemm2', 'MoERunner', ((256, 3584), (256, 512, 448), (0,), (256, 7168, 16), (0,)))": (0,
86+
5),
87+
"('trtllm::fused_moe::gemm2', 'MoERunner', ((256, 3584), (32, 4096, 448), (0,), (32, 7168, 128), (0,)))": (0,
88+
1),
89+
"('trtllm::fused_moe::gemm2', 'MoERunner', ((32, 3584), (256, 512, 448), (0,), (256, 7168, 16), (0,)))": (0,
90+
5),
91+
"('trtllm::fused_moe::gemm2', 'MoERunner', ((32, 3584), (32, 4096, 448), (0,), (32, 7168, 128), (0,)))": (0,
92+
6),
93+
"('trtllm::fused_moe::gemm2', 'MoERunner', ((4, 3584), (256, 512, 448), (0,), (256, 7168, 16), (0,)))": (0,
94+
5),
95+
"('trtllm::fused_moe::gemm2', 'MoERunner', ((4, 3584), (32, 4096, 448), (0,), (32, 7168, 128), (0,)))": (0,
96+
5),
97+
"('trtllm::fused_moe::gemm2', 'MoERunner', ((4096, 3584), (256, 512, 448), (0,), (256, 7168, 16), (0,)))": (0,
98+
3),
99+
"('trtllm::fused_moe::gemm2', 'MoERunner', ((4096, 3584), (32, 4096, 448), (0,), (32, 7168, 128), (0,)))": (0,
100+
3),
101+
"('trtllm::fused_moe::gemm2', 'MoERunner', ((512, 3584), (256, 512, 448), (0,), (256, 7168, 16), (0,)))": (0,
102+
5),
103+
"('trtllm::fused_moe::gemm2', 'MoERunner', ((512, 3584), (32, 4096, 448), (0,), (32, 7168, 128), (0,)))": (0,
104+
3),
105+
"('trtllm::fused_moe::gemm2', 'MoERunner', ((64, 3584), (256, 512, 448), (0,), (256, 7168, 16), (0,)))": (0,
106+
5),
107+
"('trtllm::fused_moe::gemm2', 'MoERunner', ((64, 3584), (32, 4096, 448), (0,), (32, 7168, 128), (0,)))": (0,
108+
6),
109+
"('trtllm::fused_moe::gemm2', 'MoERunner', ((8, 3584), (256, 512, 448), (0,), (256, 7168, 16), (0,)))": (0,
110+
5),
111+
"('trtllm::fused_moe::gemm2', 'MoERunner', ((8, 3584), (32, 4096, 448), (0,), (32, 7168, 128), (0,)))": (0,
112+
5),
113+
"('trtllm::fused_moe::gemm2', 'MoERunner', ((8192, 3584), (256, 512, 448), (0,), (256, 7168, 16), (0,)))": (0,
114+
3),
115+
"('trtllm::fused_moe::gemm2', 'MoERunner', ((8192, 3584), (32, 4096, 448), (0,), (32, 7168, 128), (0,)))": (0,
116+
3)}

0 commit comments

Comments
 (0)