@@ -97,7 +97,8 @@ infiniStatus_t infiniopCreateFlashAttentionDescriptor(
9797 infiniopTensorDescriptor_t k_desc,
9898 infiniopTensorDescriptor_t v_desc,
9999 infiniopTensorDescriptor_t mask_desc,
100- infiniopAttentionMaskType_t mask_type)
100+ infiniopAttentionMaskType_t mask_type
101+ );
101102```
102103
103104<div style =" background-color : lightblue ; padding : 1px ;" > 参数:</div >
@@ -113,9 +114,9 @@ infiniStatus_t infiniopCreateFlashAttentionDescriptor(
113114- ` q_desc ` - { dT | ((batch_size,) seq_len_q, num_heads_q, head_dim) | ($\ldots, 1$)}:
114115 算子计算参数 ` q ` 的张量描述,形状与 ` out_desc ` 一致,最后一维连续。
115116- ` k_desc ` - { dT | ((batch_size,) seq_len_kv, num_heads_kv, head_dim) | ($\ldots, 1$)}:
116- 算子计算参数 `k` 的张量描述,形状与 `out_desc` 一致, 最后一维连续。
117+ 算子计算参数 ` k ` 的张量描述,最后一维连续。
117118- ` v_desc ` - { dT | ((batch_size,) seq_len_kv, num_heads_kv, head_dim) | ($\ldots, 1$)}:
118- 算子计算参数 `v` 的张量描述,形状与 `out_desc ` 一致,最后一维连续。
119+ 算子计算参数 ` v ` 的张量描述,形状与 ` k_desc ` 一致,最后一维连续。
119120- ` mask_desc ` - { dM | (seq_len_q, seq_len_kv) | (~ )}:
120121 算子计算参数 ` mask ` 的张量描述,当 ` mask_type=INFINIOP_ATTENTION_MASK_TYPE_FULL ` 时,` mask ` 不可为空,其余情况 ` mask ` 可为` nullptr ` 。
121122- ` mask_type ` - ` infiniopAttentionMaskType_t ` :
0 commit comments