Skip to content

Commit 76a3894

Browse files
committed
docs: flash_attention
1 parent 19146ca commit 76a3894

File tree

1 file changed

+4
-3
lines changed

1 file changed

+4
-3
lines changed

infiniop/ops/flash_attention/README.md

Lines changed: 4 additions & 3 deletions
Original file line numberDiff line numberDiff line change
@@ -97,7 +97,8 @@ infiniStatus_t infiniopCreateFlashAttentionDescriptor(
9797
infiniopTensorDescriptor_t k_desc,
9898
infiniopTensorDescriptor_t v_desc,
9999
infiniopTensorDescriptor_t mask_desc,
100-
infiniopAttentionMaskType_t mask_type)
100+
infiniopAttentionMaskType_t mask_type
101+
);
101102
```
102103

103104
<div style="background-color: lightblue; padding: 1px;"> 参数:</div>
@@ -113,9 +114,9 @@ infiniStatus_t infiniopCreateFlashAttentionDescriptor(
113114
- `q_desc` - { dT | ((batch_size,) seq_len_q, num_heads_q, head_dim) | ($\ldots, 1$)}:
114115
算子计算参数 `q` 的张量描述,形状与 `out_desc` 一致,最后一维连续。
115116
- `k_desc` - { dT | ((batch_size,) seq_len_kv, num_heads_kv, head_dim) | ($\ldots, 1$)}:
116-
算子计算参数 `k` 的张量描述,形状与 `out_desc` 一致,最后一维连续。
117+
算子计算参数 `k` 的张量描述,最后一维连续。
117118
- `v_desc` - { dT | ((batch_size,) seq_len_kv, num_heads_kv, head_dim) | ($\ldots, 1$)}:
118-
算子计算参数 `v` 的张量描述,形状与 `out_desc` 一致,最后一维连续。
119+
算子计算参数 `v` 的张量描述,形状与 `k_desc` 一致,最后一维连续。
119120
- `mask_desc` - { dM | (seq_len_q, seq_len_kv) | (~)}:
120121
算子计算参数 `mask` 的张量描述,当 `mask_type=INFINIOP_ATTENTION_MASK_TYPE_FULL` 时,`mask` 不可为空,其余情况 `mask` 可为`nullptr`
121122
- `mask_type` - `infiniopAttentionMaskType_t`:

0 commit comments

Comments
 (0)