File tree Expand file tree Collapse file tree 1 file changed +2
-2
lines changed Expand file tree Collapse file tree 1 file changed +2
-2
lines changed Original file line number Diff line number Diff line change 9
9
<img src=https://img.shields.io/badge/License-GPLv3.0-turquoise.svg >
10
10
</div >
11
11
12
- 📒CUDA-Learn-Note: CUDA 笔记 / 高频面试题汇总 / C++笔记,更新随缘: flash_attn、sgemm、sgemv、warp reduce、block reduce、dot、elementwise、softmax、layernorm、rmsnorm、histogram、relu、sigmoid etc.
12
+ 📒** CUDA-Learn-Note** : CUDA 笔记 / 高频面试题汇总 / C++笔记,更新随缘: flash_attn、sgemm、sgemv、warp reduce、block reduce、dot、elementwise、softmax、layernorm、rmsnorm、histogram、relu、sigmoid etc.
13
13
14
14
## 0x00 前言
15
- 前段时间参加了一些 ** LLM/LMM AI Infra** 面试,大部分都要手撕 ** CUDA** ,因此也整体复习了一遍 ** CUDA ** ,并整理了一些高频题的基本写法。当然, 有些代码不一定是最优化解,比如 ** GEMM** ,想要在面试中写一个好的 ** GEMM Kernel** 不容易。相关kernel ** 1000** 行代码左右,建议背下来。大模型推理相关 ,推荐: 📖[ Awesome-LLM-Inference] ( https://github.com/DefTruth/Awesome-LLM-Inference ) ![ ] ( https://img.shields.io/github/stars/DefTruth/Awesome-LLM-Inference.svg?style=social )
15
+ 之前参加了一些 ** LLM AI Infra** 面试,大部分都要手撕 ** CUDA** ,于是整理了一些高频题。 有些代码不一定是最优化解,比如 ** GEMM** ,想要在面试中写一个好的 ** GEMM Kernel** 不容易。相关Kernel ** 1000** 行代码左右,建议背下来。** LLM AI Infra ** 相关 ,推荐: 📖[ Awesome-LLM-Inference] ( https://github.com/DefTruth/Awesome-LLM-Inference ) ![ ] ( https://img.shields.io/github/stars/DefTruth/Awesome-LLM-Inference.svg?style=social )
16
16
17
17
> ⚡️题内话,大模型相关的岗位,手撕CUDA的概率大,leetcode少,个人经验,基本是 ** 4:1** 的比例。
18
18
You can’t perform that action at this time.
0 commit comments