Skip to content

chang-wenbin/UseTritonInPaddle

 
 

Folders and files

NameName
Last commit message
Last commit date

Latest commit

 

History

40 Commits
 
 
 
 
 
 

Repository files navigation

Use Triton in Paddle

  • 由于triton源码中部分util函数(如检查当前机器的计算能力,检查当前机器的idx)依赖了torch,这对于paddle用户想要使用triton不是很友好。
  • 故,此项目将triton源码中的部分依赖triton的代码,替换为paddle的代码。
  • 操作步骤如下:
python -m pip install git+https://github.com/zhoutianzi666/UseTritonInPaddle.git

# 仅需执行 一次 如下命令,之后在任意终端都可以使用triton。无需重复执行
python -c "import use_triton_in_paddle; use_triton_in_paddle.make_triton_compatible_with_paddle()"
  • 上述命令会自动将triton内部的import torch换成
try:
    import torch
except:
    print("No module named 'torch', we will use_triton_in_paddle as torch inside triton")
    import use_triton_in_paddle as torch
  • 由于本项目只有几个文件,所以即使你的网很差,你也应该可以安装成功。
  • 然后就可以在paddle中正常使用triton了。和torch的用法一摸一样

我们目前只支持在paddle中使用 triton 2.3 和 triton 3.0 ,其他的也许可以但我们没有试过

About

No description, website, or topics provided.

Resources

Stars

Watchers

Forks

Releases

No releases published

Packages

 
 
 

Contributors

Languages

  • Python 100.0%