Replies: 1 comment
-
不好意思,之前没看到这个消息,spawn的问题可能得问一下 PaddlePaddle这个主库的人了 |
Beta Was this translation helpful? Give feedback.
0 replies
Sign up for free
to join this conversation on GitHub.
Already have an account?
Sign in to comment
Uh oh!
There was an error while loading. Please reload this page.
Uh oh!
There was an error while loading. Please reload this page.
-
你好,我今天尝试使用paddled的distributed.spwan,发现不能设置自定义类在分布式中的进程通信,好像是paddle的spwan自动帮助实现了每个卡上的类,不像torch-quiver中手动添加reductions来生成每个进程中的类。如果我需要这样处理,应该怎样操作呢,同时,我在使用的时候发现在paddle的spawn下,gpu使用率不高25-30%,是因为nvcc版本的问题么,因为显卡占用率很低。我觉得有可能是pd的问题, 我使用spwan,内部具体是由cupy以及numba来操作gpu,在torch后端的时候,使用multiprocessing.spwan的时候,gpu性能直接吃满,90%+,因为这个在torch-quiver中也有类似的操作,我想问一下这个什么原因呢,因为,我目前使用CuPy和Numba的第三方库实现了PyTorch后端的quiver,谢谢!
Beta Was this translation helpful? Give feedback.
All reactions