【论文复现】动态图自定义Python算子疑似显存泄露

[txyugood]

   1）PaddlePaddle版本：2.1.0
   2）CPU：AI Studio环境
   3）GPU：AI Studio环境
   4）系统环境：AI Studio环境
在网络中如果使用了自定义的Python算子，在forward中会使用save_for_backward保存Tensor供backward使用。先发现
如果只是推理预测，没有调用backward获取save_for_backward保存的Tensor。显存会不断的增加，直到程序崩溃。

[paddle-bot-old]

您好，我们已经收到了您的问题，会安排技术人员尽快解答您的问题，请耐心等待。请您再次检查是否提供了清晰的问题描述、复现代码、环境&版本、报错信息等。同时，您也可以通过查看官网API文档、常见问题、历史Issue、AI社区来寻求解答。祝您生活愉快～

Hi! We've received your issue and please be patient to get responded. We will arrange technicians to answer your questions as soon as possible. Please make sure that you have posted enough message to demo your request. You may also check out the API，FAQ，Github Issue and AI community to get the answer.Have a nice day!

[Thunderbrook]

辛苦提供下复现代码吧

[txyugood]

抱歉，之前一直没提交，所以没开源代码，现在提交了，开源代码。

项目地址：https://github.com/txyugood/tabnet

问题描述在最后总结，一共有两个显存问题。这里我也简单描述下。

在paddle_tabnet/sparsemax.py文件里66-67行我加了tranning开关，这样在eval阶段就不会显存暴涨了。不知道这样处理是否合理，但是看训练和预测情况，应该是没问题的。

if trainning:
    ctx.save_for_backward(supp_size, output)

还有就是提到的第二个显存缓慢增长的问题，在paddle_tabnet/sparsemax.py文件75-80行，使用这行代码就会显存缓慢增长，最后程序就会崩溃。

grad_input[output == 0] = 0

修改为以下代码，功能一致，显存不会缓慢增长，程序不会崩溃。

idx = paddle.fluid.layers.where(output == 0)
grad_input_gather = paddle.gather_nd(grad_input, idx)
grad_input_gather = 0 - grad_input_gather
grad_input = paddle.scatter_nd_add(grad_input, idx, grad_input_gather)

[zhiqiu]

抱歉，之前一直没提交，所以没开源代码，现在提交了，开源代码。

项目地址：https://github.com/txyugood/tabnet

问题描述在最后总结，一共有两个显存问题。这里我也简单描述下。

在paddle_tabnet/sparsemax.py文件里66-67行我加了tranning开关，这样在eval阶段就不会显存暴涨了。不知道这样处理是否合理，但是看训练和预测情况，应该是没问题的。

if trainning:
    ctx.save_for_backward(supp_size, output)

还有就是提到的第二个显存缓慢增长的问题，在paddle_tabnet/sparsemax.py文件75-80行，使用这行代码就会显存缓慢增长，最后程序就会崩溃。

grad_input[output == 0] = 0

修改为以下代码，功能一致，显存不会缓慢增长，程序不会崩溃。

idx = paddle.fluid.layers.where(output == 0)
grad_input_gather = paddle.gather_nd(grad_input, idx)
grad_input_gather = 0 - grad_input_gather
grad_input = paddle.scatter_nd_add(grad_input, idx, grad_input_gather)

第一个问题，你在predict函数上加一个@paddle.no_grad()试下。https://github.com/txyugood/tabnet/blob/91fb4b5f6b8cb4127d46ea996af6d857b15b7614/paddle_tabnet/abstract_model.py#L275

[txyugood]

抱歉，之前一直没提交，所以没开源代码，现在提交了，开源代码。
项目地址：https://github.com/txyugood/tabnet
问题描述在最后总结，一共有两个显存问题。这里我也简单描述下。
在paddle_tabnet/sparsemax.py文件里66-67行我加了tranning开关，这样在eval阶段就不会显存暴涨了。不知道这样处理是否合理，但是看训练和预测情况，应该是没问题的。

if trainning:
    ctx.save_for_backward(supp_size, output)

还有就是提到的第二个显存缓慢增长的问题，在paddle_tabnet/sparsemax.py文件75-80行，使用这行代码就会显存缓慢增长，最后程序就会崩溃。

grad_input[output == 0] = 0

修改为以下代码，功能一致，显存不会缓慢增长，程序不会崩溃。

idx = paddle.fluid.layers.where(output == 0)
grad_input_gather = paddle.gather_nd(grad_input, idx)
grad_input_gather = 0 - grad_input_gather
grad_input = paddle.scatter_nd_add(grad_input, idx, grad_input_gather)

第一个问题，你在predict函数上加一个@paddle.no_grad()试下。https://github.com/txyugood/tabnet/blob/91fb4b5f6b8cb4127d46ea996af6d857b15b7614/paddle_tabnet/abstract_model.py#L275

加上确实好用，多谢！

[zhiqiu]

thanks

抱歉，之前一直没提交，所以没开源代码，现在提交了，开源代码。
项目地址：https://github.com/txyugood/tabnet
问题描述在最后总结，一共有两个显存问题。这里我也简单描述下。
在paddle_tabnet/sparsemax.py文件里66-67行我加了tranning开关，这样在eval阶段就不会显存暴涨了。不知道这样处理是否合理，但是看训练和预测情况，应该是没问题的。

if trainning:
    ctx.save_for_backward(supp_size, output)

还有就是提到的第二个显存缓慢增长的问题，在paddle_tabnet/sparsemax.py文件75-80行，使用这行代码就会显存缓慢增长，最后程序就会崩溃。

grad_input[output == 0] = 0

修改为以下代码，功能一致，显存不会缓慢增长，程序不会崩溃。

idx = paddle.fluid.layers.where(output == 0)
grad_input_gather = paddle.gather_nd(grad_input, idx)
grad_input_gather = 0 - grad_input_gather
grad_input = paddle.scatter_nd_add(grad_input, idx, grad_input_gather)

第一个问题，你在predict函数上加一个@paddle.no_grad()试下。https://github.com/txyugood/tabnet/blob/91fb4b5f6b8cb4127d46ea996af6d857b15b7614/paddle_tabnet/abstract_model.py#L275

加上确实好用，多谢！

[zhiqiu]

抱歉，之前一直没提交，所以没开源代码，现在提交了，开源代码。

项目地址：https://github.com/txyugood/tabnet

问题描述在最后总结，一共有两个显存问题。这里我也简单描述下。

在paddle_tabnet/sparsemax.py文件里66-67行我加了tranning开关，这样在eval阶段就不会显存暴涨了。不知道这样处理是否合理，但是看训练和预测情况，应该是没问题的。

if trainning:
    ctx.save_for_backward(supp_size, output)

还有就是提到的第二个显存缓慢增长的问题，在paddle_tabnet/sparsemax.py文件75-80行，使用这行代码就会显存缓慢增长，最后程序就会崩溃。

grad_input[output == 0] = 0

修改为以下代码，功能一致，显存不会缓慢增长，程序不会崩溃。

idx = paddle.fluid.layers.where(output == 0)
grad_input_gather = paddle.gather_nd(grad_input, idx)
grad_input_gather = 0 - grad_input_gather
grad_input = paddle.scatter_nd_add(grad_input, idx, grad_input_gather)

问题2，初步认为是slice左值的bug，详见：#35013
你可以先按你后面功能一致的代码写。

[txyugood]

抱歉，之前一直没提交，所以没开源代码，现在提交了，开源代码。
项目地址：https://github.com/txyugood/tabnet
问题描述在最后总结，一共有两个显存问题。这里我也简单描述下。
在paddle_tabnet/sparsemax.py文件里66-67行我加了tranning开关，这样在eval阶段就不会显存暴涨了。不知道这样处理是否合理，但是看训练和预测情况，应该是没问题的。

if trainning:
    ctx.save_for_backward(supp_size, output)

还有就是提到的第二个显存缓慢增长的问题，在paddle_tabnet/sparsemax.py文件75-80行，使用这行代码就会显存缓慢增长，最后程序就会崩溃。

grad_input[output == 0] = 0

修改为以下代码，功能一致，显存不会缓慢增长，程序不会崩溃。

idx = paddle.fluid.layers.where(output == 0)
grad_input_gather = paddle.gather_nd(grad_input, idx)
grad_input_gather = 0 - grad_input_gather
grad_input = paddle.scatter_nd_add(grad_input, idx, grad_input_gather)

问题2，初步认为是slice左值的bug，详见：#35013
你可以先按你后面功能一致的代码写。

好的，谢谢！