graph_to_program save parameter and stop_gradient information

[thisjiang]

PR types

Bug fixes

PR changes

APIs

Describe

简介

本PR用于解决ProgramDesc转Program时会丢失parameter信息的问题，本PR需要在Vardesc中添加is_parameter选项，该选项用于标识Variable是否为Parameter。

起因

当前Program转Graph转Program会丢失parameter信息：

from paddle.fluid.framework import IrGraph
from paddle.fluid import core
before_graph = IrGraph(core.Graph(main_program.desc), for_test=False)
after_graph = before_graph.to_program()

以PaddleNLP里的GPT模型为例，打印转换前的program还有persist trainable param这种标识了param的vars信息：

而在转换之后的program中就只剩下persist var信息，param信息丢失了：

原因

Paddle中数据分为两类：Variable和Parameter，其中Variable存的是中间变量，Parameter存的是参数。此外，还有一个属性persitable用于标识哪些数据需要被持久化保留。由于现有desc中并没有标识是否为Parameter的选项，因此Parameter在desc中被保存为了persist var，而这就是为什么转换后的Program丢失了Parameter信息的原因：

Parameter in Program -> persistable in ProgramDesc -> Persistable Variable in Program

猜测

1. Fleet API下转换前后模型性能下降的原因或许与Parameter丢失有很大关系（待验证）

修改点

在paddle/fluid/framework/framework.proto的message VarDesc中添加如下两个新属性：

optional bool is_parameter = 5 [ default = false ];
optional bool stop_gradient = 6 [ default = false ];

is_parameter用于判断本var是否为Parameter。但var本身仍然只是Variable类型而非Parameter类型，并不能解决问题。既然需要保证转换前后的Program完全一致，那么转换前是Parameter类型，转换后也应该是Parameter类型，这并不是简单的添加一个is_parameter的属性就能解决的。

Parameter继承Variable，但多出了额外属性如trainable。若单纯使用is_parameter选项判断Parameter，由于在父类Variable的方法中用到了子类Parameter的特有属性，程序会因为在非Parameter中找不到该属性而报错。

修改python/paddle/fluid/framework.py的Block类的_sync_with_cpp函数，在创建var时增加一个判断：

• 若var.is_parameter()为True，调用create_parameter创建Parameter
• 否则调用create_var创建Variable

同时在创建时传入var.stop_gradient参数。

加上后，重新打印program：

可能看到param已经被加上了，且数目能完全对上，此外stop_gradient属性也都能对上了。

[paddle-bot-old]

Thanks for your contribution!
Please wait for the result of CI firstly. See Paddle CI Manual for details.

[zhhsplendid]

This is old code, so it is not your fault and you have nothing to change. However, I would like you to know it, there is a coding style recommendation in Python: don't compare boolean values to True or False using ==:

Reference:
https://www.python.org/dev/peps/pep-0008/#programming-recommendations

[thisjiang]

Thanks for reminder!

[zhhsplendid]

2018 -> 2021

[thisjiang]

Done

[zhhsplendid]

Please write 2.0 API instead of fluid API for the test cases in the future.

[thisjiang]

Done

[zhhsplendid]

LGTM

[chenwhql]

LGTM for framework&var_desc change