【Hackathon 7th】Netron 原生支持 Paddle PIR 可视化

[megemini]

本 ISSUE 用于跟踪 Netron 原生支持 Paddle PIR 可视化的相关问题 ～

关联：https://github.com/PaddlePaddle/community/blob/master/hackathon/hackathon_7th/%E3%80%90Hackathon%207th%E3%80%91FundableProject%E4%BB%BB%E5%8A%A1%E5%90%88%E9%9B%86.md#%E5%85%ABnetron-%E5%8E%9F%E7%94%9F%E6%94%AF%E6%8C%81-paddle-pir-%E5%8F%AF%E8%A7%86%E5%8C%96

Update 20241113

已测试如下模型：

for_net.json

图中的 while 子图 block_1

if_net.json

图中的 if 子图 block_1

if 子图 block_2

model.json

model_pylayer.json

图中的 pylayer 子图

while_net.json

图中的 while 子图

另外，tensor 边的映射如下

---

目前需要确认的问题：

1. 子图的显示方案

netron 显示子图的方案如上图所示，是单独开一个窗口。VisualDL 如何显示的，可以在评论区贴一下 ～

至少需要覆盖以下几种情况：

• 只有一个子图
• 多个子图
• 即有 attr 也有子图
• 子图中还可以有子图

不过，具体采用哪种方案，得说服 netron 作者 ... ...

2. op 和属性的映射

目前，save 时会压缩，有一些 op 会用简写，如 p ，相应的属性也没有名字，这里暂时以 idx 作为 name。

可以提供一下需要映射的字段做适配 ～

3. json 中有一些字段在 netron 中没有合适的映射位值，如 OA DA ，这里没有做适配。
4. tensor 边在做映射时，只考虑 t_dtensor 这一种情况，与 netron 中其他框架保持一致。
5. "ModuleOp" 是个啥？json 中找不到 ... ...
6. 可以再贴一些需要验证的 json 模型 ～
7. 目前只有 json 模型文件，是否还需要参数文件？
8. 目前 netron 的子图中只能读取一个 graph，但是 json 模型还是用的 blocks 的形式，所以，目前的解决方法是只显示region 中第一个 block 。

请各位大佬看看还有啥遗漏或者建议？

p.s. netron 的 repo 好像只有一个 PR 被合入，这个做为潜在风险吧 ... ...

@luotao1

[megemini]

@luotao1 帮忙拉一下各位大佬吧 ～ 🙏🙏🙏

[wanghuancoder]

关于现有case的截图，我的一些观点：

1. for_net.json中主图while的input、output在子图中没有体现。且子图sacle的input中存在-1。需要追查修复。
2. if_net.json中，同样存在主图while的input、output在子图中没有体现。且子图sacle的input中存在1，而主图中1并不是if的input。需要追查修复。
3. model_pylayer.json中，存在主图pylayer的output在子图总没有映射体现的情况。
4. while_net.json中主图while的input、output在子图中没有体现。且子图sacle的input中存在-2。需要追查修复。
5. tensor 边的映射，type中包含name和tensor，我觉得也没有问题。我们把dtype、shape、layout等meta信息直接全都展现在tensor中效果还挺好的。
6. 但是目前tensor都是以12345命名的，能看一下参数的命名效果吗？参数命名应该类似于model.linear.w。

[wanghuancoder]

关于子图的显示方案：
毋庸置疑，肯定是VisualDL的显示方案更友好。我们可以如下处理：

1. 先把别的能力支持善，主图、子图一起显示单独一个PR来支持。
2. 给netron提的PR包含两部分解耦：1）netron能力扩展，一方面不影响其它框架的正常展示，另一方面客供其它框架调用使用。2）Paddle调用新扩展的netron能力，同时展示主图、子图。
   VisualDL的效果图如下：
   

实现原理请 @changeyoung98 志扬介绍一下？

[wanghuancoder]

4. tensor 边在做映射时，只考虑 t_dtensor 这一种情况，与 netron 中其他框架保持一致。

我觉得可以把咱们Tensor的所有meta信息集中放在t_dtensor中展示。我回答的与你提问的是一个事情吧？

[wanghuancoder]

7. 目前只有 json 模型文件，是否还需要参数文件？
   不需要参数文件，参数文件的内容都是参数的具体数值。数值不需要再netron中展示。我们只要将graph的节点、边的关系细心展示充分，展示友好即可。

[wanghuancoder]

6.可以再贴一些需要验证的 json 模型 ～

这个PR下的单测，辛苦顺师傅自己来操作一下，保存成模型文件，验证一下。同时，单测是可以在VisualDL中展示的。可以将两面的截图发出来，咱们看看。
https://github.com/PaddlePaddle/VisualDL/pull/1279/files

同时，原来提供的5个模型文件，也可以用VisualDL展示。这样可以两面对比，取优点。

[changeyoung98]

https://github.com/PaddlePaddle/community/blob/538bdc4ae021f4536c4abb6a485b3bdd77279c9c/pfcc/paddle-code-reading/IR_Dialect/pir_save_load.md#L4 这里是PIR save/load的说明文档，一些缩略符对照以及json解析在文档中有说明。

[changeyoung98]

关于子图的显示方案： 毋庸置疑，肯定是VisualDL的显示方案更友好。我们可以如下处理：

1. 先把别的能力支持善，主图、子图一起显示单独一个PR来支持。
2. 给netron提的PR包含两部分解耦：1）netron能力扩展，一方面不影响其它框架的正常展示，另一方面客供其它框架调用使用。2）Paddle调用新扩展的netron能力，同时展示主图、子图。
   VisualDL的效果图如下：
   

实现原理请 @changeyoung98 志扬介绍一下？

这里实现的核心在于绘制子图时保留下子图与父block的关系。可以参考visualdl适配同学的PR和设计文档：PaddlePaddle/VisualDL#1279

[wanghuancoder]

顺师傅，这是老的pdmodel的Netron的展示截图，有两点咱们需要跟他保持一致：

1. 参数需要在节点的白色框框中展示出来
2. 边展示的是Tensor的shape。如果可以咱们可以做成name+shape。因为我刚才看模型，第一关心的还真不是名字，而是shape

[megemini]

1. for_net.json中主图while的input、output在子图中没有体现。且子图sacle的input中存在-1。需要追查修复。

原因是：while中的regions里面没有使用while的input、output，所以没有体现。可以搜一下在netron附上的那个for_net.json文件 ～

如果手动给子图里面加上主图中的输入，netron会把他写在sidebar的信息中，如：

这里的输入 16 是通过手动修改json文件得到的。

子图sacle的input中存在-1

因为json中就是 -1 。请核对json文件 ～

2. if_net.json中，同样存在主图while的input、output在子图中没有体现。且子图sacle的input中存在1，而主图中1并不是if的input。需要追查修复。

同上 ～

3. model_pylayer.json中，存在主图pylayer的output在子图总没有映射体现的情况。

同上 ～

4. while_net.json中主图while的input、output在子图中没有体现。且子图sacle的input中存在-2。需要追查修复。

同上 ～

5. tensor 边的映射，type中包含name和tensor，我觉得也没有问题。我们把dtype、shape、layout等meta信息直接全都展现在tensor中效果还挺好的。

👍️

6. 但是目前tensor都是以12345命名的，能看一下参数的命名效果吗？参数命名应该类似于model.linear.w。

json中没有的信息，这里没办法处理 ... .....

[megemini]

顺师傅，这是老的pdmodel的Netron的展示截图，有两点咱们需要跟他保持一致：

1. 参数需要在节点的白色框框中展示出来
2. 边展示的是Tensor的shape。如果可以咱们可以做成name+shape。因为我刚才看模型，第一关心的还真不是名字，而是shape

同样的，json中没有的信息，没办法处理 ... ... 请确认json中是否有这些信息？哪些字段表示这些信息？

另外，图中 边 显示的是 name 而不是 shape ～ 请确认一下你那边这样显示的时候，netron是什么版本？

[megemini]

https://github.com/PaddlePaddle/community/blob/538bdc4ae021f4536c4abb6a485b3bdd77279c9c/pfcc/paddle-code-reading/IR_Dialect/pir_save_load.md#L4 这里是PIR save/load的说明文档，一些缩略符对照以及json解析在文档中有说明。

嗯嗯，一直参考的这个文档 ～ 其实呢，有些猜一下也是能猜出来，不过，最好能给出一个 映射表 的东西，如何？

目前能想到需要映射的：

• op 名称，如 p
• 参数名称，目前是用的 idx