Parameter server design questions

[helinwang]

• parameter怎么被切的，比如说Y = W*X + B，parameter是W和B，上传paramter给pserver的时候，是整个W传给一个pserver，整个B传给另一个pserver吗？还是一个parameter切成很多block放在不同的pserver。

[jacquesqiao]

parameter vs parameter block
parameter server 为什么要支持matrix接口

[dzhwinter]

PServer 5-3 discussion

1. 目前的Paddle ParameterServer中，为什么需要暴露Matrixdot，VectordotMatrix等底层操作功能
2. localParameterUpdater和 RemoteParameterUpdater有无办法统一起来？能否通过rpc屏蔽在同一个机器或在不同机器上的实现差异？
3. optimizer该如何提供接口。初版只提供sgd类算法，对owlqn，ftrl该如何提供合适的接口？
4. parameter的粒度是Matrix吗，在目前的Paddle中，例如y = W *x + b, 是否W对应一个Matrix, b对应一个Matrix？那么是如何划分模型的Parameter到各个PServer实例上的，有没有对parameter矩阵切分到更细粒度？
5. PServer使用多个端口确实可以加速吗？建立多个连接是否有必要？
6. PServer中rdma使用程度如何？在统一使用rpc lib的情况下如何对rdma的支持？提供单独的rdma接口调用？

请确认目前sparseMatrix对应的模型的操作序列以及模型更新方式，例如prefetchMatrix, sparseRemoteUpdate等@jacquesqiao

[helinwang]

目前的Paddle ParameterServer中，为什么需要暴露Matrixdot，VectordotMatrix等底层操作功能

These complicated operations were exposed to support the implementation of distributed OWLQN, which, however, has been abandoned. So we can remove these calls from the RPC interface of parameter server.

[gongweibao]

5. PServer使用多个端口确实可以加速吗？建立多个连接是否有必要？

可能原因，不确定：

• 一层的参数往外发，每次发的很小。带宽占不满？
• 现在的tcp通信是一个同步的，简单地通信模型。rpc自己有通信模型，一个端口是能把流量打满。

第一版先用一个port，如果有问题再查

[helinwang]

This is done, pserver design doc is merged: https://github.com/PaddlePaddle/Paddle/blob/develop/doc/design/cluster_train/pserver_client.md

[Tron-x]

请问 parameter怎么被切的，比如说Y = W*X + B，parameter是W和B，上传paramter给pserver的时候，是整个W传给一个pserver，整个B传给另一个pserver吗？还是一个parameter切成很多block放在不同的pserver。另外每个worker负责部分参数？这个一直没理解，部分参数如何训练模型

[helinwang]

是“一个parameter切成很多block放在不同的pserver”。
训练模型的时候仍然是整个参数进行训练，只是同一个参数会从不同pserver上下载下来。