在线C++多线程服务，CPU预测性能如何优化，有哪些建议

[sshilei]

我现在使用的 baidu/paddlepaddle/paddle@paddle_1-0-15-1_PD_B, 我的模型是简单的CBOW, C++预测时间约为20ms，不太符合预期，请问有哪些预测时间优化建议。
代码及config如下：

[NHZlX]

看起来版本比较低了， 请试一下最新的版本吧 。 链接： http://www.paddlepaddle.org/documentation/docs/zh/1.4/advanced_usage/deploy/inference/index_cn.html

[sshilei]

1. 输入是一维变长的tensor，类型是INT64

 87     features['query'] = fluid.layers.data(
 88         name="query", shape=[1], dtype="int64", lod_level=1)

2. embedding dim 128

 74     output = fluid.layers.embedding(
 75         input=_input,
 76         size=[dict_dim, emb_dim],
 77         param_attr=param_config(
 78             name=layer_name,
 79             learning_rate=emb_lr),
 80         is_sparse=True)

3. bow

141     output  = pooling(input=_input, pool_type='sum')
142     output = fluid.layers.softsign(output)

4. fc

126     _fc = fluid.layers.fc(
127         input=_input,
128         size=output_size,
129         num_flatten_dims=num_flatten_dims,
130         param_attr=param_config(
131             name= layer_name + "_fc__",
132             learning_rate=hparams['fc_lr'],
133             initializer=fluid.initializer.TruncatedNormal(loc = 0.0, scale = dev)),
134         bias_attr=param_config(
135             name= layer_name + "_fc_bias__",
136             initializer=fluid.initializer.Constant(value = 0.0)),
137         act = act)

[sshilei]

继续问，辛苦相关同学能够跟进，

我去掉最后的FC操作，平均耗时从20ms降低到了1ms， 请问是不是paddle内部有bug呢？

[sshilei]

我使用的编译依赖是 CONFIGS("baidu/paddlepaddle/paddle@paddle_prebuilt_cpu-1-0-0-2_PD_BL@git_tag")

[NHZlX]

fc的 输入大小和输出大小是多少呢

[sshilei]

输入128， 输出是64

[sshilei]

@NHZlX

[sshilei]

最后一步 FC, 现在激活函数， sigmoid 和relu都试过了，平响都是20ms，查看了CPU占用率很高。 CPU占用率从15%，提升到60%。

[sshilei]

如果去掉FC，只保留前三步，CPU利用率会下来，平响是1ms

[sshilei]

有FC时的CPU占用

没有FC时的CPU占用

[luotao1]

用户使用export OMP_NUM_THREADS=1 ; export MKL_NUM_THREADS=1 可以解决。
#17224 已修复该问题了。