07/Label semantic roles#5798
Conversation
… label_semantic_roles
… label_semantic_roles
lcy-seso
left a comment
lcy-seso
left a comment
There was a problem hiding this comment.
从网络结构中，除了一些（我）难以理解的超参数设置，我也看不出来为什么CRF计算会溢出。是否可能先简化LSTM的层数，固定初始化，从数值计算一点点来检查。
CRF 输入和转移矩阵计算EXP之后的数值是不是有可能溢出？
| size=[mark_dict_len, mark_dim], | ||
| data_type='float32', | ||
| is_sparse=IS_SPARSE, | ||
| param_attr=std_0) |
There was a problem hiding this comment.
这个 embedding 参数是需要学习的，对吗，这里的 std_0 会将参数初始化成全零吗？但book里面似乎也是这样设置，这个好奇怪。
There was a problem hiding this comment.
book里的embedding层提供了初始化模型，不用学习~
There was a problem hiding this comment.
嗯，这个正在加，load之前训练好的embedding
| size=hidden_dim, | ||
| candidate_activation='relu', | ||
| gate_activation='sigmoid', | ||
| cell_activation='sigmoid', |
There was a problem hiding this comment.
这个激活的组合好奇怪，除去 gate 固定用 sigmoid 之外。
上面红色圈出来的是cell_activation，蓝色圈出来的是candidate_activation，我理解的对吗？
sigmoid激活域最小，relu激活输出无上限，连乘太多次之后容易激活多大（CRF 后面会对relu的激活值再求 exponential），一般都习惯性从 tanh 作为默认激活开始训练。- 不过 book 原来的配置就是这样的设置，先以（数值）稳定地训练为目标吧。
| mark_dim = 5 | ||
| hidden_dim = 512 | ||
| depth = 8 | ||
| default_std = 1 / math.sqrt(hidden_dim) / 3.0 |
There was a problem hiding this comment.
先去掉这些奇怪的初始化方式了，默认使用XavierInitializer
| layers.fc(input=input_tmp[1], | ||
| size=label_dict_len, | ||
| bias_attr=std_default, | ||
| param_attr=lstm_para_attr) |
There was a problem hiding this comment.
这个参数会被初始化成全零吗，只剩下 bias？看着好奇怪/危险。
| name='label', shape=[1], data_type='int32', main_program=program) | ||
| hidden = layers.fc(input=images, | ||
| size=128, | ||
| act='relu', |
| candidate_activation='relu', | ||
| gate_activation='sigmoid', | ||
| cell_activation='sigmoid', | ||
| is_reverse=((i % 2) == 1), |
There was a problem hiding this comment.
change this argument to
is_reversed
or
reversed
better?
@qingqing01
5 participants
project: #5813
fix: #5691
Tasks