From fb4018343a648b2d53726dac40e75bf860a0e8f2 Mon Sep 17 00:00:00 2001 From: zhanganduo Date: Thu, 7 Dec 2023 15:41:55 +0800 Subject: [PATCH 1/5] add docs --- .../FusedBiasDropoutResidualLayerNorm_cn.rst | 37 ++++++++++++++++ ...ed_bias_dropout_residual_layer_norm_cn.rst | 43 +++++++++++++++++++ 2 files changed, 80 insertions(+) create mode 100644 docs/api/paddle/incubate/nn/FusedBiasDropoutResidualLayerNorm_cn.rst create mode 100644 docs/api/paddle/incubate/nn/functional/fused_bias_dropout_residual_layer_norm_cn.rst diff --git a/docs/api/paddle/incubate/nn/FusedBiasDropoutResidualLayerNorm_cn.rst b/docs/api/paddle/incubate/nn/FusedBiasDropoutResidualLayerNorm_cn.rst new file mode 100644 index 00000000000..1a98b063f12 --- /dev/null +++ b/docs/api/paddle/incubate/nn/FusedBiasDropoutResidualLayerNorm_cn.rst @@ -0,0 +1,37 @@ +.. _cn_api_paddle_incubate_nn_FusedBiasDropoutResidualLayerNorm: + +FusedBiasDropoutResidualLayerNorm +------------------------------- + +.. py:class:: paddle.incubate.nn.FusedBiasDropoutResidualLayerNorm(embed_dim, dropout_rate=0.5, weight_attr=None, bias_attr=None, epsilon=1e-05, name=None) + +应用融合偏置、Dropout 和残差层归一化操作。 + +参数 +:::::::::::: + - **embed_dim** (int) - 输入和输出中预期的特征大小。 + - **dropout_rate** (float，可选) - 在注意力权重上使用的 Dropout 概率，用于在注意力后的 Dropout 过程中丢弃一些注意力目标。0 表示无 Dropout。默认为 0.5。 + - **bias_attr** (ParamAttr|bool，可选) - 指定偏置参数的属性。默认为 None，意味着使用默认的偏置参数属性。如果设置为 False，则该层不会有可训练的偏置参数。具体用法请参见 :ref:`cn_api_paddle_ParamAttr` 。 + - **epsilon** (float，可选) - 添加到方差中的小值，以防止除零。默认为 1e-05。 + +代码示例 +:::::::::::: + +COPY-FROM: paddle.incubate.nn.FusedBiasDropoutResidualLayerNorm + +forward(src, src_mask=None, cache=None) +:::::::::::: +应用融合偏置、Dropout 和残差层归一化操作。 + +参数 +:::::::::::: + - **x** (Tensor) - 输入张量。它是一个形状为 `[batch_size, seq_len, embed_dim]` 的张量。数据类型应为 float32 或 float64。 + - **residual** (Tensor，可选) - 残差张量。它是一个形状为 `[batch_size, value_length, vdim]` 的张量。数据类型应为 float32 或 float64。 + +返回 +:::::::::::: +Tensor|tuple：数据类型与 ``x`` 一样。 + +extra_repr() +:::::::::::: +返回当前层的额外信息。 diff --git a/docs/api/paddle/incubate/nn/functional/fused_bias_dropout_residual_layer_norm_cn.rst b/docs/api/paddle/incubate/nn/functional/fused_bias_dropout_residual_layer_norm_cn.rst new file mode 100644 index 00000000000..41e50302baf --- /dev/null +++ b/docs/api/paddle/incubate/nn/functional/fused_bias_dropout_residual_layer_norm_cn.rst @@ -0,0 +1,43 @@ +.. _cn_api_paddle_incubate_nn_functional_fused_bias_dropout_residual_layer_norm: + +fused_bias_dropout_residual_layer_norm +------------------------------- + +.. py:function:: paddle.incubate.nn.functional.fused_bias_dropout_residual_layer_norm(x, residual, bias=None, ln_scale=None, ln_bias=None, dropout_rate=0.5, ln_epsilon=1e-05, training=True, mode='upscale_in_train', name=None) + +融合偏置、Dropout 和残差层归一化操作符。其伪代码如下： + +.. code-block:: text + + >>> y = layer_norm(residual + dropout(bias + x)) + +参数 +:::::::::::: + - **x** (Tensor) - 输入张量。其形状为 `[*, embed_dim]`。 + - **residual** (Tensor) - 残差张量。其形状与 x 相同。 + - **bias** (Tensor，可选) - 线性的偏置。其形状为 `[embed_dim]`。默认为 None。 + - **ln_scale** (Tensor，可选) - 层归一化的权重张量。其形状为 `[embed_dim]`。默认为 None。 + - **ln_bias** (Tensor，可选) - 层归一化的偏置张量。其形状为 `[embed_dim]`。默认为 None。 + - **dropout_rate** (float，可选) - 在注意力权重上使用的 Dropout 概率，用于在注意力后的 Dropout 过程中丢弃一些注意力目标。0 表示无 Dropout。默认为 0.5。 + - **ln_epsilon** (float，可选) - 在层归一化的分母中添加的小浮点数，用于避免除以零。默认为 1e-5。 + - **training** (bool，可选) - 表示是否处于训练阶段的标志。默认为 True。 + - **mode** (str，可选) - ['upscale_in_train'(默认) | 'downscale_in_infer']，有两种模式： + + 1. upscale_in_train(默认)，在训练时上调输出 + - 训练：out = input * mask / (1.0 - p) + - 推理：out = input + + 2. downscale_in_infer，在推理时下调输出 + - 训练：out = input * mask + - 推理：out = input * (1.0 - p) + - **name** (str，可选) - 操作的名称（可选，默认为 None）。更多信息，请参考：ref:`api_guide_Name`。 + +返回 +:::::::::::: + - Tensor，输出张量，数据类型和形状与 `x` 相同。 + + +代码示例 +:::::::::::: + +COPY-FROM: paddle.incubate.nn.functional.fused_bias_dropout_residual_layer_norm From 358b214be5ccd94d472ff07fece31d2bb7930136 Mon Sep 17 00:00:00 2001 From: zhanganduo Date: Wed, 17 Jan 2024 14:24:48 +0800 Subject: [PATCH 2/5] fix doc issues --- .../nn/FusedBiasDropoutResidualLayerNorm_cn.rst | 10 +++++----- .../fused_bias_dropout_residual_layer_norm_cn.rst | 8 +++++--- 2 files changed, 10 insertions(+), 8 deletions(-) diff --git a/docs/api/paddle/incubate/nn/FusedBiasDropoutResidualLayerNorm_cn.rst b/docs/api/paddle/incubate/nn/FusedBiasDropoutResidualLayerNorm_cn.rst index 1a98b063f12..0687433736b 100644 --- a/docs/api/paddle/incubate/nn/FusedBiasDropoutResidualLayerNorm_cn.rst +++ b/docs/api/paddle/incubate/nn/FusedBiasDropoutResidualLayerNorm_cn.rst @@ -5,7 +5,7 @@ FusedBiasDropoutResidualLayerNorm .. py:class:: paddle.incubate.nn.FusedBiasDropoutResidualLayerNorm(embed_dim, dropout_rate=0.5, weight_attr=None, bias_attr=None, epsilon=1e-05, name=None) -应用融合偏置、Dropout 和残差层归一化操作。 +应用 fused_bias_dropout_residual_layer_norm 操作符，包含融合偏置、Dropout 和残差层归一化操作。 参数 :::::::::::: @@ -19,9 +19,9 @@ FusedBiasDropoutResidualLayerNorm COPY-FROM: paddle.incubate.nn.FusedBiasDropoutResidualLayerNorm -forward(src, src_mask=None, cache=None) +forward(x, residual) :::::::::::: -应用融合偏置、Dropout 和残差层归一化操作。 +应用 fused_bias_dropout_residual_layer_norm 操作符，包含融合偏置、Dropout 和残差层归一化操作。 参数 :::::::::::: @@ -30,8 +30,8 @@ forward(src, src_mask=None, cache=None) 返回 :::::::::::: -Tensor|tuple：数据类型与 ``x`` 一样。 +Tensor|tuple：与 `x` 具有相同数据类型和形状的张量 extra_repr() :::::::::::: -返回当前层的额外信息。 +当前层的额外表示，您可以自定义实现自己的层。 diff --git a/docs/api/paddle/incubate/nn/functional/fused_bias_dropout_residual_layer_norm_cn.rst b/docs/api/paddle/incubate/nn/functional/fused_bias_dropout_residual_layer_norm_cn.rst index 41e50302baf..b96b3149c5f 100644 --- a/docs/api/paddle/incubate/nn/functional/fused_bias_dropout_residual_layer_norm_cn.rst +++ b/docs/api/paddle/incubate/nn/functional/fused_bias_dropout_residual_layer_norm_cn.rst @@ -5,7 +5,9 @@ fused_bias_dropout_residual_layer_norm .. py:function:: paddle.incubate.nn.functional.fused_bias_dropout_residual_layer_norm(x, residual, bias=None, ln_scale=None, ln_bias=None, dropout_rate=0.5, ln_epsilon=1e-05, training=True, mode='upscale_in_train', name=None) -融合偏置、Dropout 和残差层归一化操作符。其伪代码如下： +fused_bias_dropout_residual_layer_norm 操作符，包含融合偏置、Dropout 和残差层归一化。 + +其伪代码如下： .. code-block:: text @@ -21,7 +23,7 @@ fused_bias_dropout_residual_layer_norm - **dropout_rate** (float，可选) - 在注意力权重上使用的 Dropout 概率，用于在注意力后的 Dropout 过程中丢弃一些注意力目标。0 表示无 Dropout。默认为 0.5。 - **ln_epsilon** (float，可选) - 在层归一化的分母中添加的小浮点数，用于避免除以零。默认为 1e-5。 - **training** (bool，可选) - 表示是否处于训练阶段的标志。默认为 True。 - - **mode** (str，可选) - ['upscale_in_train'(默认) | 'downscale_in_infer']，有两种模式： + - **mode** (str，可选) - ['upscale_in_train'(默认) | 'downscale_in_infer']，两种模式分别为： 1. upscale_in_train(默认)，在训练时上调输出 - 训练：out = input * mask / (1.0 - p) @@ -30,7 +32,7 @@ fused_bias_dropout_residual_layer_norm 2. downscale_in_infer，在推理时下调输出 - 训练：out = input * mask - 推理：out = input * (1.0 - p) - - **name** (str，可选) - 操作的名称（可选，默认为 None）。更多信息，请参考：ref:`api_guide_Name`。 + - **name** (str，可选) - 操作的名称（可选，默认为 None）。具体用法请参见 :ref:`api_guide_Name`。 返回 :::::::::::: From 1f88fa8755a2a4513aefd552b9cdc7d975b79be2 Mon Sep 17 00:00:00 2001 From: Android zhang <53324261+zade23@users.noreply.github.com> Date: Wed, 17 Jan 2024 15:14:08 +0800 Subject: [PATCH 3/5] Update docs/api/paddle/incubate/nn/functional/fused_bias_dropout_residual_layer_norm_cn.rst Co-authored-by: zachary sun <70642955+sunzhongkai588@users.noreply.github.com> --- .../nn/functional/fused_bias_dropout_residual_layer_norm_cn.rst | 1 + 1 file changed, 1 insertion(+) diff --git a/docs/api/paddle/incubate/nn/functional/fused_bias_dropout_residual_layer_norm_cn.rst b/docs/api/paddle/incubate/nn/functional/fused_bias_dropout_residual_layer_norm_cn.rst index b96b3149c5f..43515435d94 100644 --- a/docs/api/paddle/incubate/nn/functional/fused_bias_dropout_residual_layer_norm_cn.rst +++ b/docs/api/paddle/incubate/nn/functional/fused_bias_dropout_residual_layer_norm_cn.rst @@ -26,6 +26,7 @@ fused_bias_dropout_residual_layer_norm 操作符，包含融合偏置、Dropout - **mode** (str，可选) - ['upscale_in_train'(默认) | 'downscale_in_infer']，两种模式分别为： 1. upscale_in_train(默认)，在训练时上调输出 + - 训练：out = input * mask / (1.0 - p) - 推理：out = input From 3f8be7eb5cdc86c30d29ea2402a4fdfb58f797d7 Mon Sep 17 00:00:00 2001 From: Android zhang <53324261+zade23@users.noreply.github.com> Date: Wed, 17 Jan 2024 15:14:22 +0800 Subject: [PATCH 4/5] Update docs/api/paddle/incubate/nn/functional/fused_bias_dropout_residual_layer_norm_cn.rst Co-authored-by: zachary sun <70642955+sunzhongkai588@users.noreply.github.com> --- .../nn/functional/fused_bias_dropout_residual_layer_norm_cn.rst | 1 + 1 file changed, 1 insertion(+) diff --git a/docs/api/paddle/incubate/nn/functional/fused_bias_dropout_residual_layer_norm_cn.rst b/docs/api/paddle/incubate/nn/functional/fused_bias_dropout_residual_layer_norm_cn.rst index 43515435d94..316ea28886a 100644 --- a/docs/api/paddle/incubate/nn/functional/fused_bias_dropout_residual_layer_norm_cn.rst +++ b/docs/api/paddle/incubate/nn/functional/fused_bias_dropout_residual_layer_norm_cn.rst @@ -31,6 +31,7 @@ fused_bias_dropout_residual_layer_norm 操作符，包含融合偏置、Dropout - 推理：out = input 2. downscale_in_infer，在推理时下调输出 + - 训练：out = input * mask - 推理：out = input * (1.0 - p) - **name** (str，可选) - 操作的名称（可选，默认为 None）。具体用法请参见 :ref:`api_guide_Name`。 From 6c6f0cff002437cc9a56216977dc03898fa2468b Mon Sep 17 00:00:00 2001 From: zhanganduo Date: Wed, 17 Jan 2024 15:55:47 +0800 Subject: [PATCH 5/5] rerun pre-commit --- .../incubate/nn/FusedBiasDropoutResidualLayerNorm_cn.rst | 2 +- .../fused_bias_dropout_residual_layer_norm_cn.rst | 6 +++--- 2 files changed, 4 insertions(+), 4 deletions(-) diff --git a/docs/api/paddle/incubate/nn/FusedBiasDropoutResidualLayerNorm_cn.rst b/docs/api/paddle/incubate/nn/FusedBiasDropoutResidualLayerNorm_cn.rst index 0687433736b..85d3db7aad3 100644 --- a/docs/api/paddle/incubate/nn/FusedBiasDropoutResidualLayerNorm_cn.rst +++ b/docs/api/paddle/incubate/nn/FusedBiasDropoutResidualLayerNorm_cn.rst @@ -25,7 +25,7 @@ forward(x, residual) 参数 :::::::::::: - - **x** (Tensor) - 输入张量。它是一个形状为 `[batch_size, seq_len, embed_dim]` 的张量。数据类型应为 float32 或 float64。 + - **x** (Tensor) - 输入张量。它是一个形状为 `[batch_size, seq_len, embed_dim]` 的张量。数据类型应为 float32 或 float64 。 - **residual** (Tensor，可选) - 残差张量。它是一个形状为 `[batch_size, value_length, vdim]` 的张量。数据类型应为 float32 或 float64。 返回 diff --git a/docs/api/paddle/incubate/nn/functional/fused_bias_dropout_residual_layer_norm_cn.rst b/docs/api/paddle/incubate/nn/functional/fused_bias_dropout_residual_layer_norm_cn.rst index 316ea28886a..1bb35db4b6c 100644 --- a/docs/api/paddle/incubate/nn/functional/fused_bias_dropout_residual_layer_norm_cn.rst +++ b/docs/api/paddle/incubate/nn/functional/fused_bias_dropout_residual_layer_norm_cn.rst @@ -20,18 +20,18 @@ fused_bias_dropout_residual_layer_norm 操作符，包含融合偏置、Dropout - **bias** (Tensor，可选) - 线性的偏置。其形状为 `[embed_dim]`。默认为 None。 - **ln_scale** (Tensor，可选) - 层归一化的权重张量。其形状为 `[embed_dim]`。默认为 None。 - **ln_bias** (Tensor，可选) - 层归一化的偏置张量。其形状为 `[embed_dim]`。默认为 None。 - - **dropout_rate** (float，可选) - 在注意力权重上使用的 Dropout 概率，用于在注意力后的 Dropout 过程中丢弃一些注意力目标。0 表示无 Dropout。默认为 0.5。 + - **dropout_rate** (float，可选) - 在注意力权重上使用的 Dropout 概率，用于在注意力后的 Dropout 过程中丢弃一些注意力目标。0 表示无 Dropout。默认为 0.5 。 - **ln_epsilon** (float，可选) - 在层归一化的分母中添加的小浮点数，用于避免除以零。默认为 1e-5。 - **training** (bool，可选) - 表示是否处于训练阶段的标志。默认为 True。 - **mode** (str，可选) - ['upscale_in_train'(默认) | 'downscale_in_infer']，两种模式分别为： 1. upscale_in_train(默认)，在训练时上调输出 - + - 训练：out = input * mask / (1.0 - p) - 推理：out = input 2. downscale_in_infer，在推理时下调输出 - + - 训练：out = input * mask - 推理：out = input * (1.0 - p) - **name** (str，可选) - 操作的名称（可选，默认为 None）。具体用法请参见 :ref:`api_guide_Name`。