From 99432d8ade9523cde8238dd98f960e4c4b089121 Mon Sep 17 00:00:00 2001 From: zhanganduo Date: Mon, 25 Sep 2023 16:52:03 +0800 Subject: [PATCH 1/8] fix zh_doc_6061 --- .../nn/functional/fused_layer_norm_cn.rst | 41 +++++++++++++++++++ .../nn/functional/fused_rms_norm_cn.rst | 40 ++++++++++++++++++ 2 files changed, 81 insertions(+) create mode 100644 docs/api/paddle/incubate/nn/functional/fused_layer_norm_cn.rst create mode 100644 docs/api/paddle/incubate/nn/functional/fused_rms_norm_cn.rst diff --git a/docs/api/paddle/incubate/nn/functional/fused_layer_norm_cn.rst b/docs/api/paddle/incubate/nn/functional/fused_layer_norm_cn.rst new file mode 100644 index 00000000000..19630017a4c --- /dev/null +++ b/docs/api/paddle/incubate/nn/functional/fused_layer_norm_cn.rst @@ -0,0 +1,41 @@ +.. _cn_api_paddle_incubate_nn_functional_fused_layer_norm: + +fused_layer_norm +------------------------------- + +.. py:function:: paddle.incubate.nn.functional.fused_layer_norm(x, norm_weight, norm_bias, epsilon, residual_alpha=1.0, begin_norm_axis=1, bias=None, residual=None, quant_scale=- 1, quant_round_type=0, quant_max_bound=0, quant_min_bound=0) + +应用 Fused LayerNorm 内核，提供了更高的 GPU 利用率。同时，支持模式融合 LayerNorm(bias + residual_alpha * residual + x)。 + +当 norm_weight 和 norm_bias 为 None 时，返回融合的 (bias + residual_alpha * residual + x)。 + +fused_layer_norm 算子目前只支持在 GPU 下运行。 + +参数 +:::::::::::: + - **x** (Tensor) - 输入 ``Tensor``。 + - **norm_weight** (Tensor) - 用于仿射输出的权重张量。 + - **norm_bias** (Tensor) - 用于仿射输出的偏置张量。 + - **epsilon** (float) - 一个小的浮点数，用于避免除以零。 + - **residual_alpha** (float) - 用于残差的缩放因子，默认为 1。 + - **begin_norm_axis** (int) - 归一化的起始轴，默认为 1。 + - **bias** (可选|Tensor) - 前一层的偏置，用于融合。 + - **residual** (可选|Tensor) - 输入的残差，用于融合。 + - **quant_scale** (float) - 量化比例。 + - **quant_round_type** (float) - 量化四舍五入类型。 + - **quant_max_bound** (float) - 量化的最大边界进行裁剪。 + - **quant_min_bound** (float) - 量化的最小边界进行裁剪。 + + +返回 +:::::::::::: +输出``Tensor`` + +形状 +:::::::::::: +``Tensor``，形状同 ``x`` 一致。 + +代码示例 +:::::::::::: + +COPY-FROM: paddle.incubate.nn.functional.fused_layer_norm diff --git a/docs/api/paddle/incubate/nn/functional/fused_rms_norm_cn.rst b/docs/api/paddle/incubate/nn/functional/fused_rms_norm_cn.rst new file mode 100644 index 00000000000..4091c67c796 --- /dev/null +++ b/docs/api/paddle/incubate/nn/functional/fused_rms_norm_cn.rst @@ -0,0 +1,40 @@ +.. _cn_api_paddle_incubate_nn_functional_fused_rms_norm: + +fused_rms_norm +------------------------------- + +.. py:function:: paddle.incubate.nn.functional.fused_rms_norm(x, norm_weight, norm_bias, epsilon, begin_norm_axis, bias=None, residual=None, quant_scale=- 1, quant_round_type=0, quant_max_bound=0, quant_min_bound=0) + +应用 Fused RMSNorm 内核，提供了更高的 GPU 利用率。同时，支持模式融合 RMSNorm(bias + residual + x)。 + +细节可参考论文 `Root Mean Square Layer Normalization `_ 。 + +fused_rms_norm 算子目前只支持在 GPU 下运行， + +参数 +:::::::::::: + - **x** (Tensor) - 输入 ``Tensor``。 + - **norm_weight** (Tensor) - 用于仿射输出的权重张量。 + - **norm_bias** (Tensor) - 用于仿射输出的偏置张量。 + - **epsilon** (float) - 一个小的浮点数，用于避免除以零。 + - **begin_norm_axis** (int) - 归一化的起始轴，默认为 1。 + - **bias** (可选|Tensor) - 前一层的偏置，用于融合。 + - **residual** (可选|Tensor) - 输入的残差，用于融合。 + - **quant_scale** (float) - 量化比例。 + - **quant_round_type** (float) - 量化四舍五入类型。 + - **quant_max_bound** (float) - 量化的最大边界进行裁剪。 + - **quant_min_bound** (float) - 量化的最小边界进行裁剪。 + + +返回 +:::::::::::: +输出``Tensor`` + +形状 +:::::::::::: +``Tensor``，形状同 ``x`` 一致。 + +代码示例 +:::::::::::: + +COPY-FROM: paddle.incubate.nn.functional.fused_rms_norm From 06390ac953140d792c7ca001a6743a163e5bb77c Mon Sep 17 00:00:00 2001 From: Android zhang <53324261+zade23@users.noreply.github.com> Date: Wed, 27 Sep 2023 17:03:21 +0800 Subject: [PATCH 2/8] Update fused_rms_norm_cn.rst --- .../incubate/nn/functional/fused_rms_norm_cn.rst | 10 +++++----- 1 file changed, 5 insertions(+), 5 deletions(-) diff --git a/docs/api/paddle/incubate/nn/functional/fused_rms_norm_cn.rst b/docs/api/paddle/incubate/nn/functional/fused_rms_norm_cn.rst index 4091c67c796..a29bbf38579 100644 --- a/docs/api/paddle/incubate/nn/functional/fused_rms_norm_cn.rst +++ b/docs/api/paddle/incubate/nn/functional/fused_rms_norm_cn.rst @@ -18,12 +18,12 @@ fused_rms_norm 算子目前只支持在 GPU 下运行， - **norm_bias** (Tensor) - 用于仿射输出的偏置张量。 - **epsilon** (float) - 一个小的浮点数，用于避免除以零。 - **begin_norm_axis** (int) - 归一化的起始轴，默认为 1。 - - **bias** (可选|Tensor) - 前一层的偏置，用于融合。 - - **residual** (可选|Tensor) - 输入的残差，用于融合。 - - **quant_scale** (float) - 量化比例。 + - **bias** (可选|Tensor) - 前一层的偏置。 + - **residual** (可选|Tensor) - 输入的残差。 + - **quant_scale** (float) - 量化缩放因子。 - **quant_round_type** (float) - 量化四舍五入类型。 - - **quant_max_bound** (float) - 量化的最大边界进行裁剪。 - - **quant_min_bound** (float) - 量化的最小边界进行裁剪。 + - **quant_max_bound** (float) - 量化裁剪的最大边界值。 + - **quant_min_bound** (float) - 量化裁剪的最小边界值。 返回 From 2e75eb0ddb9a32f161fc40636b7565368030c827 Mon Sep 17 00:00:00 2001 From: Android zhang <53324261+zade23@users.noreply.github.com> Date: Wed, 27 Sep 2023 17:03:27 +0800 Subject: [PATCH 3/8] Update fused_layer_norm_cn.rst --- .../incubate/nn/functional/fused_layer_norm_cn.rst | 10 +++++----- 1 file changed, 5 insertions(+), 5 deletions(-) diff --git a/docs/api/paddle/incubate/nn/functional/fused_layer_norm_cn.rst b/docs/api/paddle/incubate/nn/functional/fused_layer_norm_cn.rst index 19630017a4c..18b95ad89d4 100644 --- a/docs/api/paddle/incubate/nn/functional/fused_layer_norm_cn.rst +++ b/docs/api/paddle/incubate/nn/functional/fused_layer_norm_cn.rst @@ -19,12 +19,12 @@ fused_layer_norm 算子目前只支持在 GPU 下运行。 - **epsilon** (float) - 一个小的浮点数，用于避免除以零。 - **residual_alpha** (float) - 用于残差的缩放因子，默认为 1。 - **begin_norm_axis** (int) - 归一化的起始轴，默认为 1。 - - **bias** (可选|Tensor) - 前一层的偏置，用于融合。 - - **residual** (可选|Tensor) - 输入的残差，用于融合。 - - **quant_scale** (float) - 量化比例。 + - **bias** (可选|Tensor) - 前一层的偏置。 + - **residual** (可选|Tensor) - 输入的残差。 + - **quant_scale** (float) - 量化缩放因子。 - **quant_round_type** (float) - 量化四舍五入类型。 - - **quant_max_bound** (float) - 量化的最大边界进行裁剪。 - - **quant_min_bound** (float) - 量化的最小边界进行裁剪。 + - **quant_max_bound** (float) - 量化裁剪的最大边界值。 + - **quant_min_bound** (float) - 量化裁剪的最小边界值。 返回 From f9d63935adb3191d88151906061a847f352cdbb7 Mon Sep 17 00:00:00 2001 From: Android zhang <53324261+zade23@users.noreply.github.com> Date: Thu, 28 Sep 2023 11:06:58 +0800 Subject: [PATCH 4/8] Update docs/api/paddle/incubate/nn/functional/fused_rms_norm_cn.rst Co-authored-by: zachary sun <70642955+sunzhongkai588@users.noreply.github.com> --- docs/api/paddle/incubate/nn/functional/fused_rms_norm_cn.rst | 2 +- 1 file changed, 1 insertion(+), 1 deletion(-) diff --git a/docs/api/paddle/incubate/nn/functional/fused_rms_norm_cn.rst b/docs/api/paddle/incubate/nn/functional/fused_rms_norm_cn.rst index a29bbf38579..746dfe7452b 100644 --- a/docs/api/paddle/incubate/nn/functional/fused_rms_norm_cn.rst +++ b/docs/api/paddle/incubate/nn/functional/fused_rms_norm_cn.rst @@ -28,7 +28,7 @@ fused_rms_norm 算子目前只支持在 GPU 下运行， 返回 :::::::::::: -输出``Tensor`` +输出 ``Tensor`` 形状 :::::::::::: From 4d464967b7a6403d16c7c7931d4adcb719564f8a Mon Sep 17 00:00:00 2001 From: Android zhang <53324261+zade23@users.noreply.github.com> Date: Thu, 28 Sep 2023 11:07:04 +0800 Subject: [PATCH 5/8] Update docs/api/paddle/incubate/nn/functional/fused_layer_norm_cn.rst Co-authored-by: zachary sun <70642955+sunzhongkai588@users.noreply.github.com> --- docs/api/paddle/incubate/nn/functional/fused_layer_norm_cn.rst | 2 +- 1 file changed, 1 insertion(+), 1 deletion(-) diff --git a/docs/api/paddle/incubate/nn/functional/fused_layer_norm_cn.rst b/docs/api/paddle/incubate/nn/functional/fused_layer_norm_cn.rst index 18b95ad89d4..4cedc71044e 100644 --- a/docs/api/paddle/incubate/nn/functional/fused_layer_norm_cn.rst +++ b/docs/api/paddle/incubate/nn/functional/fused_layer_norm_cn.rst @@ -29,7 +29,7 @@ fused_layer_norm 算子目前只支持在 GPU 下运行。 返回 :::::::::::: -输出``Tensor`` +输出 ``Tensor`` 形状 :::::::::::: From 119fb1c32582830a3dcc7fe5f39a1d3a4acc303e Mon Sep 17 00:00:00 2001 From: Android zhang <53324261+zade23@users.noreply.github.com> Date: Thu, 28 Sep 2023 11:07:09 +0800 Subject: [PATCH 6/8] Update docs/api/paddle/incubate/nn/functional/fused_layer_norm_cn.rst Co-authored-by: zachary sun <70642955+sunzhongkai588@users.noreply.github.com> --- .../api/paddle/incubate/nn/functional/fused_layer_norm_cn.rst | 4 ++-- 1 file changed, 2 insertions(+), 2 deletions(-) diff --git a/docs/api/paddle/incubate/nn/functional/fused_layer_norm_cn.rst b/docs/api/paddle/incubate/nn/functional/fused_layer_norm_cn.rst index 4cedc71044e..3fefdeb1774 100644 --- a/docs/api/paddle/incubate/nn/functional/fused_layer_norm_cn.rst +++ b/docs/api/paddle/incubate/nn/functional/fused_layer_norm_cn.rst @@ -19,8 +19,8 @@ fused_layer_norm 算子目前只支持在 GPU 下运行。 - **epsilon** (float) - 一个小的浮点数，用于避免除以零。 - **residual_alpha** (float) - 用于残差的缩放因子，默认为 1。 - **begin_norm_axis** (int) - 归一化的起始轴，默认为 1。 - - **bias** (可选|Tensor) - 前一层的偏置。 - - **residual** (可选|Tensor) - 输入的残差。 + - **bias** (Tensor，可选) - 前一层的偏置。 + - **residual** (Tensor，可选) - 输入的残差。 - **quant_scale** (float) - 量化缩放因子。 - **quant_round_type** (float) - 量化四舍五入类型。 - **quant_max_bound** (float) - 量化裁剪的最大边界值。 From 1f0da34361356ce503936127ea8de872c9c80f1f Mon Sep 17 00:00:00 2001 From: Android zhang <53324261+zade23@users.noreply.github.com> Date: Thu, 28 Sep 2023 11:07:16 +0800 Subject: [PATCH 7/8] Update docs/api/paddle/incubate/nn/functional/fused_rms_norm_cn.rst Co-authored-by: zachary sun <70642955+sunzhongkai588@users.noreply.github.com> --- docs/api/paddle/incubate/nn/functional/fused_rms_norm_cn.rst | 4 ++-- 1 file changed, 2 insertions(+), 2 deletions(-) diff --git a/docs/api/paddle/incubate/nn/functional/fused_rms_norm_cn.rst b/docs/api/paddle/incubate/nn/functional/fused_rms_norm_cn.rst index 746dfe7452b..fe34eda2410 100644 --- a/docs/api/paddle/incubate/nn/functional/fused_rms_norm_cn.rst +++ b/docs/api/paddle/incubate/nn/functional/fused_rms_norm_cn.rst @@ -18,8 +18,8 @@ fused_rms_norm 算子目前只支持在 GPU 下运行， - **norm_bias** (Tensor) - 用于仿射输出的偏置张量。 - **epsilon** (float) - 一个小的浮点数，用于避免除以零。 - **begin_norm_axis** (int) - 归一化的起始轴，默认为 1。 - - **bias** (可选|Tensor) - 前一层的偏置。 - - **residual** (可选|Tensor) - 输入的残差。 + - **bias** (Tensor，可选) - 前一层的偏置。 + - **residual** (Tensor，可选) - 输入的残差。 - **quant_scale** (float) - 量化缩放因子。 - **quant_round_type** (float) - 量化四舍五入类型。 - **quant_max_bound** (float) - 量化裁剪的最大边界值。 From 0140fe18e39167814a8019a97d7d51dce72fb49b Mon Sep 17 00:00:00 2001 From: Android zhang <53324261+zade23@users.noreply.github.com> Date: Thu, 28 Sep 2023 11:22:54 +0800 Subject: [PATCH 8/8] Update fused_rms_norm_cn.rst fix Symbol_Error --- docs/api/paddle/incubate/nn/functional/fused_rms_norm_cn.rst | 2 +- 1 file changed, 1 insertion(+), 1 deletion(-) diff --git a/docs/api/paddle/incubate/nn/functional/fused_rms_norm_cn.rst b/docs/api/paddle/incubate/nn/functional/fused_rms_norm_cn.rst index fe34eda2410..1cb6548d0fe 100644 --- a/docs/api/paddle/incubate/nn/functional/fused_rms_norm_cn.rst +++ b/docs/api/paddle/incubate/nn/functional/fused_rms_norm_cn.rst @@ -9,7 +9,7 @@ fused_rms_norm 细节可参考论文 `Root Mean Square Layer Normalization `_ 。 -fused_rms_norm 算子目前只支持在 GPU 下运行， +fused_rms_norm 算子目前只支持在 GPU 下运行。 参数 ::::::::::::