【Models】add fleet model fallback

[xiaoguoguo626807]

Motivation

新增 PaddleFleet 作为模型推理后端（--model-impl paddlefleet），通过将 PaddleFleet
TransformerLayer 中的 core_attention 替换为 FastDeploy Attention 内核，实现在
PaddleFleet 模型结构上复用 FastDeploy 的 KV Cache 和高性能 Attention 计算。

Modifications

• config.py: 新增 paddlefleet 到 ModelImpl 类型定义
• engine/args_utils.py: 支持 --model-impl paddlefleet CLI 参数
• model_executor/models/paddleformers/base_fleet.py: 新增 PaddleFleetModelBase 基类和 FastDeployAttention 替换逻辑
• model_executor/models/paddleformers/__init__.py: 注册 PaddleFleetForCausalLM 模型类
• worker/worker_process.py: 同步新增 paddlefleet 选项

Usage or Command

python -m fastdeploy.entrypoints.openai.api_server \
    --model /path/to/model \
    --model-impl paddlefleet

Accuracy Tests

Checklist

• Add at least a tag in the PR title.
  • Tag list: [[FDConfig],[APIServer],[Engine], [Scheduler], [PD Disaggregation], [Executor], [Graph Optimization], [Speculative Decoding], [RL], [Models], [Quantization], [Loader], [OP], [KVCache], [DataProcessor], [BugFix], [Docs], [CI], [Optimization], [Feature], [Benchmark], [Others], [XPU], [HPU], [GCU], [DCU], [Iluvatar], [Metax]]
  • You can add new tags based on the PR content, but the semantics must be clear.
• Format your code, run pre-commit before commit.
• Add unit tests. Please write the reason in this PR if no unit tests.
• Provide accuracy results.
• If the current PR is submitting to the release branch, make sure the PR has been submitted to the develop branch, then cherry-pick it to the release branch with the [Cherry-Pick] PR tag.

[CLAassistant]

Thank you for your submission! We really appreciate it. Like many open source projects, we ask that you all sign our Contributor License Agreement before we can accept your contribution.
36 out of 39 committers have signed the CLA.

✅ xiaoguoguo626807
✅ ckl117
✅ yuanlehome
✅ qwes5s5
✅ xiaoxiaohehe001
✅ RuohengMa
✅ Deleter-D
✅ luukunn
✅ kevincheng2
✅ zhoutianzi666
✅ xyxinyang
✅ Jiang-Jia-Jun
✅ wuyujiji
✅ Tryorish
✅ cmcamdy
✅ juncaipeng
✅ huicongyao
✅ liyonghua0910
✅ Sunny-bot1
✅ jackyYang6
✅ ChowMingSing
✅ xjkmfa
✅ K11OntheBoat
✅ iosmers
✅ EmmonsCurse
✅ ApplEOFDiscord
✅ chang-wenbin
✅ BingooYang
✅ zhupengyang
✅ zoooo0820
✅ lizhenyun01
✅ Jiajun-Ji
✅ freeliuzc
✅ plusNew001
✅ Dryoung95
✅ gongshaotian
❌ root
❌ Copilot
❌ rain7996

---

root seems not to be a GitHub user. You need a GitHub account to be able to sign the CLA. If you have already a GitHub account, please add the email address used for this commit to your account.
_{You have signed the CLA already but the status is still pending? Let us recheck it.}

[paddle-bot]

Thanks for your contribution!

[PaddlePaddle-bot]

🤖 Paddle-CI-Agent | pr_review | 2026-05-07 14:07:03

📋 Review 摘要

PR 概述：新增 PaddleFleet 作为模型推理后端（--model-impl paddlefleet），通过替换 TransformerLayer 中的 core_attention 复用 FastDeploy 的 KV Cache 和高性能 Attention 计算。
变更范围：model_executor/models/paddleformers/、config.py、engine/args_utils.py、custom_ops/gpu_ops/
影响面 Tag：[Models] [OP] [FDConfig] [Engine]

---

📝 PR 规范检查

标题使用了中文括号 【Models】，不符合规范要求的 [Models] 英文方括号格式；Accuracy Tests 段仅有模板注释，无实际内容；Add unit tests 未勾选且未说明原因。

标题建议（可直接复制）：

• [Models] add fleet model fallback

PR 描述建议（可直接复制，必须复刻 checklist §D2 模板的完整结构）：

## Motivation
新增 PaddleFleet 作为模型推理后端（`--model-impl paddlefleet`），通过将 PaddleFleet TransformerLayer 中的 `core_attention` 替换为 FastDeploy Attention 内核，实现在 PaddleFleet 模型结构上复用 FastDeploy 的 KV Cache 和高性能 Attention 计算。

## Modifications
- `config.py`: 新增 `paddlefleet` 到 `ModelImpl` 类型定义
- `engine/args_utils.py`: 支持 `--model-impl paddlefleet` CLI 参数，并补充校验逻辑
- `model_executor/models/paddleformers/base_fleet.py`: 新增 `PaddleFleetModelBase` 基类、`FastDeployAttention` 层及 `patch_paddlefleet_core_attention` 替换函数
- `model_executor/models/paddleformers/__init__.py`: 注册 `PaddleFleetForCausalLM` 模型类
- `custom_ops/gpu_ops/fused_cast_sigmoid_bias.cu`: 新增 MoE gating 融合算子（cast + sigmoid + bias）
- `custom_ops/gpu_ops/speculate_decoding/build_sampling_params_logprob.cu`: 新增 logprob 采样参数构建算子
- `custom_ops/gpu_ops/speculate_decoding/speculate_logprob_utils.cu`: 将 `SpeculateGetTargetLogits` 重命名并扩展为 `SpeculateGetAcceptTokensAndLogits`（接口新增 2 个参数）

## Usage or Command
```bash
python -m fastdeploy.entrypoints.openai.api_server \
    --model /path/to/model \
    --model-impl paddlefleet
```

## Accuracy Tests
N/A（本 PR 新增 PaddleFleet 推理后端，尚未提供与参考实现的 logits 对齐数据）

## Checklist

- [x] Add at least a tag in the PR title.
  - Tag list: [`[FDConfig]`,`[APIServer]`,`[Engine]`, `[Scheduler]`, `[PD Disaggregation]`, `[Executor]`, `[Graph Optimization]`, `[Speculative Decoding]`, `[RL]`, `[Models]`, `[Quantization]`, `[Loader]`, `[OP]`, `[KVCache]`, `[DataProcessor]`, `[BugFix]`, `[Docs]`, `[CI]`, `[Optimization]`, `[Feature]`, `[Benchmark]`, `[Others]`, `[XPU]`, `[HPU]`, `[GCU]`, `[DCU]`, `[Iluvatar]`, `[Metax]`]
  - You can add new tags based on the PR content, but the semantics must be clear.
- [ ] Format your code, run `pre-commit` before commit.
- [ ] Add unit tests. Please write the reason in this PR if no unit tests.
- [ ] Provide accuracy results.
- [ ] If the current PR is submitting to the `release` branch, make sure the PR has been submitted to the `develop` branch, then cherry-pick it to the `release` branch with the `[Cherry-Pick]` PR tag.

---

问题

级别	文件	概述
🔴 Bug	custom_ops/gpu_ops/speculate_decoding/build_sampling_params_logprob.cu:1	新增 CUDA 文件未加入 setup_ops.py 编译列表，运行时将报错
📝 PR 规范	—	标题使用中文括号；Accuracy Tests 段为空；Add unit tests 未说明原因

---

总体评价

PaddleFleet backend 的整体架构设计合理，config.py/args_utils.py/模型注册的三处同步均已完成。但 build_sampling_params_logprob.cu 未注册到 setup_ops.py 是阻塞性 bug，需在合入前修复。

[PaddlePaddle-bot]

🔴 Bug 新文件已添加但未注册到编译列表

build_sampling_params_logprob.cu 是本 PR 新增的 CUDA kernel 文件，但在 custom_ops/setup_ops.py 的源文件列表中缺少该文件的注册条目。

参考 fused_cast_sigmoid_bias.cu 的处理方式（已在 setup_ops.py 中正确添加），需要在 setup_ops.py 对应的源文件列表中补充该条目，否则该 kernel 不会被编译，Python 侧（sampler.py）对 build_sampling_params_logprob 的调用将在运行时失败。

建议在 setup_ops.py 中添加（参考同目录其他 speculate_decoding kernel 的位置）：

"gpu_ops/speculate_decoding/build_sampling_params_logprob.cu",

[PaddlePaddle-bot]

🤖 Paddle-CI-Agent | ci_status_monitor | 2026-05-07 14:13:31

CI报告基于以下代码生成（30分钟更新一次）:

• PR commit: 3edb314
• Merge base: d8cdda8 (branch: develop)
• 查看完整 Diff
• CI 详情

---

1 任务总览

存在 2 个 required 任务失败，6 个 required 任务运行中，需等待运行完成后再评估合并条件。

总执行（rerun次数）	总任务	✅ 通过	❌ 失败	⏳ 运行中	⏸️ 等待中	跳过
63(0)	63	34	4	9	3	9

2 任务状态汇总

2.1 Required任务 : 2/18 通过

必选任务阻塞合并，失败需优先处理。

状态	任务	耗时	根因	修复建议	日志	重跑
❌	Approval	8s	基础设施：PR 未获必要 Reviewer 审批	请相关 Reviewer 审批此 PR	Job	-
⏳	Extracted partial CE model tasks to run in CI. / run_ce_cases	-	运行中	-	Job	-
⏳	Run Base Tests / base_tests	-	运行中	-	Job	-
⏳	Run FastDeploy LogProb Tests / run_tests_logprob	-	运行中	-	Job	-
⏳	Run FastDeploy Unit Tests and Coverage / run_tests_with_coverage	-	运行中	-	Job	-
⏳	Run Four Cards Tests / run_4_cards_tests	-	运行中	-	Job	-
⏳	Run Stable Tests / stable_tests	-	运行中	-	Job	-
✅	其余 2 个必选任务通过	-	-	-	-	-

2.2 可选任务 — 32/45 通过

可选任务不阻塞合并，失败仅供参考。

状态	任务	耗时	日志	重跑
❌	Check PR Template	26s	Job	-
✅	其余 32 个可选任务通过	-	-	-

---

3 失败详情（仅 required）

Approval — 基础设施（置信度: 高）

Approval

• 状态: ❌ 失败
• 错误类型: 基础设施
• 置信度: 高
• 根因摘要: PR 未获得必要 Reviewer 审批，审批检查返回 exit code 6
• 分析器: 通用分析(fallback)

根因详情:
Approval Workflow 是 PR 合并前的必要审批检查流程。exit code 6 表示 PR 尚未获得所有必要 Reviewer 的审批（Required Approvals），此检查与代码变更本身无关，只有在相关 Reviewer 完成 Approve 操作后才会通过。

关键日志:

[FAILURE]: Process completed with exit code 6.

修复建议:

1. 请相关 Reviewer 对此 PR 进行 Approve 操作
2. 确认所有必要 Reviewer 已完成审批

修复建议摘要: 请相关 Reviewer 审批此 PR

链接: 查看日志