Study Space

Index 📑 Algorithm Codings Researches Transformer 🪄 LLM 🚀 大模型微调 (SFT · RLHF) 💥 Machine Learning 🤖 Deep Learning 🧠 NLP 🔤 Algorithms 🧩 Reading List 🔖 Paper Notes 📝 Engineerings Python 🐍 Big Data 📊 Tools 🛠️ Design Pattern 🏗️ Other · Drafts Wiki

Recent 📖 2025-10-21 QA 合集 🧣📋110📌 2025-11-01 LLM 训练优化 📋2 2025-10-03 策略梯度定理及其推导 🧣 2025-09-09 位置编码 ( Position Encoding ) 📋24 2025-09-05 Transformer 模型架构 ✒️3📋23 2025-09-24 策略梯度算法 ( RLHF 背景 ) 🧣✒️2📋6 2025-09-18 RLHF ( 基于人类反馈的强化学习 ) 🧣✒️📋13 2025-08-22 AutoPhrase 备忘 2025-08-21 复合词检测 2025-08-08 VSCode 备忘 2025-08-06 开发环境配置 ( 基于 WSL ) 2025-08-05 uv 备忘 2025-08-02 批量删除历史已提交文件 2025-07-08 链表操作备忘 2025-07-08 过拟合与正则化 ✒️ 2025-07-08 设计模式 Wiki

Last 7 days

Total Time: 20 hrs 42 mins

Markdown   16 hrs 29 mins  >>>>>>>>>>>>>>>>>>>>-----   79.63 %
GitHub     3 hrs 12 mins   >>>>---------------------   15.46 %
Python     44 mins         >------------------------   03.58 %
YAML       11 mins         -------------------------   00.95 %
Other      4 mins          -------------------------   00.36 %

---

Algorithm Codings

Level 📈 中等 (157) 简单 (106) 困难 (37)

Hot 🔥 经典 (38) LeetCode Hot 100 (33) 热门 (17)

Collections 🗂️ 牛客 (131) LeetCode (88) 剑指Offer (75) More 🗃️ 动态规划 (54) 二叉树/树 (48) 双指针 (26) 剑指Offer2 (3) 程序员面试金典 (2) 牛客-华为机试 (1) 网络收集 (0)

More Algorithm Topics 📚🧩🎲💡🚨

数据结构 二叉树/树 (48) 链表 (31) 字符串 (17) 栈/队列 (16) 数组/矩阵 (12) 堆/优先队列 (9) 设计 (7) 线段树/树状数组 (1) 并查集 (1) 图 (1)

算法 动态规划 (54) 二分查找 (24) 递归 (21) 深度优先搜索 (20) 排序 (15) 暴力递归与动态规划 (12) 树形递归 (6) 广度优先搜索 (4) 分治 (4)

技巧 双指针 (26) 哈希表(Hash) (13) 位运算 (9) 滑动窗口 (8) 单调栈/单调队列 (6) 前缀和 (6) 贪心 (5) 有限状态自动机 (1) 定长滑动窗口 (1) 区间合并 (1)

其他 模拟 (16) 数学 (8) 找规律 (2)

---

Researches

Transformer 🪄 LLM 🚀 Transformer 基础架构 ✒️3📋23 Encoder-Decoder • 注意力机制 (MHA) • FFN • 正弦位置编码 Transformer 改进 ✒️1 位置编码📋24 • 相对位置编码 • 旋转位置编码 (RoPE)🔥 • MoE (混合专家)✒️1📋8 LLM 训练优化 📋2 LLM 基座模型 ✒️1📋6✨ LLaMA • DeepSeek Transformer 常见面试问题 💾 Transformer Wiki 💾 BERT + CRF 备忘 💾 大模型微调 (SFT · RLHF) 💥 SFT 基础概念 📋9 PEFT • LoRA📋10 训练数据构建 ✒️ 覆盖率 • 多样性 • 一致性 RLHF ( 偏好学习, 对齐学习 ) 🧣✒️📋13 快速回顾 • 奖励模型 • BT 模型 强化学习基础 ( LLM-based ) 基础术语 • 价值函数 ↝ 优势函数 • 策略优化 • 贝尔曼方程 • 时序差分算法 • 广义优势估计 策略梯度定理及其推导 🧣 基本形式 • Q函数形式 • A函数形式 • Score Function 恒等式 • 基线不变性 策略梯度算法 🧣✒️2📋6 PPO • DPO • GRPO Prompt Engineering 常用 prompt 备忘 反思 ( Reflection )	Machine Learning 🤖 概率论基础 期望 • 全期望公式 机器学习 Wiki ✒️2 归纳偏置 • 似然 • 正则化 • KL 散度 • 蒙特卡洛方法 • 重要性采样 • 拒绝采样 • MCMC 采样 ✒️ XGBoost 学习笔记 ✒️ GBDT/XGBoost 备忘 Deep Learning 🧠 过拟合与正则化 ✒️ 激活函数 损失函数 模型 RNN 备忘 CNN 备忘 Attention 备忘 ✒️ 工具 爱因斯坦标记法 HuggingFace 离线使用 表示学习 基于对比学习的表示学习训练框架 基于互信息的表示学习 向后兼容 ( Backward-Compatible ) 的表示学习 Sentence-BERT 论文笔记 迁移学习/SFT 预训练模型的轻量化微调 不平衡学习 不平衡学习概述 论文-2022-YiboYang 综述-2019-Johnson
NLP 🔤 统一视角下的 NLP 任务 语言模型 NLP 任务与应用 NER NER Wiki 商品 NER 标签设计 GLiNER 阅读笔记 知识图谱 知识图谱备忘 短语挖掘 AutoPhrase 备忘 复合词检测 利用搜索引擎做短语质量评估 实体链接 关系挖掘备忘 同义词挖掘 上下位挖掘 搜索 搜索与 NLP 工具 NLP 标注工具 数据 印尼语 NLP	Algorithms 🧩 技巧 树形递归技巧 从递归到递推 ( 动态规划 ) 模板 链表操作备忘 滑动窗口模板 二分查找相关
	Reading List 🔖 QA 合集 🧣📋110 强化学习相关 HuggingFace ( 博客 & 代码 ) GitHub ( 仓库 )
Paper Notes 📝 [el.2015.WSDM.01] Fast and Space-Efficient Entity Linking for Queries | 高效的 Query 实体链接 [synonym.2012.KDD.01] A framework for robust discovery of entity synonyms | 基于统计方法的通用同义词挖掘框架 ⏳

Engineerings

Python 🐍 类方法中 self 的含义 python 装饰器的本质 python 类变量和成员变量的最佳实践 dataclass 使用记录 Python 容器基类的使用 Python 函数声明中单独的正斜杠 ( / ) 和星号 ( * ) 是什么意思 工具 python 国内镜像源 uv 备忘 VSCode 配置 for Python PyCharm 配置 第三方库	Big Data 📊 SQL SQL 字符串处理 PySpark SQL 备忘 HiveSQL 常用操作
	Tools 🛠️ 开发环境配置 ( 基于 WSL ) VSCode 备忘 Markdown 备忘 Markdown 简历工具 LaTeX in Markdown 备忘 Github Action 备忘 Docker 备忘 Git git 备忘 批量删除历史已提交文件 git-subtree 的基本用法 Linux 后台运行 glob 备忘 awk 备忘 WSL2 使用记录 Shell 脚本备忘 Linux 解压缩
Design Pattern 🏗️ 设计模式 Wiki 建造者模式 ( Python 实现 ) 工厂模式 ( Python 实现 )

Other · Drafts

• BERT 常见面试问题
• BERT 系列 ( Encoder-only ) ✒️¹📋⁷

  表示学习 • DeBERTa
  

• GitBook 备忘
• Hive 常用 SQL 备忘
• Hive/Spark SQL 常用查询记录
• Hive/Spark/Presto SQL 备忘
• Jupyter & IPython 使用备忘
• KDD 2022
• LLM 应用收集
• LLM 训练方案整理
• Label Studio 使用记录
• Mac 环境配置
• NLP 领域术语 Wiki
• Node.js 环境搭建
• Obsidian
• PET ( Pattern-Exploiting Training ) 模型
• PySpark 笔记
• Python Wiki
• Python 标准项目实践
• Query 分析指南
• Query 扩展 ( 电商领域 )
• Query 纠错
• RLHF 及其实现 ( PPO, DPO, GRPO 等 )
• SMART Loss
• SQL优化之暴力扫描
• Transformer 的优势与劣势
• Transformer/BERT 常见变体
• Transformer与长度外推性
• Windows 使用备忘
• split 分割文件
• huggingface 套件使用备忘
• query 理解参考资料
• requirements.txt 语法备忘
• 一些有趣的问题 📋²
• 低资源训练
• 使用 LLM 优化简历
• 使用 LLM 阅读论文
• 同义词挖掘
• 基于 BERT/MLM 的查询扩展方法
• 基于 SQL 计算信息熵与信息增益
• 基于用户行为数据的同义词挖掘方法 ( 英文 )
• 多轮MRC信息抽取的优缺点
• 实体链接相关概念
• 实验报告模板
• 常见的文本相似度计算
• 常见面试问题 ( 非技术 )
• 快捷键记录
• 搜索指标
• 搜索相关阅读
• 数仓基础概念
• 文件夹模式测试-a
• 文件夹模式测试-b
• 文件夹模式测试
• 深度学习环境配置
• 电商搜索
• 电商领域的 NER
• 简历书写技巧 ( 算法 )
• 算法面试笔记
• 算法面试问题收录 ✒️

  Transformer • LLM
  

Wiki

• C
  • C++
• D
  • Docker
• G
  • git
  • gitbook
    • (1)
    • (2)
  • GitHub Action
  • glob
• H
  • Hive
  • HuggingFace
• J
  • Jupyter
    • Jupyter Lab
    • IPython
• K
  • 开发环境
    • Mac
    • 深度学习
• L
  • LaTeX
  • LLM
  • 领域短语挖掘
• M
  • Markdown
• N
  • NLP
  • Node.js
• O
  • Obsidian
• P
  • PyCharm
  • PySpark
  • Python
• Q
  • Query 理解
• S
  • SQL
  • STAR 法则
• T
  • Transformer 模型
• W
  • Windows
  • WSL
• Y
  • yaml
  • 语言模型