### 1. 遇到问题的章节 / Affected Chapter Chapter3.1 ### 2. 具体问题描述 / Problem Description bert/gpt/llm模型结构中,针对位置编码其实有很多种版本,感觉需要标明 ### 3. 问题重现材料 / Reproduction Materials - rope(llm):QK^T之前 - bert原版:与transformer中相同的绝对位置编码 - bert变体:相对位置编码,QK^T之后,softmax之前 ### 确认事项 / Verification - [x] 此问题未在过往Issue中被报告过 / This issue hasn't been reported before