Transformer自注意力为何除以根号dk

每周技术面试高频题汇总（2026.04.24 - 2026.05.01）

基于过去一周各大技术社区（CSDN、掘金等）的热议内容，本周面试题聚焦于大模型算法前沿、系统架构设计、数据库深度优化及底层算力加速。以下精选10道高频考题，涵盖算法原理、代码实现及解题思路。

一、算法与大模型前沿

1. Transformer的Self-Attention为什么要除以根号d_k？

• 考察点：深度学习基础、数值稳定性、梯度消失问题。
• 解题思路：核心在于防止Softmax进入梯度饱和区。当维度$d_k$较大时，点积结果的方差会随$d_k$线性增大，导致数值过大，Softmax输出趋近于One-hot分布，梯度接近0。除以$\sqrt{d_k}$可将方差拉回至1附近，保持梯度敏感性 。

2. RLHF训练流程及PPO相比传统Policy Gradient的优势？

• 考察点：大模型对齐技术、强化学习原理。
• 解题思路：RLHF分为SFT微调、奖励模型训练、PPO强化学习三阶段。PPO引入重要性采样和Clip裁剪机制，利用旧策略数据多次更新新策略，避免了传统PG每步需重新采样的巨大方差，且通过限制更新幅度保证训练稳定性 。

3. DPO与RLHF的核心区别是什么？为何DPO不需要Reward Model？

• 考察点：偏好优化算法、损失函数推导。
• 解题思路：DPO通过数学变换将奖励函数隐式表示为目标模型与参考模型的对数概率差，直接利用偏好对（Chosen/Rejected）优化，无需单独训练Reward Model。其优势在于训练稳定、资源消耗低，但在偏好数据质量差或需绝对分数场景下不如RLHF灵活 。

4. 对比学习（Contrastive Learning）在大模型预训练中的应用？

• 考察点：自监督学习、InfoNCE Loss、多模态对齐。
• 解题思路：核心是在特征空间拉近正样本、推开负样本。在ViT预训练中通过数据增强构建正样本对；在NLP中（如SimCSE）利用Dropout构造正样本；在多模态中（如CLIP）实现图文对齐。关键在于负样本的数量与质量平衡，常用MoCo队列解决显存限制 。

5. RAG（检索增强生成）解决了大模型的哪些痛点？与微调的区别？

• 考察点：大模型应用架构、知识时效性、幻觉抑制。
• 解题思路：RAG通过外挂知识库解决知识截止、幻觉及私有数据访问问题。与微调相比，RAG知识更新成本低、可溯源，适合动态知识场景；微调擅长领域风格适配及固定格式任务。生产环境常采用“SFT+RAG”组合策略 。

二、系统设计与架构

6. 分布式系统中如何实现接口幂等性？

• 考察点：分布式事务、防重机制、状态机。
• 解题思路：常见方案包括：① 唯一索引去重表；② Redis Token机制（先获取Token再执行，执行后删除）；③ 状态机版本号控制（仅允许特定状态流转）。核心是确保同一请求无论执行多少次，结果一致且副作用仅发生一次 。

7. Redis分布式锁的实现原理及Redlock算法？

• 考察点：并发控制、高可用、锁安全性。
• 解题思路：基础使用setnx+ 过期时间。为解决主从切换锁丢失问题，Redlock算法要求客户端向多数节点申请锁，仅当超过半数成功且总耗时小于有效期时才视为加锁成功。需注意时钟回拨及锁续期（看门狗机制）问题 。

8. 分布式ID生成方案：雪花算法的原理与时钟回拨处理？

• 考察点：全局唯一ID、位运算、系统容错。
• 解题思路：雪花算法由符号位、时间戳、机器ID、序列号组成，趋势递增。当时钟回拨时，会导致ID重复，通常采取抛出异常停止服务、等待时钟追上或利用备用机器ID生成特殊段ID等策略处理 。

三、数据库与底层优化

9. SQL优化：如何计算用户最长连续登录天数？

• 考察点：窗口函数、行号差值法、复杂查询。
• 解题思路：利用ROW_NUMBER()生成行号，用登录日期 - 行号得到辅助日期。连续日期的辅助日期相同，通过GROUP BY该辅助日期统计数量即可。此法避免了自连接，性能更优 。

10. CUDA 13新特性：Tensor Core v4的FP8/INT4原生支持原理？

• 考察点：GPU架构、混合精度计算、算子优化。
• 解题思路：Tensor Core v4重构了矩阵乘加单元，引入FP8专用路径和INT4稀疏路径，硬件级解析数据布局，绕过软件模拟开销。配合WMMA API的语义扩展，支持FP16输入BF16累加，显著提升大模型训练吞吐并规避溢出风险 。

总结：本周面试题显示，大厂对候选人的要求已从单纯的“刷题”转向对底层原理的深度理解（如Transformer缩放因子、CUDA指令集）及复杂场景的架构设计能力（如RAG链路、分布式一致性）。建议备考者结合代码实例与数学推导进行针对性复习。

参考来源

• 快手大模型算法工程师面试题精选：10道高频考题+答案解析-CSDN博客
• 【AI大模型春招面试题29】对比学习（Contrastive Learning）在大模型预训练中的应用？-CSDN博客
• CUDA 13.3新特性在AI训练中的实战表现（Tensor Core v4深度解析）：大厂算法加速组内部流出的6道压轴面试题及满分答案-CSDN博客
• 华为数据分析工程师面试题精选：10道高频考题+答案解析-CSDN博客
• 面试助手CLI：聚合提效，打造本地化技术面试工作流-CSDN博客
• 从校招到Offer：一位23届EDA前端软开工程师的真实面试复盘与避坑指南-CSDN博客
• RAG夺命10连问，你能抗住第几问？前言 最近金三银四，很多小伙伴在准备大厂面试，几乎每个人都被问到了同一个技术点——R - 掘金
• 数据库面试题_面试啦
• 分布式架构面试题-CSDN博客
• Redis面试题技术文章大纲（完整版）-CSDN博客