当前位置：首页 > news >正文

100道大模型面试题：从Transformer到Agent，手把手带你冲刺高薪Offer！

news 2026/8/4 5:07:55

一、基础概念与架构（入门）

Transformer 的核心组件有哪些？
自注意力公式中 Q/K/V 各代表什么？
为什么需要位置编码？RoPE 与绝对位置编码的区别？
多头注意力相比单头的优势在哪？
Encoder-only、Decoder-only、Encoder-Decoder 分别适合什么任务？
什么是 Tokenization？BPE 与 WordPiece 的差异？
如何扩展 LLM 的上下文窗口长度？
Attention 计算复杂度为什么是 O(n²)？改进方案有哪些？
预训练阶段的关键步骤有哪些？
GPT、BERT、T5 的架构差异是什么？
LayerNorm 与 RMSNorm 的区别？
残差连接的作用是什么？
为什么现代大模型多用 Decoder-only 架构？
什么是 MoE（混合专家）？如何降低推理成本？
RoPE 为什么能外推到更长序列？

二、预训练与微调（进阶）

预训练与微调的目标差异是什么？
什么是 SFT？通常在哪个阶段进行？
PEFT 包含哪些方法？
LoRA 的原理？参数量为何这么小？
LoRA 相比 Adapter、Prefix Tuning 的优势？
什么是 QLoRA？如何在 24G 显卡微调 70B？
全量微调与 LoRA 该如何选择？
什么是灾难性遗忘？怎么缓解？
训练数据如何清洗与去重？
分词器（Tokenizer）如何训练？词表大小怎么定？
学习率与 batch size 怎么设置？warmup 的作用？
混合精度训练（FP16/BF16）的坑？
梯度检查点（Gradient Checkpointing）原理？
分布式并行策略：DP/TP/PP/ZeRO 各解决什么问题？
RLHF 三阶段流程是什么？
奖励模型（Reward Model）如何训练？
什么是奖励黑客（Reward Hacking）？
PPO 与 DPO 的区别？DPO 为何更简单？
ORPO、KTO 等新对齐方法的特点？
指令数据质量比数量更重要吗？
如何评估一次微调是否成功？

三、提示工程（进阶）

Zero-Shot 与 Few-Shot 的区别？
Chain-of-Thought（CoT）为什么有效？
如何设计角色设定（System Prompt）？
多轮对话如何管理上下文？
减少模型幻觉的提示技巧？
Self-Consistency 是什么？
提示词模板如何做版本管理？
Tree-of-Thought 是什么？
长提示如何压缩而不丢信息？
如何防止提示词注入（Prompt Injection）？
结构化输出（JSON）怎么稳定拿到？
Prompt Caching 是什么？

四、RAG 检索增强（进阶）

RAG 完整工作流程是怎样的？
文本分块（Chunking）策略及各方案的坑？
Chunk Size 和 Overlap 怎么选？
常见 Embedding 模型及选型思路？
向量数据库选型：Milvus/Qdrant/Pinecone？
混合检索（Hybrid Search）怎么做？
重排序（Rerank）模型的作用？
常用相似度检索算法（cosine/HNSW）？
知识库更新与版本管理？
RAG 系统召回与回答质量评估体系？
引用溯源（Citation）如何实现？
多跳（Multi-hop）查询处理方案？
GraphRAG 解决了什么问题？
中文 RAG 特有的难点？
RAG 上下文窗口成本控制？

五、推理优化与部署（深入）

PTQ 与 QAT 量化有什么区别？
INT8/INT4/FP8 量化各有什么取舍？
量化为什么不显著降低精度？
KV Cache 是什么？大小怎么估算？
Grouped Query Attention（GQA）原理？
vLLM 的 PagedAttention 解决了什么？
如何提高推理吞吐（Throughput）？
连续批处理（Continuous Batching）是什么？
如何降低首字延迟（TTFT）？
Speculative Decoding 原理？
模型并行与张量并行的落地难点？
算子融合（Kernel Fusion）是什么？
推理服务自动扩缩容怎么做？
边缘部署方案（llama.cpp/Ollama）？
线上推理的成本与质量监控？

六、评估与幻觉控制（深入）

常用 LLM 评估基准（MMLU/GSM8K 等）？
自动评估与人工评估如何结合？
ROUGE/BLEU/BERTScore 各适用场景？
幻觉有哪几种形式？分别从哪层控制？
事实一致性校验怎么做？
Chain-of-Verification 是什么？
红队测试（Red Teaming）怎么做？
安全性与价值观对齐评估方法？
离线指标如何映射到线上效果？
评估集如何避免被污染（Contamination）？

七、Agent 智能体（深入）

什么是 Agent？为什么需要它？
ReAct 范式为什么有效？
Plan-and-Execute 与 ReAct 的区别？
工具调用（Tool Calling）的设计要点？
多 Agent 协作模式有哪些？
Agent 记忆（Memory）管理方案？
Agent 失败模式与兜底策略？
Function Calling 与 Agent 的关系？

八、工程落地与场景（综合）

生产级 RAG 核心组件有哪些？
LLM 应用成本优化策略？
大模型服务灰度与回滚机制？
如何判断是否值得用大模型替代传统方案？

下面是一段真实可跑的 LoRA 微调代码，面试常让你手写思路：

from peft import LoraConfig, get_peft_model
from transformers import AutoModelForCausalLM, TrainingArguments

# 仅注入低秩矩阵，冻结原始权重
lora_cfg = LoraConfig(
r=8, # 低秩维度
lora_alpha=16, # 缩放系数
target_modules=["q_proj","v_proj"],
lora_dropout=0.05,
)
model = AutoModelForCausalLM.from_pretrained("Qwen/Qwen2-0.5B")
model = get_peft_model(model, lora_cfg)
model.print_trainable_parameters() # 可训练参数常 < 1%

trainer.train()