2026年算法工程师最新必问面试题十七：端侧模型与多模态
1. MobileLLM 或 SmolLM 这类小模型，为了在手机端运行，在架构上做了哪些特殊优化？（如 SwiGLU 替换、深窄结构、Embedding 共享）
端侧小模型的核心矛盾是：参数量小，但能力不能塌方。MobileLLM、SmolLM 等模型在架构上做了大量针对性优化，常见手段如下：
| 优化手段 | 做法 | 收益 |
|---|---|---|
| 深窄结构（Deep & Narrow） | 减少隐藏层宽度，增加层数 | 同等参数量下表达能力更强，推理延迟更低 |
| Embedding 共享（Weight Tying） | 输入 Embedding 与输出 LM Head 共享权重 | 大幅减少参数量，尤其对词表大的模型收益明显 |
| SwiGLU 替换 | 用 SwiGLU 激活替代传统 FFN 中的 ReLU/GELU | 提升小模型容量效率，但需注意参数量微增 |
| 分组查询注意力（GQA） | 多个 Query 头共享 Key/Value 头 | 显著降低 KV Cache 内存占用 |
| 共享注意力层 | 部分层复用同一套注意力参数 |