当前位置: 首页 > news >正文

LLM学习笔记 - yi

 

学习计划表

Day 对应 Task 当天目标(做什么) 产出物(交什么)
D1 Task01 开营:了解整体路线;读前言+第1章,建立术语体系(token/embedding/loss等) 术语表(≥20条)+ 第1章笔记
D2 Task02 2.1 注意力:Q/K/V、缩放点积、mask、multi-head 的直觉与公式 注意力机制笔记(含1张手绘/示意图)
D3 Task02 2.1 代码理解:用 PyTorch/NumPy 写一个最小 attention(forward) attention_demo.py/ipynb
D4 Task02 2.2 Encoder-Decoder:整体数据流;训练 vs 推理;teacher forcing Encoder-Decoder 流程图 + 笔记
D5 Task03 2.3 搭建 Transformer:拼装 Embedding/PosEnc/MHA/FFN/LN/Residual 最小 Transformer 结构代码(可仅 forward)
D6 Task04 3.1 Encoder-only:MLM 思路、适用任务;代表模型对比 Encoder-only 笔记 + 对比表
D7 Task04 3.2 Encoder-Decoder:seq2seq 预训练目标;适用任务 Encoder-Decoder PLM 笔记
D8 Task05 3.3 Decoder-only:自回归目标、causal mask、推理生成方式 Decoder-only 笔记 + 生成流程说明
D9 Task06 第4章 LLM:规模化要素(数据/算力/架构);对齐概念(SFT/RLHF等) LLM 全景图(1张)+ 第4章笔记
D10 Task07 5.1 LLaMA2:阅读/实现关键模块(RMSNorm、RoPE、KV Cache等) 选1个模块实现 + 单元测试/示例
D11 Task07 5.1 继续:把模块接到一个“可推理的小骨架模型”上(或跑通仓库示例) mini_llama2_forward.py + 说明文档
D12 Task08 5.2 Tokenizer:BPE/WordPiece/Unigram 思路;训练一个 tokenizer 训练脚本 + tokenizer 文件 + 说明
D13 Task08 5.2 Tokenizer 评估:比较不同 vocab size 对长度/覆盖率影响 对比实验记录(表格)
D14 Task09 5.3 小型预训练:准备数据→构建 dataloader→跑通训练(可极小步数) 训练脚本 + loss 曲线截图/日志
D15 Task09 5.3 收尾:用训练的模型做一次生成;全程复盘总结 结营报告

 

http://www.jsqmd.com/news/422032/

相关文章:

  • 惊!这个方法让我一秒在百度网盘下完10GB文件!!
  • 基于python的互联网+志愿服务求职招聘系统(源码+文档)
  • 滑动窗口-02-找到字符串中所有字母异位词
  • 大数据毕设项目推荐-基于Django的B站数据分析可视化系统【附源码+文档,调试定制服务】
  • 【计算机毕业设计案例】基于Hadoop+springboot的个性化饮食推荐健康饮食推荐系统的设计与实现(程序+文档+讲解+定制)
  • C#程序启动报错“System.TypeInitializationException:“The type initializer for ...”
  • 【计算机毕业设计案例】基于Django的B站数据分析可视化系统(程序+文档+讲解+定制)
  • 学习C#调用Microsoft.ML.OnnxRuntime模块读取YOLO模型信息
  • 解决java文件无法写入安卓dex文件中的问题。
  • 市面上有实力的2025板材工厂 - 品牌推荐(官方)
  • 三菱伺服编码器驱动的追剪案例:8轴运动控制下的高级同步控制与凸轮同步技术
  • Kimi K2.5的进步点
  • 女友送礼技术文档
  • flutter: getx安装及使用路由的例子
  • 初中学生文旅研学,这些机构不容错过! - 品牌测评鉴赏家
  • 市面上2026板材工厂 - 品牌推荐(官方)
  • 2026.2.28
  • 2026家长必看!国内优质亲子文旅研学机构推荐 - 品牌测评鉴赏家
  • 行业内有实力的2025板材工厂排行榜 - 品牌推荐(官方)
  • Azure DevOps Server:2026年二月补丁
  • Azure DevOps Server:2026年二月补丁(Patch 8)
  • 自托管流媒体备用服务的搭建方法--基于Navidrome+ytm的实现
  • 2026板材十大品牌推荐榜 - 品牌推荐(官方)
  • 北京大渔优惠价格
  • 2026.2.28$
  • 语文课内古诗文
  • 必修化学
  • 2025板材厂家哪个好 - 品牌推荐(官方)
  • Python 潮流周刊#140:开发自己的 OpenClaw
  • 行业内专业的2025板材品牌 - 品牌推荐(官方)