当前位置: 首页 > news >正文

Transformer加速器个人入门指南

入门教学(虽然本人可能还算不上入门)

一、基础篇(下面两点可并行学习)

1、了解神经网络

  1. 首推台大李宏毅课程,李宏毅老师的课程偏理论部分,但是背后的数学逻辑讲解的很细致,可以挑着看,基础过完会对神经网络有一定的理解后可以挑后面的复杂神经网络看,尤其是Transformer。
  2. 了解完神经网络后可以看李沐机器学习课程和李沐机器学习书籍都是手把手教写python代码。但是讲解的没有李宏毅老师细致,但是代码讲解比较好,会手把手教你写代码,也是重点看Transformer部分即可。

2、学习FPGA

一、有一定基础的(Verilog/HLS)

  1. 做加速器又两个不同的方法,可以使用PCIE总线,本人没用,这里就不多说。其二了解一下AXI总线相关协议,了解PSPL协同操作。可以在官方正点原子了解。
  2. 关于AXI总线协议,首推这个视频:视频链接,然后尝试从基本算子搭起来,比如说矩阵乘法/softmax等,了解从PS端到PL端调度,最好能完成PS产生算子数据,然后通过总线协议将数据从DDR搬运到PL侧,PL侧完成矩阵乘法或者Softmax操作。

二、 没基础的

先学Verilog,再学HLS,再学PSPL协同操作。后面学习先看上面有基础的。关于FPGA学习,正点原子官方视频很详细,学习基础语法,了解串口,了解基础的IP核调用等。

二、入门篇(多看论文和别人的想法)

了解完VIT网络,关于网络优化有两个方面可以选择,一方面是软件侧,比如说网络结构的创新,量化,或者稀疏等。这些更偏向算法创新。另一方面是硬件方面创新,当然软硬不分家,算法上的创新完全可以部署在硬件FPGA上面验证。但是一切创新皆以实用性为准,好的算法在硬件部署一定是较少的资源实现更高的网络精确度和速度。可以看这个视频和这个博主:链接理解VIT网络的一些创新方法,然后可以查找相关论文尝试复现。

http://www.jsqmd.com/news/487540/

相关文章:

  • 1 深度解析:Unity游戏视觉遮挡移除技术全攻略
  • Qwen3-VL-30B快速部署教程:开箱即用,小白也能玩转视觉语言模型
  • Realistic Vision V5.1本地化部署实操:模型路径校验与异常捕获机制详解
  • 自适应辛普森积分
  • 弦音墨影惊艳案例:猎豹追逐羚羊视频中毫秒级目标框选效果展示
  • FireRedASR-AED-L语音识别实战:集成MySQL存储识别结果与日志
  • FastJson序列化避坑指南:当驼峰遇到下划线时的5个常见错误
  • 树和图的同构
  • 推荐系统实现思路
  • 视频资源自动化管理:douyin-downloader的高效解决方案
  • 最小费用最大流
  • Llama-3.2V-11B-cot实操入门:上传图片→触发CoT推理→获取结构化结论
  • Janus-Pro-7B开源可部署价值:避免API依赖,数据本地化处理保障安全
  • MusePublic Art Studio快速部署:bash star.sh启动+本地8080端口访问教程
  • iOS15+开发必看:如何用Increased Memory Limit给应用多争取500MB内存(附实测数据)
  • 带下界可行最大最小流
  • [特殊字符] 产品经理灵感枯竭救星:最全创意生成工具箱
  • 实时口罩检测-通用惊艳效果:支持口罩佩戴时长统计与趋势分析
  • 避坑指南:为什么90%的开发者都用错了Flux.create?Reactor3正确姿势详解
  • GD32VW553开发板驱动5V光耦隔离继电器模块实战
  • 突破Windows 11安装限制:硬件兼容性革新方案全解析
  • 带下界最小费用流
  • Grafana 安装与配置:从零开始搭建监控可视化平台
  • 嵌入式Linux热成像终端:MIPI显示与UVC热模组协同设计
  • 基于立创·地文星CW32F030C8T6开发板的数字电压电流表设计与实现
  • 衡山派D133EBS开发板驱动S12SD紫外线传感器:基于RT-Thread的ADC采集与电压分压处理实战
  • 派能协议解析:逆变器与BMS通讯故障排查实录
  • 深入解析Unity NavMeshSurface与NavMeshLink组件|导航寻路实战指南
  • RMBG-2.0快速部署:Colab免费GPU环境运行RMBG-2.0完整教程
  • ssd2