从机器学习到深度学习，从CNN到Transformer再到LLM
前记
前段时间偶然看到一位同学发了一个朋友圈，大意是：TA作为经历了上一波（2017年左右）深度学习浪潮的“老登”，现在又遇到了生成式人工智能，潮起潮落，坐看几度夕阳红。
虽然我还没理解“老登”这个Token是啥意思，也没好意思查下，但是这位同学在校时代确实比较厉害，我深感自愧不如。现在生成式人工智能的浪潮，随时有可能把饭碗拍在沙滩上，所以重拾下2017年开始接触到的深度学习，看下这快10年间，学术和技术的演进历史。
（20年面试MindRay时，面试官问我如果给你一个输入图像，再给你一个卷积网络，你能算出网络第n层输出的图像大小吗？作为一个0 论文在手的小登，我说算不出来，然后就…）
（20年面试UnionImage时，一个老登面试官出了一道图像题，请写出将一个图像旋转theta度的代码，我交了一张白卷。老登对我说，我就不给你面试机会了，不过你简历做的不错…）
言归正传，下来梳理下AI的演进历史，知道来龙去脉，才知道以后要往哪里走。
Machine Learning && Deep Learning
高中时代，隐约记得学过一篇英文课文，大意是一个老外雕刻家，花了很大的心思雕刻了一个类似胜利女神像的雕塑，结果雕刻完，自己对自己的作品爱的深沉，爱上了自己所雕刻的女神。一个伟大的哲学命题是：我是谁，我从哪里来，我要到哪里去。人类具有无可比拟的智慧，进化论呈现了人类从Monkey到人的过程，Monkey没有思想，人有思想，知道自己是谁了。
技术发展的演进历史，和哲学命题类似，人类的终极发展，就是人造就出了AI（Artifial Intelligence）。AI的概念很广，但是技术的起步，并不是一步到位的，AI的早期发展理论，就是机器学习。
机器学习简单说就是人帮机器提炼特征，机器自己学规律，代表算法有SVM（Support Vector Machine，支持向量机）等。
2017年前后，在机器学习理论基础上，衍生出了基于卷积神经网络的深度学习。深度学习概括来说，就是提供训练集，通过卷积神经网络，让机器自己提炼卷积特征，学习规律。典型算法是各种CNN。这一阶段，典型的应用就是基于CNN的图像识别。
如果机器学习和深度学习是AI的范畴，那CNN、Transformer和LLM，就是深度学习的具体方法论。
Convolutional Neural Network to Transformer to Large Language Model
CNN
卷积神经网络距今发展已经快10年了，下次再更新下复习情况，主要是原理、关键代码实现。Transformer
CNN之后，2017年划时代的论文《Attention is all you need》提出了Transformer模型，论文免费下载路径：https://arxiv.org/abs/1706.03762。同步出的论文注释链接：https://nlp.seas.harvard.edu/annotated-transformer/LLM
先写到这里，持续更新中。