个人笔记机器学习1

导学

数量-回归 类别-分类

supervised learning 需要training data和lable

self-supervised learning 训练之前练基本功，pre-train，让机器把基本功学起，希望在其他的任务上可以很快的学会。学习基本功时不需要任何标注，只需要网络上的资料，机器就会学习基本能力(Foundation Model / Pre-trained Model)，然后再去解决下游任务(Downstream Tasks)

Generative Adversarial Network(生成对抗网络)，只需要提供一堆的x和y，机器就有办法自动把他们之间的关联找出来

Reinforcement Learning(强化学习)，用在你不知道你要怎么标注资料的时候

Anomaly Detection(异常检测)，让机器具备回答我不知道的能力

Explainable AI(可解释性AI)，让机器具备给出分析的能力

Model Attack(模型攻击)

Domain Adaptation(领域自适应)

Network Compression(模型的压缩)

Life-long Learning

Meta Learning(Learn to Learn学习如何学习)，机器从大量的任务里面发明新的算法，不再使用人发明的算法

Few-shot learning，用非常少量的标注资料就进行学习，经常需要Meta Learning

第一讲：机器学习基本概念

Structured Learning: Create something with structure (image, document) 产生有结构性的物件（比如说画一张图、写一篇文章），学会创造

做机器学习时需要自己设定的东西，叫做hyperparameter

第二讲：深度学习基本概念

Linear model有比较大的限制我们称之为Model Bias

反向传播

backpropagation 用来提高计算gradient descent的效率

深度学习简介

一层hidden layer足以表示任意function， so why deep?