30分钟 16道单选题，其中有一道是分成了5个小单选题，总共20道
on the site exam.net
enter the given exam key and name and email
其中5个单选的是shallow neural network的一个计算题，给输入x 权重1 W 权重2 w tanh激活函数，target value t=1 f=1/2(y-t)^2，第一题求输出值，第二题第三题第四题都是计算reverse pass的梯度，一个实际的数字矩阵。我没仔细复习这个，所以只做了第一个，后边就是根据出现最多的数还有大概的范围蒙了4个题
其余15道单选，都是概念，没有计算了
回忆版 顺序乱
考的内容大概都是ppt上有的
1 primary goal of pca
我选的 get a best Orthogonal base
2 residual connection的作用
我选的train deeper neural network
3 Automatic Differentiation Forward Mode什么情况下推荐使用
我选的a lot of memory
但是实际上可能选multi-output functions
4 一个公式，好像是Gradient Descent相关的，0<L<1 要我选一个词，从5个词中，我都没太看懂这5个词，好像是geometric divergent polynomial，我好像蒙对了
Step Size (α): This is a critical hyperparameter. If it is too small, progress is slow; if it is too large, the algorithm may diverge
5 if use infinite depth and parameters of tree for decision tree model, what's the result of train error and test error
我选的是test error会收敛到一个limit
还有一个选项是eventually test error increase drastically
6 why boosting algorithms can get low bias and low variance but Bagging only get low variance
这个我选错了 选的sequential train，但是应该是bootstrap samples（一开始选对了又改了。。。
7 Decision Trees Pruning的作用 好像很简单，我记不清了
8 The Universal Approximation Theorem states that a shallow neural network with enough hidden units can describe any continuous function on a compact subset of R
n to arbitrary precision
9 Momentum-Based Optimization的作用
我好像选错了，选的overshooting什么东西
10 uses exponential moving average 在only gradients or only squared gradients or both
一开始选对了，后来改成both了。。。
11 A token is just a vector of neurons.
transformer就考了这一个简单的题，没考具体逻辑。。。
12 剩下4道想不起来了
考完又在那呆了20分钟等ds的学生考完另一个3CFU的课