深度学习习题3

1.训练神经网络过程中，损失函数在一些时期（Epoch）不再减小, 原因可能是：

1.学习率太低 2.正则参数太大 3.卡在了局部最小值

A1 and 2 B. 2 and 3 C. 1 and 3 D. 都是

2.对于分类任务，我们不是将神经网络中的随机权重初始化，而是将所有权重设为零。下列哪项正确？
A.没有任何问题，神经网络模型将正常训练
B.神经网络模型可以训练，但所有的神经元最终将识别同样的事情
C.神经网络模型不会进行训练，因为没有净梯度变化
D.这些均不会发生

3.开始时有一个停滞期，这是因为神经网络在进入全局最小值之前陷入局部最小值。为了避免这种情况，下面的哪个策略有效？
A.增加参数的数量，因为网络不会卡在局部最小值处
B.在开始时把学习率降低10倍，然后使用梯度下降加速算子(momentum)
C.抖动学习速率，即改变几个时期的学习速率
D.以上均不是

4.假设在训练时，你遇到这个问题。在几次迭代后，错误突然增加。您确定数据一定有问题。您将数据描绘出来，找到了原始数据有点偏离，这可能是导致出现问题的地方。你将如何应对这个挑战？
A.归一化 B. 应用PCA然后归一化 C.对数据进行对数变换 D.以上这些都不符合
注：b应该是先归一化再pca

5.下面哪个描述可以最好的描述early stopping?
A在每一个训练epoch后在测试集上模拟网络，当归一化误差(generalization error)减小时停止训练
B 一种更快的后向传播方式，像是"Quickprop"算法
C 在权重值更新时上加一个动量项(momentum term)，使训练能够更快地收敛
D 训练网络直到误差函数出现一个局部最小值

6.其他条件不变，以下哪种做法不会引起过拟合问题（）
A.增加训练集数量 B. 减少神经网络隐藏节点数
C.删除稀疏的特征 D. SVM算法使用高斯核函数/RBF代替线性核

7.以下属于多层前馈神经网络的是（）
A.线性回归 B.逻辑回归 C.SVM D.都不是

8.机器学习中L1正则化和L2正则化的区别是？
A、使用L1可以得到稀疏的权值 B、使用L1可以得到平滑的权值
C、使用L2可以得到稀疏的权值 D、使用L2可以得到平滑的权值

9.哪种方法可以较好地处理RNN中梯度爆炸的问题（）
A Dropout B 梯度裁剪 C. LSTM（梯度消失） D都不行

10.五层神经网络单个数据测试需要2s，新架构分别在第二层和第四层添加Dropout，则测试时间为
A 大于2s B 小于2s C等于2s D不确定

Dropout只是在训练的时候丢弃神经元，但测试的时候神经元数量还是一样，所以时间不变

11.哪种技术不能解决过拟合（）
A dropout B 样本增强 C 权值衰减 D SGD

12.如果要设计一个有2000个特征，100万数据的机器学习模型，如何有效的处理这样大数据训练（）
A随机抽样，在小样本上训练B在线机器学习算法C.PCA降维，减少特征数 D. SVM分类器