国科大深度学习期末历年试卷

发布于:2024-05-09 ⋅ 阅读:(198) ⋅ 点赞:(1)

本文借鉴
国科大深度学习复习
深度学习期末

深度学习2020

一.名词解释(每个2分,共10分)

深度学习,稀疏自编码器,正则化,集成学习,Dropout

二.简答题(每题5分,共30分)

1.请简述你对误差反向传播算法的理解。
2.请列出卷积神经网络的主要结构模块,以及各个模块完成的功能。
3.请简述你对LSTM的理解,并解释为什么它能够解决长时依赖问题。
4.请简述深度学习中常见的避免过拟合的方法。
5.请简述你对生成对抗网络的理解,并简述其训练过程。
6.请简述你对胶囊网络的理解。

三.计算题(每题10分,共20分)

1.请使用卷积神经网络中的Full卷积、Same卷积和Valid卷积分别计算下图所示输入矩阵和卷积核对应的特征图,卷积步长为1,激活函数采用ReLU。

在这里插入图片描述

2.多分类任务中,某个样本的期望输出为(0,0,0,1),两个模型A和B都采用交叉熵作为损失函数,针对该样本的实际输出分别为(In20,In40,In60,In80)、(In10,In30,ln50,In90),采用Softmax 函数对输出进行归一化并计算两个模型的交叉熵,说明哪个模型更好。提示:lg2≈0.301,lg3≈0.477。

四.设计题(每题20分,共40分)

1.请给出对大量图像进行目标检测的设计方案,要求有自己的新思路和新观点。
2.请给出机器阅读理解模型的设计方案,要求有自己的新思路和新观点。

深度学习2021

一.名词解释(每个2分,共10分)

卷积神经网络,循环神经网络,奇异值外解,交叉熵,深度信念网络

二、简答题(每题5分,共30分)

1. 请简述反向传播算法的思想,并用图和公式说明其过程。
2. 什么是过拟合和欠拟合?如何解决这两种问题?
3. 请简述 Yolo 算法的主要思想和实现过程。
4. 请简述GRU网络的主要思想,并用图和公式表达其计算过程.
5. 请简述胶囊网络的主要思想,并用图和公式表达其计算过程。
6. 请简述生成对抗网络的主要原理,并用公式表达其目标函数.

三,计算题(每题10分,共20分)

1, 请使用卷积神经网络中的Full卷积、Same卷积和Valid卷积分别计算下图所示输入矩阵和卷积核对应的特征图,卷积步长为1,激活函数采用ReLU.

在这里插入图片描述

2. 二分类任务中,样本(5个)的期望输出(类标签)如下图左侧矩阵所示,对应的实际输出下图右侧矩阵所示,模型采用交叉熵作为损失函数,计算:

在这里插入图片描述

(1) 模型的交叉熵损失;
(2) 模型的焦点损失(Focal loss),其中y= 2, a = 0.4.

提示:Ig2≈0.301,Ig3≈0.477.

四.设计题(每题20分,共40分)

1.请给出姿态估计模型的设计方案,要求有自己的新思路和新观点。
import tensorflow as tf

input_x = tf.constant([
    [[[5, 6, 0, 1, 8, 2],
      [0, 9, 8, 4, 6, 5],
      [2, 6, 5, 3, 8, 4],
      [6, 3, 4, 9, 1, 0],
      [7, 5, 9, 1, 6, 7],
      [2, 5, 9, 2, 3, 7]

      ]]])
filters = tf.constant([
    [[[0, -1, 1], [1, 0, 0], [0, -1, 1]]]
])

input_x=tf.reshape(input_x,(1,6,6,1))
filters=tf.reshape(filters,[3,3,1,1])

res = tf.nn.conv2d(input_x, filters, strides=1, padding='VALID')
print('Valid 无激活函数下的输出',res)
res=tf.squeeze(res)
print('Valid 条件下可视化的输出:',res)


# print('Valid 激活函数下输出',tf.nn.relu(res))
print('Valid 激活函数下可视化输出:',tf.squeeze(tf.nn.relu(res)))
#在full卷积下,TF中没有这个参数,可以手动加0实现
input_x = tf.constant([
    [[[0,0,0,0,0,0,0,0],
  [0,5,6,0,1,8,2,0],
  [0,2,5,7,2,3,7,0],
  [0,0,7,2,4,5,6,0],
  [0,5,3,6,9,3,1,0],
  [0,6,5,3,1,4,6,0],
  [0,5,2,4,0,8,7,0],
    [0,0,0,0,0,0,0,0]
]]])
input_x=tf.reshape(input_x,(1,8,8,1))

res = tf.nn.conv2d(input_x, filters, strides=1,padding='SAME')
print('Full(加0)未使用激活之前的输出',res)

print('Full(加0)未使用激活函数之前的可视化输出,',tf.squeeze(res))

out = tf.nn.relu(res)
print('Full 激活的输出',out)
print('Full 激活之后的可视化输出,',tf.squeeze(out))
2.请给出图像描述模型的设计方案,要求有自己的新思路和新观点。
import torch
import torch.nn as nn

criterion = nn.BCELoss()#默认是求均值,数据需要是浮点型数据
pre=torch.tensor([0.1,0.2,0.3,0.4]).float()
tar=torch.tensor([0,0,0,1]).float()
l=criterion(pre,tar)
print('二分类交叉熵损失函数计算(均值)',l)


pre=torch.tensor([0.2,0.8,0.4,0.1,0.9]).float()
tar=torch.tensor([0,1,0,0,1]).float()

pre=torch.tensor([0.1,0.2,0.3,0.4]).float()
tar=torch.tensor([0,0,0,1]).float()
criterion = nn.BCELoss(reduction="sum")#求和
l=criterion(pre,tar)
print('二分类交叉熵损失函数计算(求和)',l)

loss=nn.BCELoss(reduction="none")#reduction="none"得到的是loss向量#对每一个样本求损失
l=loss(pre,tar)
print('每个样本对应的loss',l)
criterion2=nn.CrossEntropyLoss()
import numpy as np
pre1=torch.tensor([np.log(20),np.log(40),np.log(60),np.log(80)]).float()
# soft=nn.Softmax(dim=0)
# pre=soft(pre).float()#bs*label_nums
pre1=pre1.reshape(1,4)
tar=torch.tensor([3])
loss2=criterion2(pre1,tar)
print('多分类交叉熵损失函数pre1条件下',loss2)

pre2=torch.tensor([np.log(10),np.log(30),np.log(50),np.log(90)]).float()
pre2=pre2.reshape(1,4)
tar=torch.tensor([3])
loss2=criterion2(pre2,tar)
print('多分类交叉熵损失函数pre2条件下',loss2)

深度学习2022

一.名词解释(每个2分,共10分)

深度学习,相对熵,欠拟合,深度森林,降噪自编码器

二.简答题(每题5分,共20分)

1.请简述Dropout的实现方式,并阐述你理解的它对于解决过拟合问题的原因。
2.请简述你对Batch Normalization的理解,并说明其在训练和测试阶段如何实现?
3.请简述你对生成对抗网络的理解,并简述其训练过程。
4.请简述你对残差网络的理解,并解释为什么它能够解决梯度消失问题。

三.计算题(每题15分,共30分)

1.如下图卷积神经网络所示:卷积层C1为3x3大小的卷积核,卷积层深度为5,Stride=1,卷积层C2为5x5大小的卷积核,卷积层深度为2,stride=1,卷积方式均为Valid卷积;池化层P1为2x2大小的均值池化,stride=2;输出层是10x1的向量;请计算输出特征图F1、F2和F3的大小(宽x高x通道数),特征图F3的感受野大小,并分别计算卷积层和全连接层的参数量(其中卷积和全连接操作均不考虑偏置参数,提示:注意卷积层深度的概念)。

在这里插入图片描述

2.根据表格中的数据使用ID3算法构建决策树,预测西瓜好坏,给出每步的计算过程(信息熵计算以2为底数)。

在这里插入图片描述

在这里插入图片描述

四.设计题(每题20分,共40分)

1.请给出图像描述的设计方案,要求有自己的新思路和新观点。
2.请给出视频超分辨率模型的设计方案,要求有自己的新思路和新观点。

深度学习2023

一.名词解释(每个2分,共10分)

深度信念网络,胶囊网络,深度可分离卷积,目标检测,焦点损失(Focal loss)

二.简答题(每题5分,共30分)

请写出对矩阵Amxn(m≠n)进行奇异值分解的过程。请图示说明卷积神经网络的主要组成部分及其功能。请给出GRU的主要思想,并用图和公式说明。请简述神经网络模型中Dropout正则化方法的主要思想并图示说明。请简述随机梯度下降法的基本思想并图示说明。请简述Transformer的主要思想,并用图和公式说明。

三.计算题(20分)

1.(12分)如下图所示,请计算输入矩阵输入卷积层之后得到的特征图,分别使用Same和Valid卷积,卷积步长为1,激活函数为ReLU。
在这里插入图片描述

2.(8分)有一个5分类任务,输入一个样例后,得到输出logits=[0.01,—0.01,—0.05,0.02,0.1],请计算其SoftMax分类概率;如其one—hot标签label=[0,0,0,0,1],请计算其交叉熵损失。(可使用电脑上或手机在这里插入图片描述
上的计算器,结果保留小数点后4位)
四.设计题(每题20分,共40分)

1.请给出图像分割的设计方案,写出代码并注释,要求有自己的新思路和新观点。
2.请给出神经机器翻译的设计方案,写出代码并注释,要求有自己的新思路和新观点。

网站公告

今日签到

点亮在社区的每一天
去签到