解剖深度学习原理

从底层由浅入深地介绍深度学习原理并结合实现说明原理是如何实现的。不仅包含全连接神经网络，还包含了卷积神经网络、循环神经网络、对抗生成网络等的原理与实现。通俗易懂的原理讲解、从底层打造深度学习库、完整的深度学习基础内容构成了课程的特色。

教学内容主要有

第一章： 编程和数学基础。包括Python快速入门、张量（包括向量、矩阵）和numpy、微积分基础（函数、极限、连续性、导数、多变量函数和向量值函数、积分）、概率（样本空间、概率、随机变量、期望、方差等）。

第二章： 梯度下降法。包括：函数单调性、极值的必要条件、梯度下降法、梯度下降法的参数优化策略、数值梯度和梯度验证、分离梯度下降和参数优化策略等。

第三章：线性回归、逻辑回归、softmax回归。包括：线性回归、逻辑回归、softmax回归、模型评估、数据规范化、过拟合和欠拟合、学习曲线、偏差与方差、正则化、交叉熵损失、批梯度下降和随机梯度下降等。

第四章：神经网络。包括：神经元、神经网络、损失函数（均方差、二分类和多分类交叉熵）、正向计算与反向求导、基于数值梯度的神经网络实现、基于反向求导的神经网络实现、面向全连接神经网络的深度学习框架。

第五章：改进神经⽹络性能的基本技巧。包括数据处理（数据增强、数据的规范化、特征工程）、参数调式（权重初始化、优化参数）、批规范化、正则化。

第六章：卷积神经网络CNN。包括卷积（池化）、卷积神经网络、卷积层的反向求导、快速卷积、典型的卷积神经网络架构。

第七章：循环神经网络。包括序列问题和模型、序列数据的顺序和随机采样、单层循环神经网络的原理与实现、RNN语言模型和文本生成、长短记忆网络LSTM 、门控循环单元GRU、多层和双向循环神经网络原理与实现、序列到序列模型、机器翻译、单词向量化、词嵌入、注意力机制等。

第八章：对抗生成网络。包括生成模型、自动编码器、变分自动编码器、生成对抗网络的原理与实现、生成对抗网络的例子、GAN损失函数和概率分布散度的关系、：Wasserstein GAN（WGAN）、深度卷积对抗网络的原理与实现、转置卷积等。