[第1课] 机器学习的动机与应用

主题：机器学习的动机与应用、Logistic类、机器学习的定义、监督学习概观、学习理论概述、非监督学习概述、强化学习概述。

[第2课] 监督学习应用.梯度下降

主题：监督学习应用——自主推导，ALVINN系统，线性回归，梯度下降，组梯度下降，随机梯度下降，标准方程推导。

[第3课] 欠拟合与过拟合的概念

主题：欠拟合与过拟合的概念，参数化及非参数化算法概念，局部加权回归，对于线性模型的概率解释，Logistic回归，感知器。

[第4课] 牛顿方法

主题：本课首先介绍了牛顿方法，可以代替梯度上升算法用来计算 函数的最大值；之后以高斯分布和伯努利分布为例介绍了指 数分布函数族；最后以指数分布函数族为基础，引出了广义 线性模型，可以通过指定概率分布直接推导出模型。

[第5课] 生成学习算法

主题：本课首先介绍了一类新的学习算法——生成学习算法，并详 细地介绍了该算法的一个例子：高斯判别分析；之后对生成学习算法与之前的判别学习算法进行了对比；最后介绍了一个适合对文本进行分类的算法——朴素贝叶斯算法，并结合该算法介绍了一种常用的平滑技术——Laplace平滑。

[第6课] 朴素贝叶斯算法

主题：本课首先介绍了两种朴素贝叶斯算法的事件模型，之后介绍了神经网络算法，并在最后介绍了两个重要的概念：函数间隔和几何间隔，基于这两个概念提出了一个线性分类算法：最大间隔分类器算法。该算法用于引出一个非常重要的非线性分类算法：支持向量机。

[第7课] 最优间隔分类器问题

主题：本课首先提出了原始的优化问题：最优间隔分类器问题，之后介绍了对偶问题的概念和KKT条件，之后基于原始优化问题的对偶问题的分析，介绍了SVM算法。课程的最后对SVM算法进行了评价，以引出下节课对核方法的介绍。

[第8课] 顺序最小优化算法

主题：摘要：本讲首先介绍了核的概念——它在SVM以及许多学习算法中都有重要的应用，之后介绍了l1 norm软间隔SVM——它是一种SVM的变化形式，可以处理非线性可分隔的数据，最后介绍了SMO算法——一种高效的可以解决SVM优化问题的算法。

[第10课] 特征选择

主题：摘要：本讲首先介绍了VC维的概念——该概念能够将关于ERM一般误差的界的结论推广到无限假设类的情形；之后介绍了模型选择问题——具体介绍了交叉验证方法以及几种变形；最后介绍了特征选择问题——具体介绍了两类方法：封装特征选择和过滤特征选择。

[第11课] 贝叶斯统计正则化

主题：摘要：本讲先介绍了贝叶斯统计和规范化；之后简单介绍了在线学习的概念；之后介绍了机器学习算法设计中的问题诊断技巧；之后介绍了两种分析技巧：误差分析与销蚀分析；最后介绍了两种应用机器学习算法的方式与适用场景。

[第12课] K-means算法

主题：本讲开始介绍无监督学习的内容。首先介绍了k-means聚类算法；之后介绍了混合高斯模型，它是最大期望算法（EM）的一种特例；之后引入了Jesen不等式，之后利用Jesen不等式引出了EM算法的一般形式。

[第13课] 高斯混合模型

主题：本讲对混合高斯模型在EM算法下的结论进行了推导，并且介绍了EM算法在混合贝叶斯模型中的应用。最后介绍了因子分析算法。该算法可以进行高维数据下样本数目较少的情况下的模型拟合。

[第14课] 主成分分析法

主题：本讲继续上一讲的内容，详细地介绍了因子分析问题对应的EM算法的步骤推导过程，并重点提出了其中应该注意的问题。之后介绍了主成分分析（PCA）的算法原理和主要应用。该算法是一种常用的降低数据维度的算法。

[第15课] 奇异值分解

主题：介绍了主成分分析PCA，及举出利用PCA找出相似文档的例子，然后讲了SVD（奇异值分析）。介绍了无监督算法和因子分析。然后介绍ICA（独立成分分析算法），和CDF（累积分布函数），并复习了高斯分布的知识。最后举了几个应用ICA的例子。

[第16课] 马尔可夫决策过程

主题：本课主要介绍了监督学习、然后引出强化学习的知识，用“使直升机飞翔”的例子阐述强化学习。介绍了马氏决策过程（MDP），由此引出来的两个解决最优策略和最优回报的算法，最后重点介绍了“值迭代”和“策略迭代算法”的实施，以及比较了它们的优缺点。

[第17课] 离散与维数灾难

主题：本节继续介绍马氏决策过程（MDP），以及解决状态MDP的算法，然后主要详细介绍了拟合值迭代算法（fitted value iteration）和近似政策迭代（approximate policy iteration）这两种算法，并通过具体的例子和求解的方式来说明这两种算法。

[第18课] 线性二次型调节控制

主题：本讲主要讲，控制NVP算法，谈到非线性动力学系统，之后谈论在动力系统的模型，然后又谈论线性二次型调节控制（linear quadratic regulation control），之后导出一些处理情况的函数。还包含线性模型的建立，非线性模型的线性化的知识。

[第19课] 微分动态规划

主题：首先谈了一点强化学习算法，然后引入调试强化学习算法，之后介绍Kalman滤波器 微分动态规划,卡尔曼滤波与LQR控制结合的一种算法（LQG控制算法，线性二次高斯），并比较了高斯分布和卡尔曼滤波的效率问题。

[第20课] 策略搜索

主题：这节课学习和复习了强化学习算法，然后学习了一些POMDPs(部分可观察马氏决策过程)的知识，完全可观察MDP的知识，接下来介绍了策略搜索算法（其中包括两种算法：Reinforced和Pegasus）。最后，介绍了与这门课程相关的一些课程，并给学生提出一些希望。