CNN发展史

早期铺垫

神经网络起源

• Hubel和Wiesel对猫大脑中的视觉系统的研究。

各种结构的铺垫

自编码器

• 自编码器能够通过无监督学习，学到输入数据的高效表示，这一高效表示被称为编码

何为高效的数据表示

深度学习的各种优化方法

• 优化方法就是一种能够帮助我们最小化或最大化目标函数(损失函数)的一类方法
• 一个好的优化方法往往能更加高效。更加精确的训练模型的内参

强化学习学习

简介

• 强化学习是解决这样的一类问题：
  • 每一步不能及时的获得标签，也就是要求强制在线
  • 而且并不是执行操作后会马上获得结果，可能要等好多步才能获得结果
• 所以强化学习的过程是不断的环境互动，以此来总结学习

gym学习

• gym库是一个开发和比较强化学习算法的包，并提供可视化，非常的有趣

gym.make

• 调用智能体模型的库

残差神经网络学习

起因

• 我们在很深的神经网络之后，效果会变差！所以深一点的网络并不一定比浅得好
  • 因为到了后期，网络自动变成了恒等映射，导致最后梯度几乎没有变化，学不出东西
    • 但是对于深度的网络，浅层的解空间应该是深层的子集，然后事实却不一样，因为网络的degradation问题(网络退化)
  • 随着层数的增多，连乘变得很不稳定

简单图像处理

平滑

滤波

大多数的滤波都有一定的去噪作用

• 均值滤波
  • 就是在小方框内取均值
• 方框滤波：
  • 就是在均值滤波之后做归一化
• 高斯滤波：
  • 就是直接用高斯分布公式来处理，可以处理掉异常值
• 中值滤波
  • 类似均值滤波，就是用中值代替，可能类似的也有众数滤波

手动实现计算图

• 之前打过一次手动求导，但是学了pytorch之后发现自己并没有打backward之类的操作，不能偏导

• 计算图的思路都很显然，问题是要怎样实现才好

  • 我们要定义一个类：点类(Node)
  • 因为实际计算中可能会有多个图，所以我们还要定义一个图类(Graph)
  • 为了长得像我们再定义一个tensor类
  • 还要定义一些计算类，来封装对于某个计算中自己的计算和求导方式

支持向量机(SVM)

简介

• 是一种二分类模型，基本模型的定义是在特征空间上的间隔最大的线性分类器
• ==间隔最大有利于感知==
• 学习策略： 间隔最大化，可以形式化为一个求解凸二次规划问题，也等价于正则化的合页损失函数的最小化问题

线性代数笔记

行列式

• 证明交换变号

  • 用数学归纳法
    • 对交换i，j行来说，用第k行的余子式来求值
    • 第k行的所有余子式的i，j行都交换了
    • 得证
  • 逆序对法易证

• 化成上下三角

  • 1、先观察能否换行列
    • 使得减的时候更好减
  • 2、观察能否加出来一个全相等的行列

• 高化

  • 在不好减的时候，扩充
  • 扩充的时候，只要是三角型，对角线的是1，其他随意

• 递推

  • 行列式内的结构和大结构都长得很像
  • 设$F_n$来递推
  • 还能使用转置来消掉$F_{n-1}$

• 鸡爪型

  • 直接化成上三角
    • 每个元素乘上对应的分数

• 范德蒙德行列式

  • 用数学归纳法

• 代数余子式乘不同的行列

  • 证明：取一个有两个行列相同的，然后易证

• Cramer法则

  • D≠0有唯一解
  • 证明：把方程所有元素用时乘上一列的余子式，然后易证

• 齐次线性方程组

  • D=0只有零解，有非零解D≠0