LSTM学习小记

• RNN缺点：对所以信息都进行了存储，数据没有选择性，计算量大；梯度衰减严重。基于以上缺点。X0、X1与输出h t+1之间的距离太长，RNN对长时间记忆有明显的不足。提出了LSTM网络。

• 

PyQt5学习小记

创建一个小窗口

1
2
3
4
5
6
7
8
9
10
11
12
13

from PyQt5.QtWidgets import QApplication, QWidget
import sys
if __name__ == '__main__':

    app = QApplication(sys.argv)

    w = QWidget()
    w.resize(250, 150)
    w.move(100, 100)
    w.setWindowTitle('Simple')
    w.show()

    sys.exit(app.exec_())

Perceptual Losses for Real-Time Style Transferand Super-Resolution

Python网络爬虫

Urllib

• urllib.request.urlopen返回一个response

Batch Normalization: Accelerating Deep Network Training byReducing Internal Covariate Shift

Densely Connected Convolutional Networks

• 如果在接近输入层和接近输出层之间有更短的连接(如1->n)，则卷积神经网络会更深入，更准确，更有效。
• 稠密卷及神经网络：每一层之间都有连接($\frac{L(L-1)}{2}$，由此密集的连接方式而得名)，连接都以前馈的方式连接（对于每一层，前面所有层的特征图作为输入，它自己的特征图作为后面所有层的输入）
• 优点：
  • 缓解了梯度消失
  • 增强了特征的传播
  • 鼓励特征的重利用
  • 大大的减少了参数量
  • 在网络中不断改进信息和梯度流，这使得他们更容易训练
  • 每一层都能直接从损失函数和原始输入信号中获得梯度，这有助于更深层次的网络架构
  • 此外，密集连接有一种正则化的效果，有助于减小在小规模数据集上的过拟合问题

A Neural Algorithm of Artistic Style

• 文章大致：算法基于深度神经网络，能将任意图片根据任意画家的风格转化，并提供一种方法了解人类如何创造和感知艺术意象
• feature map(特征映射)s: 对于输入图像的不同的过滤视觉
• 当CNN作用在物体识别的时候，网络产生一种能沿着处理层使得物体信息明显增加的==表征==，因此沿着网络的处理层，比起具体的像素值，输入图像对当前图像的内容(content)关注度会增加。

Pytorch学习

Tensor张量

• tensor是pytorch里面的数据类型

• 标量，向量和矩阵三个其实都是张量，标量是零维的张量，向量是一维的张量，矩阵是二维的张量

NLP

词向量

用一个向量表示一个词

基于One-hot 的词向量

特点

• 每个词的词向量都是一个地方为1，其他的地方为0的稀疏向量

NLP基础知识

自带库

• NLTK：英文的库
• jieba：中文的库

文本处理流程

分词

英文用NLTK，中文用jieba，比较难处理的时候可能要借助正则表达式