近似训练
近似训练
在对跳元模型和连续词袋模型的梯度计算过程中需要求和，所以对于词典而言，求和的梯度计算成本十分巨大。所以我们可以采用负采样和分层softmax
负采样
负采样修改了原目标函数，放弃softmax转而使用sigmoid来实现。
sigmoid的函数定义如下：
我们从最大化文本序列中所有这些事件的联合概率开始训练词嵌入，如果只算正向部分，那对于给定长度为TT的文本序列，以w^(t)表示时间步t的词，并使上下文窗口为m，最大化联合概率为：
而负采样添加从预定义分布中采样的负样本。
用Wk表示噪声词，则Wk与中心词的窗口内上下文词的条件概率为：
用v和u分别表示中心词和上下文词的两个向量，用it和hk分别表示窗口内词与噪声词在时间步t处的索引，则件概率的对数损失为：
总结：每个训练步的梯度计算成本与词表大小无关，而是线性依赖于采样K。当将超参数K设置为较小的值时，在负采样的每个训练步处的梯度的计算成本较小。
分层SoftMax
分层softmax使用二叉树，其中树的每个叶节点表示词表中的一个词。原理图如下
若用二叉树来实现中心词和上下次的分割，那在寻找的时候会议二的n次方的形式缩减计算成本，因为二叉树查找的时间复杂度为log以2为底 n，所以我们的运算数量级可以减小到log以2为底的结点个数数量级，计算成本显著降低。
相关推荐
2021-11-22
AutoEncoder
AutoEncoder
自编码 AutoEncoder
是一种无监督学习的算法，他利用反向传播算法，让目标值等于输入值。
比如对于一个神经网络，输入一张图片，通过一个 Encoder
神经网络，输出一个比较 "浓缩的"feature map。之后将这个 feature map
通过一个 Decoder 网络，结果又将这张图片恢复。
如果说我们的数据集特别大，对于直接训练而言性能肯定较低。但如果我们对数据特征进行提取，缩减输入信息量，学习起来就相对轻松。
简单模型
下面是一个AutoEncoder的三层模型，其中 \(W^*
= W^T\)
2010年，Vincent
在论文中表明，只用单组W就可以，所以W*没有必要去训练。
http://jmlr.org/papers/volume11/vincent10a/vincent10a.pdf
如果实数作为输入，损失函数为 \(L(f(x)) =
{1\over2}\sum_{k}(\hat x_k - x_k)^2\)
PCA 和...
2021-10-17
Perceptron
Perceptron
原理
简单的感知机可以看作一个二分类，假定我们的公式为
f(x) = sign(w *x + b)
我们把 -b 做为一个标准，w* x
的结果与 -b 这个标准比较，
w*x > -b, f(x) = +1
w *x < -b, f(x) = -1
不难看出w是超平面的法向量，超平面上的向量与w的数量积为0。因此这个超平面就可以很好的区分我们的数据集。
而感知机就是来寻找w和b
优化方法
优化方法我们现有的方法比较多，诸如GD、SGD、Minibatch、Adam
当然我们的损失函数也包含多种，常见的有MSE,...
2021-11-08
Sentiment Analysis For RNN
Sentiment Analysis For RNN
循环神经网络进行情感分析
引言：
对于情感分析，如果简化来看可以分为正向情绪和负向情绪，我们可以将情感分析视为文本分类任务，因此我们可以将预训练的词向量应用于情感分析。我们可以用预训练的GloVe模型表示每个标记，并反馈到RNN中。
RNN表征文本
在文本分类任务中，要将可变长度的文本序列转为固定长度。可以通过nn.Embedding()函数获得单独的预训练GloVe，再去通过双向LSTM，最后在去通过一个全连接层做一个二分类，即可实现RNN表征文本。
123self.embedding = nn.Embedding(vocab_size, embed_size)self.encoder = nn.LSTM(embed_size, num_hiddens, num_layers=num_layers,bidirectional=True)self.decoder = nn.Linear(4 * num_hiddens, 2)
1234embeddings =...
2021-11-24
Seq2Seq
Seq2Seq
以往的循环神经网络，输入的是不定长的序列，输出确是定长的，我们选取最长词并通过对短的词扩充来实现输出定长。但有些问题的输出不是定长的，以机器翻译为例，输入一段英语，输出对应法文，输入和输出大概率不定长，比如
英文：Beat it. 法文：Dégage ! 英文：Call me. 法文：Appelle-moi !
当输入输出序列不定长时，我们可以采用编码器-解码器（encoder-decoder）或Seq2Seq实现。
论文参考：https://arxiv.org/abs/1409.3215
编码器-解码器
编码器和解码器分别对应输入序列和输出序列的两个循环神经网络。
编码器
编码器将长度可变的输入序列转换成形状固定的上下文变量，并且将输入序列的信息在该上下文变量中进行编码。
假设输入序列是\(x_1,x_2,x_3...x_T\)
,其中\(x_t\)是输入文本序列中第t个词原，用\(h_t\) 来表示上一时间的隐藏状态，用函数\(f\)来描述为 \[
h_t=f(x_t,h_t−1)
\] 编码器的背景向量 \[
c...
2021-10-14
SoftMax指北
SoftMax指北
softmax函数，又称归一化指数函数。是将多分类的结果用概率的形式表示出来，而各种预测结果概率和为1，下图为SoftMax的计算方法。
e的zi次方保证了结果非负，除以总和保证了总和为1，这样就可以得出近似的概率。
代码示例
这边选用Fashion-Mnist作为示例.
第一步下载数据集
1234train_data = torchvision.datasets.FashionMNIST("./data/mnist",train=True,download=True)train_loader = torch.utils.data.DataLoader(train_data,batch_size = 8, shuffle = True)val_data = torchvision.datasets.FashionMNIST("./data/mnist",train=False,download=True)val_loader =...
2021-11-12
不变风险最小化
Invariant Risk Minimization
不变风险最小化
论文链接
https://arxiv.org/abs/1907.02893
基本介绍
现有机器学习是通过不断减小训练误差，来实现复杂的预测模型，但计算机是不加选择的提取训练数据的相关性，
correlation-versus-causation【相关性和因果性】有时并不一样，此论文是在研究利用因果关系拓展不变相关性的问题。
文中例子
文中提到一个例子，是对奶牛和骆驼分类。但由于数据集中，大多数奶牛照片是在牧场拍摄的，背景色为绿色，骆驼是在沙漠中。因此神经网络在训练时，不断降低loss值，最终其实是将绿色背景归类为奶牛，米色背景归为骆驼。所以训练出来的结果是不具有泛化性的。
IRM
不变风险最小化 (IRM)
是从多次训练中估计非线性、不变、因果预测因子来实现分布外泛化。
重点：为训练引入约束，将约束表述为惩罚。IRM的目标是构建泛化分布外的预测器。
