最近的NLP记录

关于disentangled representation learning（解耦表示？）

看了点东西之后感觉就是将特征的不同分量表示为不同的物体属性，从而只改变一些分量的情况下可以只变化物体的某一些属性而对另一些影响不大

Wasserstein Auto-Encoders

问号的地方是自己可能之后需要再找些资料深入理解的地方（虽然鸽掉的可能性更大……）

之前人们的语言生成据大多数都限制在特定任务使用监督方式
自编码和RNN不适用于从任意隐藏层表示生成（？）
更近的研究尝试VAE和GAN来生成文本，然而他们的生成有极大的随机性和不可控性

这篇论文试图解决受控文本生成的问题
他们关注于生成真实的段落利用dr表示

挑战之一：
是离散文本不可微，无法使用全局判别器来反向梯度
解决方式是策略梯度（SeqGAN（训练高方差））、连续近似（预先定性存在的结果）（？）。半监督VAE最小化逐元素重构误差（丢失了段落的整体信息）

挑战之二：
控制生成与disentangled representation learning相关
可能进行限制时，产生的属性并不一定是我们需要的

模型优势：高度表示设计好的语义结构，用动态的执行属性生成段落。
基于VAE，结合整体判别器，端到端优化
模型可描述为带wake-sleep（笔者注：现在还能看到这个术语有点意外……不过说起来为啥这东西之后就没见怎么用过了）功能的增强版VAE

判别器与传统方法相比优点在于不同属性可以独立训练
将特征向量分为两部分，结构化和非结构化
结构化部分是我们需要调整的部分，这部分交给discriminator来拟合自己定义的值，从而进行约束
非结构化部分用于储存不是我们需要约束的那些所有特征信息

退火算法可以解决梯度离散问题（？）

文章作者:Wuny

发布时间:2019-07-28, 12:55:58

最后更新:2019-10-11, 23:55:33

许可协议: "署名-非商用-相同方式共享 4.0" 转载请保留原文链接及作者。