注意力模型

可能参考的东西:
认识论的框架问题
Attention?Attention!

关于筛选信息

先引用一下人工智能框架问题

必须让机器人知道哪些蕴含事件是相关的,而哪些是不相关的,并且学会忽略那些不相关的事件。
……
框架问题是要解释信息解封(Informationally Unencapsulated)的认知过程,即既能有效解决来自任何潜在认知域的信息,而又不至于受累于不得不明晰地把相关事物从不相关事物中筛选出来的繁重工作。

(题外话:感谢 命运石之门0)

引用的目的是为了表达信息筛选的重要性,当需要的信息被精确的筛选出来,在之后的步骤中进行处理就会变得更加高效和准确

关于RNN Encoder-Decoder中的注意力模型

引入注意力模型的RNN Encoder-Decoder为模型带来的更多的信息(因为要将每一步Encoder处理的向量都参与运算
而将这些信息筛选出有用的,则是注意力模型关键的地方,将这些信息输入,返回需要位置编号的注意权重
一般的解释中,是说权重越高的代表模型越关注这个位置的信息
而从另一个角度来看,也可以说是权重越低的信息被筛去的越多,只留下了对自己有用的信息

文章目录
  1. 1. 关于筛选信息
  2. 2. 关于RNN Encoder-Decoder中的注意力模型
|