注意力机制是仿生学成果参考《动手学深度学习Pytorch版》的介绍灵长类动物视觉系统有大量的感官输入远超大脑神经系统的处理能力“只关注一小部分信息的能力对进化更有意义”生物学中的注意力总结为两类自主性提示与非自主性提示红色或彩色更能吸引人即非自主性提示的例子喝杯咖啡想找书看对书的关注即自主性提示。我认为两类是辨证对立的如长期的非自主性提示影响自主性提示近朱者赤家境同样富裕的不同人家的子弟有的选择胡作非为有的则为人善良。另一方面自主性提示决定非自主性提示的影响如亲兄弟面对同样的环境可能作出截然相反的抉择。人工智能神经网络中的注意力Query查询即自主性提示。Value值即感官输入。Key键即非自主提示。Bahdanau注意力模型把上一个时间步的解码器隐状态视为查询即自主性提示把所有时间步的编码器隐状态同时视为键和值即输入和非自主提示。