张小龙：人向机器进化的几个现象：学会了多任务多角色，被通知所驱动，偏向于事物处理而非思考，将人视为部件来进行接口而非理解，行为模式趋于统一，异常的人被视为进程出错要kill掉。 2011-01-14 17:34 通过网页
2017年，Google的八位研究者发表了划时代的机器学习论文《Attention Is All You Need》
这篇论文引入了一种全新的深度学习架构——Transformer模型，核心在于使用注意力机制（Attention）来取代以往序列模型中的循环或卷积结构。Transformer是一种基于自注意力（self-attention）的编码器-解码器模型。
Transformer架构：如何不同于传统神经网络？
Transformer的架构与传统的循环神经网络（RNN）或卷积神经网络（CNN）有着本质区别。传统RNN（如LSTM、GRU）按顺序逐步处理输入序列，每一步依赖前一步的状态，因此无法并行，而且长序列会面临梯度消失等问题，难以记住太久之前的信息。CNN在图像处理中非常成功，但用于序列时通常需要固定窗口或层叠卷积来扩大感受野，也难以灵活捕捉变长依赖。而Transformer完全摒弃了这些序列依赖的处理方式，转而用自注意力和前馈网络构建深层模型，从而在结构上有以下特点：
- 编码器-解码器结构但无循环：Transformer沿用了编码器-解码器框架来处理序列到序列任务（如翻译），但编码器和解码器内部都不使用RNN/CNN。编码器将输入序列通过多层自注意力和前馈网络编码成表示矩阵；解码器则在自注意力的基础上，通过“交叉注意力”机制（让解码器的查询去关注编码器输出）生成目标序列。整个过程中不存在时间步的循环依赖，所有输入可以并行流经各层。
- 位置编码替代位置信息：由于模型不再按顺序逐个处理词，为了让模型知道顺序，Transformer引入位置编码（Positional Encoding）。它使用固定的三角函数（正弦和余弦）给每个序列位置生成一个向量，并将其加到词的嵌入向量中，注入位置信息。这样，即使模型并行处理，仍能区分“谁在前、谁在后”。位置编码的设计还具有外推能力，可以推广到比训练时更长的序列。这点是RNN所不具备的，因为RNN逐步读入序列天然包含顺序，而Transformer需要显式提供位置信号。
- 完全并行计算：Transformer每一层主要由两部分组成：多头自注意力子层和前馈神经网络子层。自注意力子层使每个输入位置都能与其他位置直接交互，不需要像RNN那样逐步传递状态。因此，在给定一句话时，Transformer可以同时计算出所有词之间的相关性，再同时更新每个词的位置表示。这种并行化使得Transformer非常适合GPU加速。相比之下，传统RNN需要词序一步步地算，无法利用并行硬件的威力。并行计算不仅加快了训练，也意味着我们可以投入更多计算资源来训练更大的模型（因为训练所需时间可控），这是Transformer后来促成超大规模模型的基础。
- 更高的计算代价与优化挑战：值得一提的是，Transformer虽然抛弃了RNN的缺点，但也带来了新的挑战。其中之一是时间/空间复杂度较高——自注意力需要对输入序列的每对元素计算相关性，复杂度为O(n^2)（n为序列长度），当序列很长时计算和存储量都很大。为此，近年也出现了许多改进方法（如高效注意力、稀疏注意力等）来降低复杂度。但在2017年，句子长度通常有限，这一代价在可接受范围内。而Transformer能够实现的长距离信息整合和并行效率，足以抵消它在单次计算上的开销，这也是它胜出的原因。
总的来说，Transformer架构以自注意力为核心，辅以前馈网络和跳跃连接、层归一化等技巧，形成了一种全新的深度神经网络类别。它与传统神经网络的分野在于：前者强调全局关系建模和训练并行化，而后者依赖局部状态传递和顺序处理。这种差异使Transformer在保持或提高准确度的同时，大幅提升了训练和推理效率，改变了NLP模型开发的范式。
注意力机制原理：模型如何“聚焦”信息
注意力机制（Attention Mechanism）可以理解为让模型学会“关注”输入中最相关的部分，而不必平均对待所有信息。这个概念最初来源于人类认知：我们在处理大量信息时，会有意识地把注意力集中在关键细节上。类似地，在机器翻译等任务中，注意力机制让神经网络在生成每个输出时，都有选择地参考输入序列中与之相关的元素。
打个比方：阅读一句话“Miami, coined the 'magic city,' has beautiful white-sand beaches.”时，如果任务是了解地点，那么大脑会特别关注“Miami”（迈阿密）和“beaches”（海滩）这两个词，因为它们对地点信息最重要。
传统模型往往机械地按顺序处理每个词，很难捕捉这种远距离的关联。而注意力机制就像舞台上的聚光灯，可以对关键部分打亮聚焦，使模型更清楚哪些信息在当前任务中更重要。
注意力机制赋予了模型类似“选择性注意”的能力。如同人在阅读理解时会反复回看相关内容，模型通过注意力可以动态调整对各部分信息的重视程度，从而更智能地处理复杂的语言现象。
多头注意力：一心多用的洞察力
Transformer中的一个关键创新是多头注意力（Multi-Head Attention）。所谓“多头”，就是并行使用多个注意力机制（多个“头”）去看待同一组输入信息。为什么要这么做？因为语言中的关系是多维、多层次的——一句话里不同的词之间可能存在语法、语义、位置等各种关联。单一的注意力头或许只能侧重其中一种关系，而多头注意力允许模型从多个角度同时观察。
可以将多头注意力类比为一个团队协作的过程：想象有一组分析员在阅读同一篇文章，每个人关注的侧重点不同——有人追踪句子的语法结构，有人留意语义主题，还有人关注指代关系等等。读完后，这些分析员把各自认为重要的信息汇总起来，整合成对文章更全面的理解。类似地，Transformer的每个注意力头会对输入序列学到不同的投影（即不同角度的特征表示），各自计算注意力权重，捕捉不同类型的关系。然后再将所有头的输出拼接起来，经由一层线性变换融合，得到整合后的结果。
这种机制大大提升了模型洞察复杂模式的能力。例如，在翻译句子时，一个注意力头可能专注于对齐主语和动词，另一个头专注于对齐形容词和名词，还有的头负责长距离的语境一致性。当多个头的信息结合后，模型对句子的理解就更加丰富、准确。多头注意力证明是提升效果的关键因素之一，它使每一层模型都能从多元视角提取特征，避免单一注意力可能遗漏的信息。
日常生活中的“注意力”类比应用
有趣的是，Transformer的注意力机制和思维方式也能给我们的日常学习、工作带来一些启示和类比。虽然大脑和神经网络运作原理不同，但我们不妨借用**“注意力”**这个概念来反思人类如何有效处理信息、安排任务。以下是几个贴近生活的类比：
- 专注力管理：注意力机制告诉我们，要在海量信息中抓住重点。生活中，我们每天接收大量讯息，若对每件事物平均用力，反而可能一无所获。正如Transformer会给相关信息更高权重，我们也应学会分清主次，把注意力集中在最重要的事情上。例如，学习新知识时先找出关键概念，优先深究；处理工作任务时识别出最紧急或影响最大的部分，优先投入精力。这种“聚焦”思维能提高效率，避免被次要细节分散注意。
- 信息处理：Transformer在处理一段文本时，会结合上下文理解词语含义，类似于我们阅读时前后联系、融会贯通。我们可以类比这种全局观照的思维方式：阅读文章或听报告时，不要只盯着某一句话，而要结合全文/全局去理解意思。这有点像“自注意力”在大脑中的运用——时时提醒自己这部分信息与整体有什么关联，是否呼应了之前的内容。通过这种方法，我们在人际沟通中也能更准确领会对方的意思，不至于断章取义。
- 任务调度：多头注意力机制体现了一心多用、统筹兼顾的优势。在日常工作中，我们常常需要并行处理多项任务或者在不同项目间切换。受Transformer启发，我们可以尝试像“多头”那样，把复杂任务拆解为不同侧面，同步推进。例如，筹备活动时一边联系场地一边设计流程，再一边做好宣传，每个方面各自推进又定期整合结果。这类似于多个注意力头并行关注不同信息，最后综合起来得到完整输出。当然，人不像机器可以真正平行处理很多事情，但善用团队力量或工具，也能达到类似效果：各负其责，最后融合各方面成果。
- 沟通表达：在语言生成中，Transformer的解码器会基于前文上下文选取最合适的词语输出。这启示我们在表达时要注重语境和反馈，即时调整自己的措辞和重点。就像注意力机制不断评估当前输出需要参考的输入部分一样，我们与人交流时也应随时关注对方反应，灵活突出最Relevant的信息。例如，在解释一个复杂概念时，如果发现对方对某部分更感兴趣或存在疑问，我们就可以把“注意力”转移到那部分，多做阐述，而对明显已经理解的部分一笔带过。这样的沟通方式有点类似“动态注意”，能使交流更有针对性和有效性。
通过上述类比，我们看到Transformer的注意力机制蕴含着一些普适的思维方式：抓住重点、统筹全局、灵活分配资源。这些理念对于人类管理注意力和信息也很有启发意义。当然，人脑的工作远比人工神经网络复杂，但这种跨领域的借鉴有助于我们更直观地理解Transformer原理，同时反思如何提升自己的学习和工作方法。
结语
这篇论文的核心思想：模型就像人一样，需要学会关注重要信息；而当这种注意力机制被充分利用时，原来看似复杂的任务也能迎刃而解。“注意力就是你所需要的一切”不仅是一种模型设计哲学，某种意义上也提醒我们，在知识的海洋中，要学会寻找最值得注意的那部分。掌握了这一点，无论是构建智能模型还是规划人生道路，我们都将受益匪浅。
//把注意力放在重要的信息上，权重更高的信息上。抓主要矛盾，寻找最值得在意的那部分。