Transformer

模型架构
更新:2026-10-30 见顶 首次爆火:2017-06 采集线

Transformer 是 2017 年提出的一种模型架构,用”注意力机制”让词与词同时互相看。今天几乎所有大模型,底层都是它。

Transformer 是 2017 年 Google 一篇论文《Attention Is All You Need》里提出的模型架构。它不起眼地改写了 AI 史——今天你听过的几乎所有大模型,底层都是它。

在它之前,模型处理语言大多是一个字一个字地捋(RNN 那种),慢且记不远。Transformer 换了思路:用"注意力机制"让一句话里所有词同时互相看一眼,谁和谁相关、相关多少,一次性算清楚。这样既能并行、又能抓长距离关系,模型才能往上堆到千亿参数还不崩。

它是 LLM 的地基。没有 Transformer,就没有后面 GPT、Claude、文心这些能聊天的模型;Embedding(把词变成向量)也和它深度绑定。

普通人不用懂它的数学,只要记住一件事:你现在用的每个大模型,往上数三层,根都扎在 2017 年那篇论文里。它是这一波 AI 的"发动机设计图"。

和谁不一样

LLM

Transformer 是架构(设计图),LLM 是照着它造出来的模型。