Transformer
模型架构Transformer 是 2017 年提出的一种模型架构,用”注意力机制”让词与词同时互相看。今天几乎所有大模型,底层都是它。
Transformer 是 2017 年 Google 一篇论文《Attention Is All You Need》里提出的模型架构。它不起眼地改写了 AI 史——今天你听过的几乎所有大模型,底层都是它。
在它之前,模型处理语言大多是一个字一个字地捋(RNN 那种),慢且记不远。Transformer 换了思路:用"注意力机制"让一句话里所有词同时互相看一眼,谁和谁相关、相关多少,一次性算清楚。这样既能并行、又能抓长距离关系,模型才能往上堆到千亿参数还不崩。
它是 LLM 的地基。没有 Transformer,就没有后面 GPT、Claude、文心这些能聊天的模型;Embedding(把词变成向量)也和它深度绑定。
普通人不用懂它的数学,只要记住一件事:你现在用的每个大模型,往上数三层,根都扎在 2017 年那篇论文里。它是这一波 AI 的"发动机设计图"。
和谁不一样
LLM
Transformer 是架构(设计图),LLM 是照着它造出来的模型。