https://mp.weixin.qq.com/s/WxmIYR7EHKaiNj-8cYRX6A

我将以**「交互演示」**方式：

尝试帮你在 10 分钟内，理解大模型的基本原理。

大模型的“生成”，不过是续写

大模型，能够写一篇很长的内容：不过是“文字接龙”的小游戏。

简单来说，就是：根据前面的内容，预测下一个词是什么，然后把这个词接上，再预测，再接上，循环往复。（你也可以管这个叫：自回归）

这里有一个简单的演示，可以点击 天气 来试试

https://mmbiz.qpic.cn/mmbiz_png/2icSMc1VBIYox0pVt0hnaViaZ3ycib4Ut8rLAdSPL5624vQ6enpmaQQSf9d5svp1v8LDgHSSKV5v5qaAibb2iclU8PA/640?wx_fmt=png&tp=webp&wxfrom=15&wx_lazy=1

https://mmbiz.qpic.cn/mmbiz_png/2icSMc1VBIYox0pVt0hnaViaZ3ycib4Ut8rHJxXEErkPibqbLibYiafHu95faicibsibib533KibApxMVcr6PtQYiaSpBxyLVA/640?wx_fmt=png&tp=webp&wxfrom=15&wx_lazy=1

https://mmbiz.qpic.cn/mmbiz_png/2icSMc1VBIYox0pVt0hnaViaZ3ycib4Ut8rlVwNKdHLS93tvyynLBc953KiaG5OibCUtO4srK1TRv5LI1oen4DlOs9g/640?wx_fmt=png&tp=webp&wxfrom=15&wx_lazy=1

https://mmbiz.qpic.cn/mmbiz_png/2icSMc1VBIYox0pVt0hnaViaZ3ycib4Ut8rFOlkQ8ZlzEHAu4VWm5AFzRbLZdyryDcenukjYLWia8jA4XLSwTP52FA/640?wx_fmt=png&tp=webp&wxfrom=15&wx_lazy=1

https://mmbiz.qpic.cn/mmbiz_png/2icSMc1VBIYox0pVt0hnaViaZ3ycib4Ut8ria5b4vKp4r3oujbgMG7t3lZdCTHYugQHIsS4NOfYoE8Ny11pz3V60lQ/640?wx_fmt=png&tp=webp&wxfrom=15&wx_lazy=1

https://mmbiz.qpic.cn/mmbiz_png/2icSMc1VBIYox0pVt0hnaViaZ3ycib4Ut8r6srgQn15kiabtTAW5sf03jxxZb2kk3KOyE6BJhM1AwIhL7cU1DC9RUQ/640?wx_fmt=png&tp=webp&wxfrom=15&wx_lazy=1

大模型就这么一个个词的猜，直到猜完一整篇文章。

不过这里就有了一个新问题：AI 是如何判断哪个词可能性最大？又是如何理解我们写的内容呢？

大模型自己“划重点” ：所谓的“注意力”

**AI 在“续写”时，不会对所有词都一视同仁，它会“划重点”！**这项能力叫做 “注意力机制”：把注意力更多地放在重要的词语上。

在下面的演示中，点击 阳光 花香 人们 微风 感叹或者 今天 ，来看看大模型都关注到了什么。

https://mmbiz.qpic.cn/mmbiz_png/2icSMc1VBIYr9mLO5gGdXIss2uAiazx0jOYOKm1DnEXHN2ga8Soqsnv8O2CGCJxEfvw05gCLI4gKEWSlrI3NaLkg/640?wx_fmt=png&tp=webp&wxfrom=15&wx_lazy=1