Michel Johnson's Blog

引言

引言：从“金鱼脑”到“过目不忘”的进化

自从 2017 年 Google Brain 的那篇石破天惊的论文《Attention Is All You Need》发表以来，Transformer 架构便彻底重塑了整个深度学习的版图。从自然语言处理（NLP）的 BERT、GPT 系列，到如今席卷全球的多模态大模型（如 Sora、GPT-4o），其底层核心无一例外都是 Transformer。

引言：从“千人一面”到“千人千面”的教育演进

在当今的 AI 领域，大语言模型（LLM）如 GPT-4、Claude 3 和 Llama 3 已经展现出了令人惊叹的能力。然而，一个仅仅掌握了人类语言规律的“续写机器”，并不能直接成为得力的AI助手。如果你对一个未经微调的基座模型说“帮我写一封请假条”，它可能会接着你的话续写“……给老板发过去之后，老板把你开除了”。

引言：大模型是如何“阅读”文字的？

引言：从“千人一面”到“千人千面”的教育范式转移

引言：能力越大，责任越大

导读：2024年，大模型领域的内卷焦点已经从“百模大战”悄然转向了“长上下文”的军备竞赛。从最初傲视群雄的 32K，到后来 Claude 3 的 200K，再到 Gemini 1.5 Pro 震撼发布的 1M、甚至 2M 上下文窗口。大模型仿佛从“金鱼记忆”进化成了“过目不忘”的神童。

引言：当我们召唤出“神明”