Michel Johnson's Blog

引言

在与大语言模型（LLM）交互的过程中，你是否经常遇到这样的场景：当你把一个复杂的问题抛给模型时，它要么给出一个看似合理实则错误的答案，要么直接“胡言乱语”？

编辑导读： 当 ChatGPT 席卷全球时，我们习惯了在云端享受大语言模型（LLM）带来的震撼。然而，随着隐私安全、网络延迟和高昂的 API 成本日益凸显，一个不可逆转的趋势正在发生——大模型正在从云端“下沉”到边缘设备。从 MacBook 到 Android 手机，再到树莓派，如何在算力、内存受限的设备上流畅跑通千亿级参数的模型？本文将带你深入剖析当前边缘端 LLM 部署的三大主流框架：llama.cpp、MLC LLM 与 MNN，并通过原理解析与实战代码，助你玩转端侧大模型。

在当前的大语言模型（LLM）时代，AI Agent（人工智能代理）正在从单纯的“对话机器人”进化为能够执行复杂任务的“数字员工”。然而，只要稍微深入使用过原生的 LLM API，你都会遇到一个致命的问题：大模型是“无状态”的。

引言：大模型的“记忆”困境与 RAG 的进化

当我们惊叹于 ChatGPT 的对答如流，或者沉醉于 Llama 3 生成的优美代码时，我们通常会将功劳归结于模型庞大的参数量、精妙的 Transformer 架构或是海量的训练数据。然而，在这些宏大的叙事之下，隐藏着一个经常被忽视、却至关重要的基础组件：Tokenization（分词）。

引言

引言：为什么 AI Agent 需要记忆？

引言

在 AIGC（生成式 AI）和大模型席卷全球的今天，“如何让大模型拥有私有记忆和领域知识” 已经每个技术团队必须面对的课题。基于 RAG（检索增强生成）架构的落地应用成为了主流，而 RAG 的核心基础设施，正是向量数据库。