7月17
当你还在一个词一个词地调教 Prompt 时，硅谷的大佬们已经在布局上下文工程（Context Engineering）了。
推特上的 AI 架构师 @HeyNina101 一针见血地指出：「提示词工程是给爱好者玩的，上下文工程（Context Engineering）才是专业生产力。」这条推文迅速引爆了硅谷技术圈，Shopify CEO Tobi Lutke 和前特斯拉 AI 总监 Andrej Karpathy 等大佬纷纷点赞。
Prompt vs 上下文
你在对话框里敲下的指令，就是 Prompt。
但一个能打的 AI 应用，需要的远不止 Prompt。还需要为模型构建整个世界观，这就是「上下文工程」。
上下文工程包括：
任务设定：明确告诉 AI 要干嘛
案例示范：给它几个栗子学学
外部文档：挂载知识库，让它变身专家
对话历史：让 AI 拥有短期记忆
工具输出：调用 API 后的结果反馈
系统状态：应用当前的运行情况
长期记忆：跨越对话周期的记忆
信息压缩：在有限的上下文中高效传递信息
多模态：不止文本，还有图片、声音等等
上下文给的太少，AI 就是人工智障；给的太多，系统就运行变慢、或者烧光你的预算。如何拿捏好这个平衡，不仅仅是简单的指令艺术，更是一个系统设计的挑战。
真正的LLM应用，远不止套壳
一个生产级的 LLM 应用，不仅仅是上面这些，还需要：
控制流：设计 AI 的思考和行动路径
上下文打包：智能筛选、组合信息喂给模型
模型路由：根据任务，自动切换最合适的模型
UI 与生成验证：确保输出的内容能看、能用
安全护栏、评估、预取、并行计算...
这个复杂的系统，我们称之为 LLM 软件工程，而「上下文」正是这个新世界的核心层。
到底是谁在控制 LLM？
Google DeepMind 的工程师 Philipp Schmid 用一张图给出了答案：真正决定 LLM 行为的，是一个由指令、用户输入、历史、文档、工具等共同构成的庞大上下文系统。
所以，别再只盯着那个小小的输入框了。
你认为上下文工程会是下一个风口吗？
独立开发者如何抓住这个机会？
评论区聊聊你的看法
推特上的 AI 架构师 @HeyNina101 一针见血地指出：「提示词工程是给爱好者玩的，上下文工程（Context Engineering）才是专业生产力。」这条推文迅速引爆了硅谷技术圈，Shopify CEO Tobi Lutke 和前特斯拉 AI 总监 Andrej Karpathy 等大佬纷纷点赞。
Prompt vs 上下文
你在对话框里敲下的指令，就是 Prompt。
但一个能打的 AI 应用，需要的远不止 Prompt。还需要为模型构建整个世界观，这就是「上下文工程」。
上下文工程包括：
任务设定：明确告诉 AI 要干嘛
案例示范：给它几个栗子学学
外部文档：挂载知识库，让它变身专家
对话历史：让 AI 拥有短期记忆
工具输出：调用 API 后的结果反馈
系统状态：应用当前的运行情况
长期记忆：跨越对话周期的记忆
信息压缩：在有限的上下文中高效传递信息
多模态：不止文本，还有图片、声音等等
上下文给的太少，AI 就是人工智障；给的太多，系统就运行变慢、或者烧光你的预算。如何拿捏好这个平衡，不仅仅是简单的指令艺术，更是一个系统设计的挑战。
真正的LLM应用，远不止套壳
一个生产级的 LLM 应用，不仅仅是上面这些，还需要：
控制流：设计 AI 的思考和行动路径
上下文打包：智能筛选、组合信息喂给模型
模型路由：根据任务，自动切换最合适的模型
UI 与生成验证：确保输出的内容能看、能用
安全护栏、评估、预取、并行计算...
这个复杂的系统，我们称之为 LLM 软件工程，而「上下文」正是这个新世界的核心层。
到底是谁在控制 LLM？
Google DeepMind 的工程师 Philipp Schmid 用一张图给出了答案：真正决定 LLM 行为的，是一个由指令、用户输入、历史、文档、工具等共同构成的庞大上下文系统。
所以，别再只盯着那个小小的输入框了。
你认为上下文工程会是下一个风口吗？
独立开发者如何抓住这个机会？
评论区聊聊你的看法
7月17
本篇文章深入分析了大型模型微调的基本理念和多样化技术，细致介绍了LoRA、适配器调整(Adapter Tuning)、前缀调整(Prefix Tuning)等多个微调方法。详细讨论了每一种策略的基本原则、主要优点以及适宜应用场景，使得读者可以依据特定的应用要求和计算资源限制，挑选最适合的微调方案。
一、大型模型微调的基础理论
大型语言模型(LLM)的训练过程通常分为两大阶段：
阶段一：预训练阶段
在这个阶段，大型模型会在大规模的无标签数据集上接受训练，目标是使模型掌握语言的统计特征和基础知识。此期间，模型将掌握词汇的含义、句子的构造规则以及文本的基本信息和上下文。
需特别指出，预训练实质上是一种无监督学习过程。完成预训练的模型，亦即基座模型(Base Model)，拥有了普遍适用的预测能力。例如，GLM-130B模型、OpenAI的四个主要模型均属于基座模型。
阶段二：微调阶段
预训练完成的模型接下来会在针对性的任务数据集上接受更进一步的训练。这一阶段主要涉及对模型权重的细微调整，使其更好地适配具体任务。最终形成的模型将具备不同的能力，如gpt code系列、gpt text系列、ChatGLM-6B等。
那么，何为大型模型微调？
直观上，大型模型微调即是向模型“输入”更多信息，对模型的特定功能进行“优化”，通过输入特定领域的数据集，使模型学习该领域知识，从而优化大模型在特定领域的NLP任务中的表现，如情感分析、实体识别、文本分类、对话生成等。
为何微调至关重要？
其核心理由是，微调能够“装备”大模型以更精细化的功能，例如整合本地知识库进行搜索、针对特定领域问题构建问答系统等。
以VisualGLM为例，作为一个通用多模态模型，当应用于医学影像判别时，就需要输入医学影像领域的数据集以进行微调，以此提升模型在医学影像图像识别方面的表现。
这与机器学习模型的超参数优化类似，只有在调整超参数后，模型才能更好地适应当前数据集；同时，大型模型可以经历多轮微调，每次微调都是对模型能力的优化，即我们可以在现有的、已经具备一定能力的大模型基础上进一步进行微调。
一、大型模型微调的基础理论
大型语言模型(LLM)的训练过程通常分为两大阶段：
阶段一：预训练阶段
在这个阶段，大型模型会在大规模的无标签数据集上接受训练，目标是使模型掌握语言的统计特征和基础知识。此期间，模型将掌握词汇的含义、句子的构造规则以及文本的基本信息和上下文。
需特别指出，预训练实质上是一种无监督学习过程。完成预训练的模型，亦即基座模型(Base Model)，拥有了普遍适用的预测能力。例如，GLM-130B模型、OpenAI的四个主要模型均属于基座模型。
阶段二：微调阶段
预训练完成的模型接下来会在针对性的任务数据集上接受更进一步的训练。这一阶段主要涉及对模型权重的细微调整，使其更好地适配具体任务。最终形成的模型将具备不同的能力，如gpt code系列、gpt text系列、ChatGLM-6B等。
那么，何为大型模型微调？
直观上，大型模型微调即是向模型“输入”更多信息，对模型的特定功能进行“优化”，通过输入特定领域的数据集，使模型学习该领域知识，从而优化大模型在特定领域的NLP任务中的表现，如情感分析、实体识别、文本分类、对话生成等。
为何微调至关重要？
其核心理由是，微调能够“装备”大模型以更精细化的功能，例如整合本地知识库进行搜索、针对特定领域问题构建问答系统等。
以VisualGLM为例，作为一个通用多模态模型，当应用于医学影像判别时，就需要输入医学影像领域的数据集以进行微调，以此提升模型在医学影像图像识别方面的表现。
这与机器学习模型的超参数优化类似，只有在调整超参数后，模型才能更好地适应当前数据集；同时，大型模型可以经历多轮微调，每次微调都是对模型能力的优化，即我们可以在现有的、已经具备一定能力的大模型基础上进一步进行微调。
