术语表
基础概念
Prompt（提示词）：提示词是用户向 AI 模型输入的问题、指令或陈述，用于引导模型生成响应。提示词的质量和结构直接影响模型输出，因此提示词工程是高效使用 AI 的关键技能。
Context Window（上下文窗口）：上下文窗口是 AI 模型一次能处理的最大 token 数，包括输入和生成的输出。窗口大小是模型的重要限制，超出窗口的信息会被忽略，较大的窗口则支持更复杂的对话和文档分析。
In-Context Learning（上下文学习）：上下文学习指 AI 能够通过提示词中直接提供的示例学习新任务，无需重新训练。这一强大特性使通用模型能即时适应各种具体任务。
Zero-Shot、One-Shot 与 Few-Shot Prompting（零样本、单样本与少样本提示）：这些是通过给模型零个、一个或少量任务示例来引导其响应的提示技巧。示例越多，模型越能理解用户意图，提高任务准确性。
Multimodality（多模态）：多模态指 AI 能理解和处理多种数据类型，如文本、图片和音频。这样可实现更丰富、更拟人的交互，例如描述图片或回答语音问题。
Grounding（事实锚定）：事实锚定是将模型输出与可验证的真实信息源关联，以确保内容准确、减少幻觉。常用技术如 RAG，可提升 AI 系统的可信度。
核心 AI 模型架构
Transformers（变换器）：变换器是现代大语言模型的基础神经网络架构。其核心创新是自注意力机制，能高效处理长文本序列并捕捉词语间复杂关系。
Recurrent Neural Network（RNN，循环神经网络）：RNN 是早于变换器的基础架构，按序列处理信息，通过循环结构保留“记忆”，适用于文本和语音等任务。
Mixture of Experts（专家混合架构，MoE）：专家混合是一种高效模型架构，通过“路由器”网络动态选择少量“专家”子网络处理输入，使模型参数规模巨大但计算成本可控。
Diffusion Models（扩散模型）：扩散模型是一类生成模型，擅长生成高质量图片。其原理是向数据中逐步添加噪声，再训练模型逆向还原，从随机起点生成新数据。
Mamba：Mamba 是一种新型 AI 架构，采用选择性状态空间模型（SSM），能高效处理超长序列。其选择机制聚焦相关信息、过滤噪声，有望成为变换器的替代方案。
大语言模型开发生命周期
强大的语言模型开发遵循特定流程。首先是预训练阶段，模型在海量通用互联网文本上学习语言、推理和世界知识，构建基础能力。接着是微调阶段，模型在小规模、特定任务数据集上进一步训练，提升针对性能力。最后是对齐阶段，调整模型行为，使其输出有益、无害并符合人类价值观。
预训练技术：预训练是模型学习通用知识的初始阶段，常见目标包括：因果语言建模（CLM，预测下一个词）、掩码语言建模（MLM，填补文本中隐藏词）、去噪目标（恢复被破坏的输入）、对比学习（区分相似与不相似数据）、下一句预测（NSP，判断两句是否逻辑衔接）。
微调技术：微调是用小型、专用数据集将通用模型适配到具体任务。主流方法为有监督微调（SFT，基于标注输入输出对训练），常见变体如指令微调（提升模型对用户指令的理解）。为提升效率，参数高效微调（PEFT）技术如 LoRA（低秩适配，仅更新少量参数）及其内存优化版本 QLoRA 被广泛采用。检索增强生成（RAG）则通过连接外部知识源，在微调或推理阶段提升模型能力。
对齐与安全技术：对齐是确保 AI 行为符合人类价值观，使其有益且无害。主流技术为人类反馈强化学习（RLHF），通过“奖励模型”引导 AI 学习，常用算法如 PPO（近端策略优化）。更简化的替代方案有直接偏好优化（DPO，无需奖励模型）和 Kahneman-Tversky 优化（KTO，简化数据收集）。为安全部署，最终会设置 Guardrails（护栏），实时过滤输出、阻止有害行为。
智能体能力增强
智能体是能感知环境并自主行动以达成目标的系统，其有效性依赖于强大的推理框架。
Chain of Thought（思维链，CoT）：该提示技巧鼓励模型在给出最终答案前分步解释推理过程，“边思考边输出”有助于提升复杂任务的准确率。
Tree of Thoughts（思维树，ToT）：思维树是一种高级推理框架，智能体可同时探索多条推理路径（如树状分支），自我评估不同思路，选择最优方案，提升复杂问题解决能力。
ReAct（推理与行动）：ReAct 是将推理与行动循环结合的智能体框架。智能体先“思考”下一步，再“行动”调用工具，并用结果反馈指导后续思考，适合复杂任务求解。
Planning（规划）：规划是智能体将高层目标拆解为一系列可管理的子任务，并制定执行计划，支持多步骤复杂任务的处理。
Deep Research（深度研究）：深度研究指智能体能自主深入探索主题，反复检索信息、综合发现、提出新问题，从而对某一领域形成系统性理解，远超单次检索。
Critique Model（批评模型）：批评模型是专门训练用于审查、评价和反馈其他 AI 输出的模型，充当自动化“评论员”，帮助发现错误、优化推理，确保最终结果质量达标。