术语表

以下是本文中涉及的 AI 和技术相关术语的详细解释，帮助读者更好地理解文章内容。

基础模型与架构

• 大语言模型（LLM - Large Language Model）：基于 Transformer 架构的深度学习模型，使用大规模文本语料库训练而成。这些模型具备强大的自然语言理解和生成能力，能够处理多种语言任务，如问答、翻译、摘要等。典型代表包括 GPT 系列、千问、Gemini 等。

• 基础模型（Foundation Models）：在大规模通用数据集上预训练、具备广泛适应能力的人工智能模型。大型语言模型（LLM）和多模态模型通常被视为基础模型。它们通过海量数据学习到丰富的知识和通用能力，能够作为各类下游任务的基础，通过微调或提示快速适配不同应用场景。

• 注意力机制（Attention Mechanism）：让模型能够动态关注输入数据中不同部分的机制。通过计算注意力权重，模型可以有选择地处理重要信息，提高对长序列数据的理解和生成能力。

• 自注意力（Self-Attention）：一种特殊的注意力机制，用于计算输入序列内部各元素之间的关联强度。它允许序列中的每个位置都能够直接与其他所有位置进行信息交互。

RAG 相关技术

• 检索增强生成（RAG - Retrieval-Augmented Generation）：一种混合 AI 架构，结合了信息检索和文本生成技术。RAG 在生成回答前先从外部知识库中检索相关信息，然后将检索到的内容作为上下文提供给生成模型，从而提高回答的准确性和相关性，减少幻觉问题。

• 向量化（Vectorization）：将文本、图像或其他数据转换为数值向量的过程。在 NLP 中，文本向量化通过嵌入模型将词语、句子或文档映射到高维向量空间，使计算机能够理解和处理语义信息。

• 嵌入模型（Embedding Model）：专门用于生成向量表示的机器学习模型。嵌入模型将离散的符号（如单词、句子）转换为连续的向量表示，捕获其语义特征。

• 文档分块（Chunking）：将长文档分割成较小、语义相对完整的文本片段的技术。分块是 RAG 系统中的关键步骤，好的分块策略需要平衡块的大小、语义完整性和检索效果。

• 向量数据库（Vector Database）：专门存储和检索高维向量数据的数据库系统。与传统关系数据库不同，向量数据库优化了相似度搜索功能。

• 语义检索（Semantic Search）：基于语义理解而非关键词匹配的信息检索技术。语义检索使用向量化技术将查询和文档转换为语义向量，通过计算向量相似度找到语义相关的内容。

提示工程技术

• 提示词工程（Prompt Engineering）：设计和优化输入提示以引导大语言模型生成期望输出的技术。

• 零样本提示（Zero-shot Prompting）：只向模型提供任务描述或问题，而不提供任何示例的提示方法。

• 单样本提示（One-shot Prompting）：在提示中为模型提供一个示例的方法。

• 少样本提示（Few-shot Prompting）：在提示中提供多个示例的技术。

• 系统提示（System Prompting）：用于设定语言模型整体行为和能力边界的提示技术。

• 角色提示（Role Prompting）：为语言模型分配特定角色或身份的提示技术。

• 思维链（Chain of Thought, CoT）：通过引导模型生成中间推理步骤来提升推理能力的提示技术。

• 思想树（Tree of Thoughts, ToT）：思维链的泛化形式，允许模型同时探索多个不同的推理路径。

• 回溯提示（Step-back Prompting）：引导模型先思考更一般或更高层次的背景问题的方法。

模型训练与优化

• RLHF（人类反馈强化学习）：结合人类反馈与强化学习的训练方法。

• 微调（Fine-tuning）：在预训练模型基础上，使用特定领域或任务的数据进行再训练的技术。

• 预训练（Pre-training）：在大规模通用数据集上训练模型的过程。

• 知识蒸馏（Knowledge Distillation）：通过让小型模型学习大型模型的输出分布，实现知识转移。

• 低秩适应（LoRA）：一种高效的模型微调方法，通过注入低秩分解矩阵减少训练参数。

评估与度量

• BLEU 分数：用于评估机器翻译和文本生成质量的指标。

• ROUGE 指标：用于评估文本摘要和机器翻译质量的指标集。

• 余弦相似度（Cosine Similarity）：衡量两个向量间夹角余弦值的相似度指标。

系统架构与部署

• 边缘计算（Edge Computing）：将计算任务从集中式数据中心转移到网络边缘的分布式计算模式。

• 无服务器架构（Serverless Architecture）：开发者只需关注代码逻辑，无需管理服务器基础设施的云计算模式。

• Cloudflare Workers：基于 V8 JavaScript 引擎的无服务器计算平台。

• Vectorize：Cloudflare 提供的托管向量数据库服务。

AI 安全与伦理

• 提示注入攻击（Prompt Injection）：通过精心设计的输入内容绕过模型安全限制的攻击方式。

• 对齐（Alignment）：确保 AI 系统行为与人类价值观保持一致的过程。

• 安全性（Safety）：AI 系统避免产生有害行为的能力。

• 偏见（Bias）：AI 模型在训练数据或算法设计中存在的系统性偏差。

其他重要概念

• 多模态能力（Multimodal Capabilities）：处理文本、图像、音频等多种数据类型的能力。

• 幻觉（Hallucination）：模型生成看似合理但实际错误信息的现象。

• Token：自然语言处理中的基本处理单元。

• 上下文窗口（Context Window）：模型能处理的最大 token 数量。

• 温度参数（Temperature）：控制语言模型生成随机性的超参数。

• 多轮对话（Multi-turn Conversation）：跨越多个交互轮次的对话模式。

• AIGC（人工智能生成内容）：由 AI 系统自动生成的各类内容。