提示词工程中的 LLM 输出配置

精准配置 LLM 输出参数，不只是技术细节，更是提升智能对话体验的关键突破口。

除了精心设计的提示词外，LLM 的配置参数也会显著影响输出质量。本节介绍主要的输出配置选项及其应用场景。

输出长度控制

最大 Token 限制

控制模型生成文本的最大长度，避免输出过长或过短。

• 设置建议：

  • 简单问答：50-200 tokens
  • 文章生成：500-2000 tokens
  • 代码生成：200-1000 tokens

• 注意事项：

  • 过短限制可能导致输出不完整
  • 过长限制会增加计算成本
  • 不同模型的 token 计算方式可能不同

停止条件

设置特定的停止词或短语，当模型生成到这些内容时自动停止。

• 应用场景：
  • 防止生成无效内容
  • 控制输出格式
  • 避免重复循环

采样控制参数

温度（Temperature）

控制输出的随机性和创造性。

• 取值范围：0.0 - 2.0（通常）

• 低温度（0.0-0.3）：

  • 输出更确定、保守
  • 适合事实性问答、代码生成
  • 多次运行结果更一致

• 中温度（0.3-0.7）：

  • 平衡确定性和多样性
  • 适合一般对话、创作

• 高温度（0.7-2.0）：

  • 输出更随机、创造性
  • 适合创意写作、头脑风暴

Top-K 采样

只考虑概率最高的前 K 个候选词元。

• 工作原理：从最可能的 K 个词元中随机选择

• 效果：

  • 降低生成低概率词元的可能性
  • 控制输出的一致性
  • K 值越大，多样性越高

• 推荐设置：

  • 事实性任务：K=1-10
  • 创意任务：K=40-100

Top-P（核采样）

基于累积概率选择候选词元。

• 工作原理：选择累积概率不超过 P 的词元集合

• 优势：

  • 动态调整候选集合大小
  • 比 Top-K 更灵活

• 推荐设置：

  • 精确任务：P=0.1-0.3
  • 平衡任务：P=0.7-0.9
  • 创意任务：P=0.9-1.0

参数组合策略

任务类型配置

事实性问答：

• 温度：0.1-0.2
• Top-P：0.1-0.3
• Top-K：1-5

创意写作：

• 温度：0.7-1.0
• Top-P：0.8-0.95
• Top-K：40-60

代码生成：

• 温度：0.2-0.5
• Top-P：0.5-0.8
• Top-K：10-30

参数优先级

当同时设置多个参数时的处理顺序：

1. 应用 Top-K（如果设置）
2. 应用 Top-P（如果设置）
3. 应用温度进行最终采样

高级配置选项

重复惩罚（Repetition Penalty）

降低生成重复内容的概率。

• 适用场景：长文本生成、对话系统
• 设置建议：1.1-1.3（略高于 1.0）

频率惩罚（Frequency Penalty）

降低频繁出现的词语的概率。

• 适用场景：多样化内容生成
• 设置建议：0.1-0.3

配置调优实践

实验方法

1. 基线测试：使用默认参数测试
2. 单变量测试：每次只调整一个参数
3. A/B 测试：比较不同配置的效果
4. 用户反馈：收集实际使用效果

自动化调优

• 使用脚本批量测试不同配置
• 建立评估指标（准确率、多样性、相关性）
• 记录最优配置组合

总结

合理的输出配置可以显著提升 LLM 的表现。建议从任务类型出发，选择合适的参数组合，并通过实验验证效果。记住，不同的模型和任务可能需要不同的配置策略。