第 9 章：高效 AI

目标

在追求机器学习系统高效性的过程中，哪些关键权衡影响工程决策？为何工程师必须在多重目标之间寻求平衡？

机器学习系统的高效性要求在算法复杂度、计算资源和数据利用等多个维度之间进行权衡。提升某一维度的性能，往往会导致其他方面的性能下降，这种工程张力需要系统性的方法来应对。理解这些相互依赖的关系，有助于工程师在时间、能耗和成本等实际约束下，设计出性能最优的系统。

学习目标

• 分析扩展规律（Scaling Law）之间的关系，制定计算预算、模型规模和数据需求的最优资源分配策略
• 比较并权衡云端、边缘、移动端与 TinyML 等不同部署场景下的算法、计算与数据效率
• 使用吞吐量、延迟、能耗和资源利用率等指标评估机器学习系统的效率
• 应用剪枝、量化、知识蒸馏等模型压缩技术，在资源受限条件下优化模型性能
• 针对不同部署需求和运行约束，设计具备场景感知的高效优化策略
• 批判性分析基于扩展的方案，识别其失效点并提出以效率为导向的替代方案
• 评估效率选择对机器学习系统环境影响与可及性的意义

高效性的必然性

随着模型从简单的统计方法演进到复杂且资源密集的架构，机器学习的高效性已从“事后考虑”转变为一门基础学科。理论能力与实际部署之间的鸿沟不断扩大，效率约束已成为系统可行性与可扩展性的决定性因素。

以大规模语言模型为例。GPT-3 的训练成本高达 460 万美元（Lambda Labs 估算），能耗达 1,287 兆瓦时。其推理阶段的内存需求超过 700GB（半精度也需 350GB），使其在资源受限环境下难以部署。这些约束揭示了模型表达能力与系统可用性之间的张力，亟需严谨的分析与优化策略。

效率研究不仅仅是资源优化，更关乎学习系统设计的理论基础。工程师必须理解算法复杂度、计算架构与数据利用策略如何相互作用，决定系统的可行性。这些相互依赖关系形成了多目标优化问题，提升某一维度往往会牺牲其他方面的性能。

本章为第三部分“性能工程”课程中的效率分析奠定框架。这里的效率原则将贯穿于 第 10 章：模型优化 （模型优化）、 第 11 章：AI 加速 （硬件加速）和 第 12 章：AI 基准测试 （效率度量）等章节，指导量化、剪枝等算法优化、硬件加速策略以及效率改进的验证方法。

系统效率的定义

以智能手机上的照片搜索应用为例，工程师面临三重压力：模型需足够小以适配内存（算法挑战），推理速度要快且不能耗电过多（计算挑战），还要能在有限的用户照片数据下学习（数据挑战）。高效 AI 的本质，就是在这些相互关联的权衡中找到最佳平衡点。

应对这些效率挑战，需要在决定系统可行性的三大维度上进行协同优化。

机器学习系统效率定义

机器学习系统效率 指在 算法效率、计算效率 和 数据效率 三个维度上对系统进行优化，目标是在保证或提升系统性能的前提下，最小化 计算、内存和能耗。高效性确保机器学习系统具备 可扩展性、成本效益和可持续性，适应从 云数据中心 到 边缘设备 的多样化部署场景。实现系统效率需要在各维度间权衡，如在 模型复杂度 与 硬件约束、数据依赖 与 泛化能力 之间取得平衡。理解这些相互作用，是设计高性能、实用系统的前提。分析三大效率维度的实际互动，有助于理解扩展规律如何揭示这些约束。

效率的相互依赖

三大效率维度深度耦合，构成复杂的优化空间。算法效率通过更优的算法和架构降低计算需求，但可能增加开发复杂度或对硬件提出特殊要求。计算效率通过优化实现和专用处理器提升硬件利用率，但可能限制模型表达能力或要求特定算法。数据效率则通过改进训练流程和数据利用，减少样本需求，但可能需要更复杂的算法或更多计算资源。

以智能手机照片搜索为例，系统需适配 2GB 内存（计算约束）、在有限训练数据下达到可接受精度（数据约束）、并在 50ms 内完成搜索（算法约束）。单独优化任一维度都难以满足需求：

算法效率 关注模型架构。采用 5,000 万参数的紧凑视觉 - 语言模型替代 10 亿参数大模型，内存需求从 4GB 降至 200MB，推理时间从 2 秒降至 100 毫秒，但精度从 92% 降至 85%，需权衡精度损失是否可接受。

计算效率 关注硬件利用。优化后的模型可在手机处理器上高效运行，每小时仅消耗 10% 电量。8 位量化等技术进一步降低计算量，批处理[^fn-batch-processing]可同时处理多条查询。但这些优化需算法配合以支持低精度运算。

数据效率 关注模型学习方式。无需数百万标注样本，系统可利用预训练基础模型，仅用数千条用户数据进行适配。通过用户交互实现持续学习，无需显式标注。这要求更复杂的算法和对计算资源的精细管理。

多维协同优化带来“涌现效应”：更小的模型（算法效率）支持端侧推理（计算效率），进而实现本地化学习（数据效率），无需上传隐私图片，提升性能与隐私保护。这种集成能力，是低效方案无法实现的。

这种相互依赖在云、边缘等所有部署场景均有体现。如图 1 所示，理解这些关系，是深入分析扩展规律前的基础。

理解效率维度的互动后，我们可以进一步探讨为何单纯扩展规模无法满足实际效率需求。扩展规律为理解这些限制提供了定量框架。

AI 扩展规律（Scaling Laws）

机器学习系统发展呈现出一致模式：通过增加模型参数、训练数据和计算资源，通常能提升性能。这一经验规律推动了 NLP、CV、语音识别等领域的进步——更大模型、更多数据，带来更优结果。

扩展规律可视为 Sutton“苦涩教训”[ 第 1 章：绪论 ] 的定量表达：机器学习性能主要依赖于大规模通用方法。幂律关系揭示了为何扩大计算规模能带来更优模型。

但这种扩展也带来效率与可持续性的挑战。计算需求呈指数级增长，数据需求不断攀升，扩展成本何时大于性能收益？研究者提出了扩展规律¹，定量描述模型性能与训练资源的关系，揭示了效率优化在系统复杂度提升中的重要性。

本节介绍扩展规律，分析其在不同维度的表现及对系统设计的启示，说明为何多维效率优化是基础性需求。

扩展规律的实证证据

过去十年 AI 能力的飞跃，正是扩展轨迹的体现。GPT-1（2018）有 1.17 亿参数，仅能完成简单补全；GPT-2（2019）扩展到 15 亿参数，实现连贯段落生成；GPT-3（2020）达 1750 亿参数，展现跨领域文本生成能力。每次扩展都带来能力跃升，但成本呈指数增长。

这一模式不限于语言模型。CV 领域，神经网络规模翻倍，若训练数据同步扩展，准确率也稳定提升。AlexNet（2012）有 6,000 万参数，VGG-16（2014）达 1.38 亿，现代视觉 Transformer 超过 6 亿。每代模型准确率提升，但计算与数据需求同步增长。

扩展假说认为：更大模型具备更强的数据拟合与泛化能力。但这种扩展也带来资源瓶颈。GPT-3 训练需约 314 万亿亿（314 后 21 个零）次浮点运算，相当于高端游戏 PC 连续运行 350 年，成本与能耗极高。

这些资源需求说明理解扩展规律对效率至关重要。图 2 展示了 SOTA 模型训练计算量的爆炸式增长，远超摩尔定律的硬件提升速度。

扩展规律为权衡提供了定量框架。它揭示了性能随资源增加呈幂律提升，但收益递减²。最优资源分配需协调模型规模、数据量与计算预算，而非单独扩展某一维度。

补充：Transformer 的计算特性

参考 第 4 章：DNN 架构 ，Transformer 通过自注意力机制处理序列，计算量随序列长度呈二次增长。FLOPs（浮点运算次数）衡量总计算量，Token 表示训练时处理的最小文本单元。

计算最优资源分配

大语言模型（LLM）实证研究发现：在固定计算预算下，存在模型规模与数据量的最优配比，可最小化训练损失。

图 3 展示了三种视角。左图为“等 FLOP 曲线”，每条曲线对应固定浮点运算量，曲线谷底即为每种预算下的最优模型规模。中、右图揭示了最优参数量与 token 数随计算预算的可预测扩展规律，说明高效利用资源需模型与数据协同扩展。

Kaplan 等人证明，Transformer 语言模型的性能可通过参数量、训练 token 数与总计算预算三者的协同扩展实现持续提升，无需架构或任务特定调整。

图 4 展示了 $10^3$ 到 $10^9$ 参数规模模型的测试损失曲线。两点启示：一是大模型具备更高样本效率，用更少 token 达到目标性能；二是计算资源增加时，最优模型规模同步增长，损失随高效分配而可预测下降。

理论上，最优计算分配遵循 $D \propto N^{0.74}$，即数据量 $D$ 与模型规模 $N$ 应按 0.74 次方协同扩展。

但实际分布式训练会遇到通信开销等问题，100 节点以上通信损耗可达 20-40%，实际收益低于理论预测。

数学基础与运行区间

扩展规律可用幂律表达，尽管对大多数工程师而言，理解其直观意义比精确公式更重要。

一般形式为：

$$ \mathcal{L}(N) = A N^{-\alpha} + B $$

其中损失 $\mathcal{L}$ 随资源 $N$ 增加呈幂律下降，$\alpha$ 为扩展指数，$A$、$B$ 为任务相关常数。$\alpha$ 越大，扩展带来的效率提升越明显。

资源约束下的扩展区间

实际应用中，扩展规律对应三种资源分配区间：

• 计算受限区间：计算资源有限，数据充足。适合小模型长时间训练，最大化计算利用率。常见于学术、初创等资源有限场景。
• 数据受限区间：计算资源充足，数据有限。适合大模型短时训练，充分挖掘有限数据的信息量。常见于医疗、专有数据等领域。
• 最优区间（Chinchilla 前沿）：计算与数据按扩展规律协同分配，性能效率最大化。DeepMind 的 Chinchilla 模型即通过最优分配超越更大模型。

识别区间有助于避免常见低效，如数据不足却扩展模型、计算资源浪费等。

扩展规律揭示了不同资源维度下的性能提升路径。两类重要区间：数据驱动区间（随数据量变化）与 时间区间（ML 生命周期内的计算分配）。

数据受限扩展区间

泛化误差与数据量的关系呈三阶段，如图 6。样本极少时，泛化误差高；数据增加后，误差随幂律下降，收益最大；最终趋于饱和，新增数据提升有限。

这一模式在其他资源维度同样适用。进入幂律区间，资源投入回报最稳定；但需达到最小阈值，且避免过早饱和。

时间扩展区间

除数据区间外，还可从 ML 生命周期的时间分配角度分析。最新研究发现三类 时间扩展区间：

• 预训练扩展：传统扩展规律关注点，模型、数据、计算同步扩展，能力提升显著。
• 后训练扩展：通过微调、提示工程等方式，在已有模型基础上提升性能，资源需求适中。
• 推理时扩展：推理阶段动态分配计算，如集成预测、链式思维等，无需修改模型参数。

图 7 展示了三类时间区间的计算资源分配特征。预训练资源消耗最大，后训练针对性提升，推理时可灵活调整。

数据与时间区间为系统设计提供多样化路径。资源受限场景下，后训练与推理时扩展往往比全量重训练更实用；数据高效技术则可在幂律区间内用更小数据集实现高效系统。

系统设计中的实践应用

扩展规律为系统设计与资源规划提供有力工具。幂律趋势表明，在合理区间内，模型性能主要取决于规模而非架构创新。但收益递减现象也说明，后续提升需投入更多资源，回报却逐步降低。

OpenAI GPT-3 的开发即为典型案例。团队基于早期实验的扩展规律，推算出最优数据集规模与参数量，沿计算最优前沿扩展至 1750 亿参数、约 3000 亿 token，无需大规模架构搜索即可预测性能与资源需求。这一方法论为大规模系统规划提供了范例。

扩展规律的实际作用包括：资源预算时评估不同分配方案的回报；在固定预算下，利用经验曲线确定模型扩展、数据扩展或训练时长的最优策略。

系统设计者还可利用扩展趋势判断何时架构创新带来的提升大于单纯扩展，避免无效的架构搜索。当模型家族具备良好扩展性时，扩展现有架构往往优于转向复杂但未经验证的新设计。

在资源受限的边缘与嵌入式场景，理解模型缩减带来的性能变化，有助于选择在约束下仍能满足需求的小型模型。通过量化规模 - 性能权衡，扩展规律指明了何时单纯扩展变得低效，提示采用压缩、知识迁移、稀疏化、硬件感知等高效方法。

扩展规律还具备诊断功能。当资源投入增加但性能停滞，往往说明某一维度已饱和（如数据不足或计算利用率低）。这种诊断能力使扩展规律既具预测性，也具指导性，便于系统性发现与解决瓶颈。

可持续性与成本影响

扩展规律揭示了性能提升路径，也暴露了资源需求的急剧增长。模型扩展带来训练与部署成本的非线性上升，效率与性能提升之间的张力日益突出。

大模型训练需大规模分布式基础设施³，动辄数千张加速卡，消耗数百万千瓦时电力。分布式训练还带来通信、同步与扩展效率等复杂问题（详见 第 8 章：AI 训练 ）。能耗增长已超越摩尔定律，长期可持续性面临挑战。

大模型还需大规模、高质量、多样化数据集。数据采集、清洗与标注消耗大量资源。尤其在 NLP 领域，高质量数据趋于饱和，单纯扩展数据难以持续提升性能，数据效率成为扩展的必要补充。

财务与环境影响进一步加剧。大模型训练成本高达数百万美元，碳足迹⁴引发关注。高昂成本限制了先进 AI 的可及性，加剧了技术鸿沟。效率壁垒带来的公平性问题，与 第 19 章：AI 向善 的可及性目标直接相关。ML 系统环境可持续性（碳足迹测量、绿色计算等）详见 第 18 章：可持续 AI 。

这些权衡说明，扩展规律虽为性能提升提供框架，但并非无限制的增长路径。每一次性能提升都需权衡资源投入。当系统接近实际扩展极限时，重心应从单纯扩展转向高效扩展——在性能、成本、能耗与环境影响间取得平衡。

扩展规律的失效条件

扩展规律在特定区间内高度稳定，但存在内在极限。系统扩展到一定规模后，规律假设的平滑、可预测增长将失效，暴露出效率瓶颈，需更精细的系统设计。

扩展规律成立的前提是模型、数据、计算预算协同扩展。单独扩展某一维度，常导致低效。例如，模型扩展但数据不变会过拟合，计算扩展但模型未调整则资源利用低下。

大模型需精细的训练调度与学习率调整。若因提前终止、批量不匹配或并行低效导致计算分配不足，即使硬件投入巨大，模型也难以发挥潜力。

扩展规律假设有足够训练数据。但现实中，高质量标注数据有限。模型消耗完可用数据后，新增数据带来信息量极小，甚至出现记忆而非泛化。

模型扩展还需更高的内存带宽⁵、互联能力与 I/O 吞吐。即使有专用加速器，硬件瓶颈日益突出。分布式万亿参数模型需精细的数据并行、通信与容错管理。

极端规模下，模型可能接近训练分布的可学习极限。基准性能虽继续提升，但未必反映真实泛化或理解能力，模型易受对抗样本影响，输出可信度下降。

表 1 总结了扩展失效的主要类型、根本原因与典型场景，为预判低效与优化资源分配提供参考。

表 1：扩展失效类型：模型、数据、计算资源扩展失衡导致特定失效模式，如过拟合、收益递减等，影响系统性能与效率。表中归纳了失效类型、根本原因与典型场景，指导更有效的系统设计与资源分配。

这些失效点说明，扩展规律仅在特定条件下成立，规模越大越难维持。随着 ML 系统演进，识别扩展失效的边界与原因，推动开发不依赖单纯扩展的高效策略。

效率与扩展的融合

扩展规律暴露的数据饱和、基础设施瓶颈与收益递减，说明单靠扩展无法实现可持续 AI。必须转向多维协同优化：算法效率 降低计算强度，计算效率 最大化硬件利用，数据效率 在高质量数据稀缺时提升信息提取能力。三者协同，为实现性能、可及性与环境友好提供系统性路径。

理解扩展规律揭示的约束后，下一节将详细介绍三大效率维度如何协同，实现可持续、可及的机器学习系统。

效率框架

扩展规律揭示的约束（持续进步需系统性效率优化）催生了三大互补效率维度。每一维度针对特定瓶颈：算法效率应对计算强度，计算效率解决硬件利用，数据效率突破数据饱和。

三者协同，构成系统性解决方案。针对算法、硬件与数据的优化，能实现单纯扩展无法企及的高性能、可及、可持续 AI。

多维效率协同

最优性能需多维协同优化。单一资源（参数、数据、计算）无法无限扩展。现代技术已实现 10-100 倍算法效率提升、5-50 倍硬件利用提升、10-1000 倍数据需求降低。

如图 8 所示，三大效率维度相互促进。算法创新带来更优硬件利用，硬件进步反过来支持新算法。数据高效方法降低计算需求，计算高效方法支持大数据训练。理解这些协同，是构建实用 ML 系统的关键。

不同部署场景优先级各异。云端重视可扩展性与吞吐，边缘设备受限于内存与功耗，移动端需兼顾性能与续航，TinyML 则追求极致资源效率。理解场景特性，有助于决策优先优化哪些维度及权衡取舍。

实现算法效率

算法效率通过优化模型架构与训练流程，实现单位计算的最大性能。现代技术已实现 10-100 倍计算需求降低，且精度不降反升，是 AI 实用化的最直接路径。

核心发现是：大多数神经网络严重过参数化。Lottery Ticket 假说表明，网络中仅 10-20%（视架构与任务而定）参数即可独立训练达到原始精度。这一发现将压缩转化为有理论基础的方法：大模型用于初始化，寻找高效子网络。

模型压缩基础

现代算法效率主要有三类方法：

模型压缩：系统性移除冗余参数。剪枝技术可实现 2-4 倍推理加速，精度损失仅 1-3%。如 ResNet-50 剪至原参数 20%，ImageNet 精度仍达 99%。具体算法详见 第 10 章：模型优化 。

精度优化：量化将高精度浮点映射为低精度表示。神经网络对精度降低具备稳健性，INT8 量化可实现 4 倍内存压缩、2-4 倍推理加速，精度保持 98-99%。方法涵盖后量化与量化感知训练，详见 第 10 章：模型优化 。

知识迁移：大模型向小模型蒸馏能力。知识蒸馏⁶可减少 40-60% 参数，保留 95-97% 性能，兼顾计算与数据效率。算法、损失函数与流程详见 第 10 章：模型优化 。

硬件 - 算法协同设计

算法优化需结合硬件特性，才能实现实际加速。优化方法需针对目标硬件（内存带宽、计算能力、精度支持）定制。例如，INT8 量化在支持张量核的 V100 GPU 上可加速 2.3 倍，但在无专用指令硬件上提升有限。

需判断任务是内存瓶颈还是计算瓶颈，针对性优化。算子融合减少内存访问，精度降低利用专用单元。 第 10 章：模型优化 详述算法优化， 第 11 章：AI 加速 介绍硬件协同设计。

高效架构创新

现代高效性需为资源约束设计架构。MobileNet⁷、EfficientNet⁸、SqueezeNet⁹ 等模型证明，结构创新可实现高性能与紧凑规模兼得。

不同场景权衡不同。云端优先吞吐，可容忍高内存，适合并行友好结构。边缘优先延迟与内存，需最小化访问。移动端关注能耗，需能效最优架构。

参数高效适配

参数高效微调¹⁰方法体现三维协同。仅更新 <1% 参数，性能媲美全量微调，兼顾算法、计算与数据效率。

实际影响巨大：GPT-3 全量微调需 700GB 显存，LoRA 仅需 10GB，且只需数百样本即可高效适配。

如图 9 所示，2012-2019 年间，训练 AlexNet 级别模型的计算需求下降约 44 倍，效率提升速度超过摩尔定律¹¹。

算法效率的演进——从压缩到硬件协同、参数高效适配——已成为 ML 进步的核心。未来，算法效率仍将是高性能、可扩展、可持续系统设计的关键。

计算效率

计算效率关注硬件与计算资源的高效利用，涵盖能耗降低、速度优化与硬件能力发挥，实现可扩展、可持续的系统性能。本章侧重效率原则与权衡，硬件加速（GPU、TPU、内存系统、定制芯片等）详见 第 11 章：AI 加速 。

从 CPU 到 AI 加速器

计算效率的演进解释了为何专用硬件成为必需。早期 ML 依赖 CPU，适合顺序处理与复杂决策，但并行度有限（4-16 核），难以高效执行矩阵运算。模型训练需数天甚至数周，数据集稍大即达硬件极限。

深度学习（如 AlexNet、ResNet¹²）突破 CPU 束缚，开启计算爆炸。OpenAI 分析显示，2012-2018 年 AI 训练计算量增长 30 万倍，每 3.4 个月翻倍，远超摩尔定律。

GPU 的大规模并行能力成为主流。现代高端 GPU（如 NVIDIA H100）拥有 1.6 万 CUDA 核。Google TPU 等专用加速器进一步通过定制数据类型与操作优化神经网络计算效率。

可持续计算与能耗意识

系统规模扩展，计算效率与可持续性紧密相关。SOTA 大模型训练需巨量计算资源，数据中心能耗激增。图 11 显示，2010-2030 年数据中心用电量预计大幅上升，最坏情形下 2030 年超 8000 太瓦时。

效率提升未必带来总能耗下降，存在 Jevons 悖论。汽车油耗降低，反而鼓励更多驾驶，总油耗上升。AI 亦然，模型效率提升 10 倍，若使用量增 100 倍，总能耗反升。

应对之道包括能耗感知调度、动态精度调整（如混合精度训练）、分布式系统（模型并行¹³、数据并行¹⁴）等。

边缘场景下，计算效率关注实时与低能耗。硬件感知优化、轻量推理引擎、自适应架构等创新，实现毫瓦级功耗下的高效推理。

生产部署模式

实际生产系统通过多技术协同，常实现 5-10 倍效率提升，性能损失低于 5%。

• 移动端通过量化、剪枝、蒸馏，模型缩小 4-7 倍，延迟降 3-5 倍，支持中端设备实时推理。
• 自动驾驶系统通过硬件感知架构与混合精度，满足 <10ms 延迟与多路传感器处理。
• 云端推理通过动态批处理、量化、蒸馏，成本降 70-80%，服务能力提升 4-5 倍。
• 边缘 IoT 通过极致压缩与占空比优化，实现月级续航，功耗仅毫瓦级。

这些提升源于系统性、多技术协同优化，而非单一方法。具体流程详见 第 10 章：模型优化 。

计算效率与算法、数据效率互补。紧凑模型降低计算需求，高效数据管道提升硬件利用。计算效率的演进（从 CPU 到专用加速器、再到可持续计算）始终是可扩展、可及、环境友好 ML 系统的核心。

数据效率

数据效率关注如何在有限数据条件下高效训练机器学习模型。随着数据采集、存储和处理成本的上升，以及高质量数据资源的有限，数据效率已成为机器学习系统工程的核心维度。

小数据高效学习

早期机器学习阶段，数据效率并非关注重点，因为数据集规模较小且易于管理。主要挑战在于如何获得足够的标注数据以支撑模型训练。研究者常用 UCI 机器学习数据集库 ¹⁵，并通过主成分分析（PCA）¹⁶等特征选择与降维技术，最大化有限数据的价值。

深度学习兴起后，数据角色发生转变。AlexNet、GPT-3 等模型证明，大规模数据集能显著提升模型性能，开启了“大数据”时代。但这种依赖也带来低效：数据采集与标注成本高昂，监督学习对海量标注数据的需求日益突出。

为提升数据效率，研究者提出了多种技术。迁移学习¹⁷允许用大数据集预训练的模型在小数据集上微调，显著减少任务所需数据量。数据增强¹⁸通过对已有样本变换扩充数据集。主动学习¹⁹则优先标注最具信息量的数据点。

随着系统规模持续扩大，大数据集的低效日益突出。数据中心化 AI²⁰ 成为新范式，强调数据质量优先于数量。该方法聚焦于数据预处理、冗余去除与标注效率提升。研究表明，精细筛选与过滤可用更少数据实现同等甚至更优性能。

多种技术助力这一转变。自监督学习²¹让模型从无标注数据中学习有效表示，降低对昂贵人工标注的依赖。主动学习策略优先标注最有价值样本，课程学习²²则让模型先学简单样本再逐步提升难度，提升学习效率。

数据效率在基础模型²³中尤为关键。随着模型规模和能力提升，尤其在语言任务中，高质量训练数据趋于枯竭（见下图）。这推动了数据处理与筛选技术的创新。

数据质量对性能的影响在不同规模部署中均有体现。TinyML²⁴ 应用如 Wake Vision，性能高度依赖数据精细筛选。大规模语言模型研究也表明，智能过滤与选择策略能显著提升下游任务表现。 第 12 章：AI 基准测试 章节详细介绍了数据质量改进的评测方法。

现代数据效率代表了数据利用方式的根本转变。聚焦质量而非数量，发展精细的数据选择与处理技术，推动模型训练与部署向更可持续、高效方向发展。数据效率是系统可扩展性的基础，也影响模型与计算效率。高质量小数据集可缩短训练时间、降低计算需求，并提升泛化能力。这些原则也与 第 15 章：安全与隐私 探讨的隐私保护技术互补，最小化数据需求有助于提升效率与用户隐私。

真实世界的效率策略

在分别探讨三大效率维度及其相互作用后，下面分析这些维度在不同部署场景下的具体表现。机器学习系统的效率，源于对算法、计算与数据效率在特定环境下关系的深入理解。

场景驱动的效率需求

不同部署环境下，效率优化的优先级和权衡差异巨大。正如开篇案例所示，从资源充足的云端到极度受限的边缘设备，约束条件各异。下表总结了这些约束如何转化为效率优化重点。

表 2：不同部署场景的效率优化重点。每种环境对算法、计算、数据优化策略的权衡不同。云端重视可扩展性，边缘关注实时与能效，移动端兼顾性能与续航，TinyML 追求极致资源效率。

理解这些场景特性，有助于设计者决策优先优化哪些效率维度，以及如何应对不可避免的权衡。

可扩展性与可持续性

系统效率是环境可持续性的驱动力。高效系统可在大规模部署下最小化环境足迹，形成正向反馈，如下图所示。

高效系统天然具备可扩展性。通过轻量模型、精细数据集与优化计算利用，系统可广泛部署。高效系统规模化后，进一步降低总能耗与计算浪费。可持续性强化了效率需求，二者形成正向循环，增强系统整体影响力。

效率权衡与挑战

三大效率维度在理想条件下可协同提升，但现实系统常面临提升一维度导致另一维度下降的情况。资源约束使效率成为必需，也带来艰难抉择：缩小模型可能牺牲精度，优化实时性能可能提升能耗，精简数据集可能影响泛化。

权衡的根本来源

这些张力在 ML 系统中表现多样。理解其根源，有助于应对设计挑战。每一效率维度都会影响其他维度，形成动态互动，塑造系统性能。

算法效率 vs. 计算需求

算法效率强调紧凑模型，降低计算与内存需求，使资源受限设备可部署。但模型过度简化会降低复杂任务的精度。为弥补精度损失，训练或部署时可能需额外计算资源，反而加重计算压力。

计算效率 vs. 实时需求

计算效率追求训练与推理资源最小化，降低能耗、处理时延与内存占用。但在自动驾驶、增强现实等需实时响应场景下，计算效率难以兼顾。如下图所示，实时系统需高性能硬件以降低延迟，往往与能效目标或成本约束冲突。

数据效率 vs. 泛化能力

数据效率追求用更少数据训练模型，提升训练速度、降低资源消耗，理想情况下还能增强算法与计算效率。但数据集过小会降低多样性，影响模型泛化。为弥补泛化不足，可能需更复杂模型或更多计算资源，形成数据效率与系统目标的张力。

实践中的权衡模式

效率权衡在具体场景中尤为突出。复杂模型（百万/十亿参数）可捕捉细致模式，提升精度，但需大量算力与内存。云端推荐系统可用复杂模型提升推荐质量，但能耗与运维成本随之上升。智能手机、自动驾驶等受限设备需紧凑模型，往往需更复杂的数据预处理或训练流程以弥补容量不足。

能效与实时性常相互制约。自动驾驶、增强现实等实时系统需高性能硬件处理大规模数据，但这通常提升能耗。自动驾驶需实时处理摄像头、激光雷达、雷达等多路数据，需专用加速器，能耗显著。在电池供电或能量有限的边缘场景，这一权衡更为关键。

大数据集带来多样性与覆盖，降低过拟合风险，但训练计算与内存需求巨大。TinyML 等资源受限场景下，IoT 设备需模型具备良好泛化，但采集大数据集不现实。此时常用精细筛选或合成数据，降低计算压力，但也可能遗漏关键边界情况。

这些权衡并非学术问题，而是实际系统设计中必须面对的现实。

战略性权衡管理

ML 系统设计中的权衡需有策略地应对。实现平衡需根据部署环境的具体目标与约束做出艰难决策。设计者可采用多种策略，满足不同场景的独特需求。

环境驱动的效率优先级

效率目标并非一成不变。应用或部署场景的具体需求决定了优先优化的维度。根据场景优先排序，是有效管理权衡的第一步。

移动端 ML 部署，电池续航是首要约束，计算效率优先。需最小化能耗，优先采用轻量模型，即使牺牲部分精度或需额外数据预处理。

云端 ML 系统，扩展性与吞吐量最重要。需处理大规模数据、服务海量用户。虽计算资源充足，但能效与运维成本同样关键。算法效率确保系统可扩展且不压垮基础设施。

边缘 ML 系统优先级不同。自动驾驶、实时监控等需低延迟，实时性能与计算效率优先，哪怕能耗上升。但硬件受限，仍需精细管理能耗与算力。

TinyML 部署受极端硬件与能耗约束，算法与数据效率优先。模型需极度紧凑，能在微控制器上运行，训练依赖小而精的数据集。

推理时动态资源分配

系统可通过推理时动态分配资源提升适应性。即便在同一部署场景下，资源需求也会波动。推理时调整计算投入，可根据需求灵活优化性能。

如云端视频分析系统，常规流用轻量模型保证吞吐，关键事件时动态切换复杂模型提升精度。移动语音助手常用轻量模型处理日常指令，遇复杂请求时临时激活高算力模型。

推理时动态计算也带来新挑战。需精细监控与控制机制，且存在收益递减——计算投入超阈值后性能提升有限。动态分配还可能带来 AI 可及性差异，需关注公平性。尽管如此，推理时动态计算是提升系统适应性的有力策略。

端到端协同设计与自动化优化

高效 ML 系统很少靠单点优化实现。需端到端协同视角，模型架构、硬件平台、数据管道一体化设计。

协同设计在资源受限环境尤为重要。模型需与硬件能力精准匹配——8 位模型需硬件支持高效整数运算，剪枝模型需稀疏张量操作。边缘加速器常针对卷积等特定操作优化，影响模型架构选择。硬件架构细节详见 第 11 章：AI 加速 。

自动化与优化工具有助于管理权衡复杂性。自动化机器学习（AutoML）²⁵可系统探索模型架构与超参数。基于 第 5 章：AI 工作流 的 ML 流程，AutoML 工具自动化许多传统需人工调优的效率优化决策。

神经架构搜索（NAS）²⁶更进一步，自动设计适配特定硬件或场景的模型架构，在性能与计算需求间寻优。

数据效率同样受益于自动化。自动化数据集筛选、增强与主动学习工具可在不降性能前提下缩小训练集，优先高价值样本，加速训练、降低计算开销。

权衡的度量与监控

除技术自动化外，还需系统性评估。效率优化需结构化评估权衡，超越纯技术指标。系统从研究走向生产，成功标准需涵盖算法性能、经济可行性与运维可持续性。

效率提升的成本体现在工程投入（研发、实验、集成）与低效系统的运维开销。收益则多维度——除直接降本外，高效系统常带来新能力，如资源受限环境下的实时处理或边缘部署。

评估框架需配合持续监控机制。生产环境下 ML 系统动态变化，需持续监控效率指标。模型演化、数据分布变化、基础设施升级，均可能导致效率退化。实时监控便于快速发现效率回退，历史分析揭示长期趋势，判断效率提升是否可持续。

高效 AI 的工程原则

高效 ML 系统设计需整体视角。真正的效率源于全流程权衡，从数据采集到部署，系统各环节协同优化，转变系统设计范式。

全流程协同优化

效率不是单点优化，而是全流程统一考量。数据采集、模型训练、硬件部署、推理各环节共同决定系统效率。任一环节决策都会影响整体性能、资源利用与可扩展性。

数据采集与预处理是起点。 第 6 章：数据工程 详述数据管道设计如何影响全系统。小而精的数据集可降低训练计算成本、简化模型设计，但数据多样性不足会影响泛化，需补偿措施。

模型训练同样关键。架构选择、优化技术与超参数需兼顾部署硬件约束。云端模型可优先精度与扩展性，边缘模型则需兼顾体积与能效。

部署与推理需精准匹配硬件。GPU 擅长并行矩阵运算，TPU 优化特定神经网络，微控制器则能效极高。手机语音识别可用 NPU 卷积单元实现毫秒级低功耗推理，自动驾驶 FPGA 可微秒级处理多路传感器。

端到端视角确保权衡在全流程解决，而非将低效转嫁至其他环节。系统思维在资源受限部署尤为关键。

生命周期与环境差异

效率需求随生命周期与部署环境变化——从研究原型到生产系统，从高性能云端到受限边缘。

研究阶段常以模型性能为主，效率次之。原型训练可用充足算力，探索大模型与超参数。生产系统则需优先效率，常用剪枝、量化、重训练等优化。生产还需持续监控效率指标与运维框架。

云端系统处理大规模任务，资源相对充足，但能效与运维成本同样关键。 第 2 章：机器学习系统 介绍了可扩展、高效云端架构设计原则。边缘与移动系统则受限于效率框架，需优先效率而非极致性能。

如推荐系统需频繁重训练，依赖数据效率与主动标注、采样策略。医疗设备等嵌入式模型则需长期稳定、极少更新。 第 16 章：稳健 AI 探讨了关键应用中的可靠性需求如何影响效率优化。

社会与伦理影响

ML 效率不仅是技术挑战，更关乎 AI 系统的目标与影响。高效系统设计需兼顾实际权衡与复杂伦理、哲学考量。 第 17 章：可信 AI 提供了系统性的伦理分析框架。

公平与可及性

效率可降低成本、提升可扩展性、扩大可及性。但实现效率所需资源（先进硬件、精细数据集、SOTA 优化技术）常集中于资金雄厚机构，导致效率红利分配不均。

如 GPT-4、Gemini Ultra 等 SOTA 模型训练成本高达数千万美元。OECD.AI 研究显示，全球 90% AI 算力集中于 5 国。高校常因硬件不足难以复现 SOTA，抑制了弱势领域创新。TinyML、Mobile ML 等能效算力为普惠 AI 提供新路径，低成本、低功耗设备让无高端基础设施的组织也能构建有影响力系统。

数据效率对数据稀缺场景尤为关键，但其实现同样分布不均。低资源语言 NLP 因缺乏训练数据，性能差距大。Masakhane 等项目通过开源数据集推动非洲语言 NLP，但全球推广仍需投入。普惠数据效率需开放预训练模型与数据集。Hugging Face、Meta No Language Left Behind 等项目致力于全球开放 SOTA NLP 模型，降低数据稀缺地区门槛。

算法效率通过低成本、低资源设备实现先进能力，推动 ML 普惠。AI 诊断工具在手机端普及，TinyML 支持无电地区环境监测。

如 TensorFlow Lite 、 PyTorch Mobile 支持在普通设备部署轻量模型，扩展了资源受限场景的可及性。MobileNet、EfficientNet 等开源高效模型为弱势组织部署 SOTA 方案提供了基础。

创新与效率的平衡

效率追求常与创新探索形成张力。资源集中机构可承担高成本探索，弱势机构则需聚焦效率提升。

效率常偏好成熟技术，如剪枝、量化、蒸馏等多为对现有架构的精细优化，而非全新方法。早期神经网络研究虽资源消耗大、效果有限，但坚持探索最终推动了现代 AI 的突破。

前沿研究需大量资源。GPT-4、PaLM 等大模型本身并不高效，训练消耗巨大，但推动了新能力的诞生，进而催生更高效的小模型。

这种资源密集型创新带来参与门槛问题。资金雄厚机构可探索新前沿，弱势机构则受限于效率优先。

效率导向设计常需严格约束，如模型体积、延迟等。约束虽能激发创新，但也可能限制探索空间。然而，效率驱动也能正向促进创新——约束促使工程师在有限资源下最大化性能。NAS、注意力机制等技术正是在效率与性能权衡中诞生。

组织与研究者需判断何时优先效率，何时拥抱探索风险。实际部署系统需严格效率，前沿实验室则可专注突破。创新与效率并非对立，高效系统为规模化应用奠定基础，资源密集型探索推动能力边界。

优化的极限

公平、创新与效率的张力，源于优化的收益递减。优化是高效 ML 系统的核心，但并非无限。系统越精细，后续提升所需投入越大，收益越小。

无免费午餐（NFL）定理²⁷揭示了优化的内在极限。NFL 定理指出，任何优化算法在所有问题上的平均表现都相同，意味着优化方法需针对具体问题定制。

如模型压缩初期可大幅降低内存与计算，精度损失小。但进一步压缩后，性能维护难度激增，需硬件定制或重训练，复杂度与成本上升。成本不仅体现在资金，还包括时间、专业能力、反复测试，以及稳健性与泛化能力的权衡。

NFL 定理提醒我们，优化无万能解，需在效率追求与实际可行性间平衡。过度优化易导致资源浪费与适应性下降，后续维护复杂。识别“足够好”的临界点，确保资源投入高效。

同理，训练集优化初期可节省资源，但过度缩减会损失多样性，影响泛化。硬件极限优化虽可提升延迟等指标，但可靠性与工程成本可能得不偿失。

理解优化极限，有助于在效率、实用性与可持续性间取得平衡，避免过度优化，聚焦高回报领域。

摩尔定律案例

摩尔定律及其背后的经济曲线，是优化极限的经典案例。摩尔定律预言计算能力指数级增长，但其成功依赖于经济平衡。集成度与成本的关系，形象反映了 ML 优化的收益递减。

下图展示了集成电路中每个元件的相对制造成本随集成度提升的变化。初期，集成度提升带来成本大幅下降与性能提升。

但随着集成度继续提升，曲线开始上升。元件密度过高带来散热、信号干扰等可靠性问题，需更复杂制造工艺，成本上升。U 型曲线揭示了优化的本质：初期提升收益大，后续每一增量都需更高成本。

这一动态与 ML 优化如出一辙。深度模型压缩初期可大幅节省资源，后续提升则需更复杂技术，成本递增。

同理，数据效率初期可提升计算效率，过度缩减则损失多样性，需合成数据或复杂增强，工程投入上升。

摩尔定律曲线提醒我们，优化非无限，成本收益需结合场景权衡。ML 工程师如同半导体工程师，需识别收益递减点，避免过度优化导致资源浪费与系统僵化。

常见误区与陷阱

AI 系统效率涉及多目标权衡，常常方向相悖。扩展规律的数学优雅易让人误信优化路径可预测，而多样化部署需求又易导致效率策略的误区。

误区： 效率优化总能提升所有指标。

这一误区导致团队盲目应用效率技术，忽视权衡与副作用。计算效率提升可能损失精度，内存效率提升可能增加延迟，模型缩小常需更复杂训练。单一维度的效率提升常带来其他维度的代价。有效优化需明确关键指标，接受部分性能必然被牺牲。

陷阱： 假设扩展规律可线性预测所有规模下的效率需求。

团队常基于扩展规律外推效率需求，忽视规律失效点。扩展规律适用于中等规模，极端规模下架构、基础设施等新瓶颈频现。超出验证区间的外推易导致资源估算失误与部署失败。成功的效率规划需理解扩展规律的适用范围与局限。

误区： 边缘部署的效率需求只是云端的缩小版。

这一观点忽视了边缘环境的独特约束，如实时性、能耗、散热、网络波动等。云端优化策略在边缘常常失效。边缘效率需优先可预测性能、能效与稳健性。

陷阱： 只关注算法效率，忽视系统级效率。

许多工程师只优化 FLOPs、参数量等算法复杂度，忽视实际系统性能。真实效率受内存访问、数据流、硬件利用、软件栈等多因素影响。参数更少的模型可能因内存访问不规则或硬件映射差而表现更差。全面优化需以系统实际性能为准，而非仅看理论复杂度。

总结

效率已成为 ML 系统设计的核心原则，从单纯性能优化转向全面资源管理。本章揭示了扩展规律如何为模型性能与计算资源关系提供实证基础，将效率确立为可及性、可持续性与创新的战略优势。算法、计算、数据效率的相互依赖，构成复杂权衡，需全流程系统性优化。

高效系统设计的实践挑战，强调了场景感知决策的重要性。云端系统依赖资源扩展性，边缘部署需实时与能效，TinyML 则追求极致资源利用。多样化需求推动了端到端协同、自动化优化与基于约束的优先级排序。扩展规律的失效与创新 - 效率张力，说明最优系统设计需兼顾技术权衡与公平、可持续等更广泛目标。

要点回顾

• 效率是普惠 AI 能力的战略使能器，适用于多样化部署场景
• 扩展规律为资源分配提供预测框架，其极限激发架构创新
• 算法、计算、数据效率的权衡相互关联、依赖场景，需系统性优化
• 自动化工具与端到端协同可将效率约束转化为系统协同机会

在确立三大效率支柱与扩展规律的定量基础后，后续章节将介绍各维度的具体工程技术。 第 10 章：模型优化 聚焦算法效率，系统讲解模型复杂度压缩的系统方法，包括量化、剪枝、知识蒸馏等。 第 11 章：AI 加速 探讨计算效率，涵盖专用硬件与优化软件实现如何提升单位算力性能，包括 GPU 优化、AI 加速器架构与系统级优化。 第 12 章：AI 基准测试 介绍效率度量方法，涵盖性能评估框架、能耗测量与对比分析。

从原理到技术再到度量，体现了实现高效 ML 系统所需的系统工程方法。每一章节都建立在本章基础之上，形成应对复杂权衡的性能工程工具箱。

这些效率原则为 第 10 章：模型优化 等章节的具体优化技术奠定基础，后续将详细介绍量化、剪枝、知识蒸馏等实现效率目标的算法。随着 ML 系统复杂度与影响力持续提升，高效设计原则将始终是构建高性能、可持续、可及、负责任 AI 系统的核心。