入门指南

机器学习系统的教学需要全局视角，涵盖从数据采集到部署与运维的完整流程。然而，传统的机器学习系统教育面临诸多实际障碍：学生无法在学术环境下训练万亿参数模型、收集数百万标注图片，或在云端大规模部署系统。嵌入式机器学习为这一教学难题提供了优雅的解决方案，让学生在可控的硬件和时间范围内体验完整的系统工程。嵌入式设备通常仅有 2MB 内存和 1MB 闪存，学生必须在极端资源约束下做出工程权衡，这些权衡与大规模 ML 系统本质一致，并且每一次优化都能带来立竿见影的效果。

实验室开发者

本系列动手实验由 Marcelo Rovai 设计，凭借其数十年嵌入式系统经验，打造了理论与实践紧密结合、易于上手的学习体验。

为什么选择嵌入式 ML 作为 ML 系统教育载体？

传统机器学习教育多聚焦于资源充足的云端环境和算法开发，虽有理论基础，但往往忽略了真实 AI 部署中的工程现实。嵌入式机器学习作为教学框架，具备以下突出优势，从基础条件、学习成效到实际应用均有体现：

• 经济可及性：专业开发板价格仅需 20-50 美元，无需昂贵的云计算资源或专用实验室，学生可在课外自主探索。
• 即时可见的反馈：物理交互（如 LED 指示分类结果、蜂鸣器响应音频事件、马达受手势控制）让抽象算法变为直观行为，加速学习与调试。
• 端到端系统理解：不同于云端实验抽象基础设施，嵌入式系统要求学生掌握从传感器数据采集到推理再到执行器控制的全流程，揭示真实 ML 系统的各环节依赖。
• 资源约束驱动工程能力提升：2MB 内存和 1MB 闪存的限制，迫使学生直面模型架构、数据预处理等每个设计决策对系统性能的直接影响。
• 跨学科能力培养：嵌入式 ML 融合计算机科学、电子工程与系统设计，契合现代技术发展的交叉趋势。
• 行业高度相关：绝大多数 AI 系统实际运行于边缘设备，嵌入式开发技能可直接迁移至移动应用、物联网和自动化系统。

前置知识与准备

• 数学基础：需具备线性代数、基础概率论和微积分知识。无需高深数学，但熟悉矩阵运算和基础优化概念有助于学习。
• 编程能力：需熟练掌握 Python，了解 C/C++ 可加速进度，但非必需，入门实验会有详细引导。
• 硬件经验：无需嵌入式开发经验，实验包含详尽的环境搭建和故障排查指引，适合初学者。

学习目标

完成本实验系列后，学生将掌握：

1. 资源受限优化：在 2MB 内存约束下部署 ML 模型，实现微控制器上的实时推理。
2. 低功耗系统设计：实现电池续航以月计的常开感知应用，掌握功耗管理技巧。
3. 多模态数据处理：在嵌入式系统中融合视觉、音频与传感器数据，兼顾性能约束。
4. 专业开发流程：熟练使用 TensorFlow Lite、Edge Impulse 等主流工具链，掌握完整开发与调试流程。

实验类别

为达成上述目标，课程内容分为若干实验类别，分别聚焦嵌入式 AI 系统开发的不同方面。

计算机视觉应用

本系列实验聚焦于在资源受限硬件上处理高维视觉数据，演示实现实时性能所需的优化方法。

• 图像分类系统：实现目标识别算法，权衡模型复杂度与推理速度，模拟手机相机和自动驾驶等场景的工程挑战。
• 目标检测与定位：进阶实验涵盖空间定位，模拟安防与工业自动化中的检测算法。
• 视觉 - 语言集成：前沿实验结合视觉处理与自然语言理解，展示边缘设备上的高级 AI 功能。

音频与时序数据处理

音频实验聚焦于在极低功耗下持续分析数据流，适用于对续航要求极高的常开感知场景。

• 关键词唤醒系统：实现语音交互，体验持续音频监听与节能的工程挑战，贴近商用语音助手实现。
• 运动与行为识别：基于惯性传感器的时序分析，学习从连续数据流中提取模式，应用于健康监测等领域。
• 音频事件分类：进阶实验拓展至通用声学事件检测，适用于安防与环境感知。

实验平台兼容性

各实验类别支持多种硬件平台，涵盖不同能力与约束，确保学生体验多样化的嵌入式 AI 部署场景。

下表为实验类别与硬件平台的对应关系，便于课程设计者根据资源灵活安排教学内容。

核心数据模态

上述实验围绕三大数据模态展开，这些模态覆盖了绝大多数嵌入式 AI 应用。理解这些模态有助于把握后续工程挑战的理论基础：

• 视觉数据处理：图像与视频分析对计算资源要求极高，需在严苛内存约束下优化高维数据处理，兼顾实时性。
• 时序音频分析：音频与传感器时序数据需持续流式处理，强调在极低功耗下平衡计算复杂度与能效。
• 传感器融合与多模态系统：高级应用融合多源数据，实现单一模态无法完成的功能，同时管理系统复杂性与性能约束。

入门流程

明确学习目标、实验类别、平台选择与理论基础后，学生即可开启嵌入式 ML 之旅。

建议首先阅读 硬件套件 章节，了解各平台能力，并结合目标与预算选择合适硬件。

IDE 环境搭建 章节提供了所有平台的详细安装与故障排查指南。

后续步骤

完成硬件选择与开发环境配置后，即可正式开始实验。不同平台的搭建流程略有差异，通常需 30-60 分钟。

详细的各平台搭建说明请参考：

• XIAOML Kit 搭建
• Arduino Nicla Vision 搭建
• Grove Vision AI V2 搭建
• Raspberry Pi 搭建