第十届中国开源年会,12月6-7日,北京, 查看详情

AngelSlim

AngelSlim 是腾讯推出的模型压缩工具箱,致力于提供易用且全面的模型压缩方案。

详细介绍

AngelSlim 是腾讯推出的模型压缩工具包,目标是通过一套易用的工具链实现模型压缩、量化与推理加速,以提高部署效率并降低算力成本,面向工程化使用场景提供可复现的压缩流程。

主要特性

  • 支持多种压缩策略与量化方法。
  • 提供优化后的推理流程与部署指南。
  • 兼顾可用性与性能,以工程化为主导的工具设计。
  • 配套文档与示例帮助快速上手。

使用场景

适用于需要在受限算力环境中部署大模型的场景,如边缘设备部署、服务化推理与成本敏感型应用。

技术特点

侧重于压缩算法与推理效率的结合,提供量化、剪枝与离线图优化等手段,并配合文档让工程团队能够在生产中复现相关优化。

AngelSlim
资源信息
⚡ 优化 🏗️ 模型 🔮 推理 🌱 开源