Skip to content

openmlsys/openmlsys

Repository files navigation

OpenMLSys Logo

CI Book Online License GitHub Stars

中文 | English


机器学习系统:设计和实现

本开源项目讲解现代机器学习系统的设计原理和实现经验,涵盖从编程接口、计算图、编译器到分布式训练的完整技术栈。

在线阅读: openmlsys.github.io

目录

适用读者

  • 学生:掌握机器学习基础理论后,希望深入了解现代机器学习系统设计与实现的同学。
  • 科研人员:需要开发自定义算子(Custom Operators)或利用分布式执行实现大模型的研究者。
  • 开发人员:负责机器学习基础设施建设,需要对系统性能调优和深度定制的工程师。

内容介绍

本书分为基础篇、进阶篇和扩展篇三个部分:

基础篇

章节 内容
编程接口 框架接口设计哲学、机器学习工作流、深度学习模型定义、C/C++ 框架开发
计算图 计算图基本构成、生成方法、调度策略、自动微分

进阶篇

章节 内容
编译器前端和中间表示 类型推导、中间表示(IR)、自动微分、常见优化 Pass
编译器后端和运行时 计算图优化、算子选择、内存分配、计算调度与执行
硬件加速器 GPU/Ascend 架构原理、高性能编程接口(CUDA/CANN)
数据处理框架 易用性、高效性、保序性、分布式数据处理
模型部署 模型转换、模型压缩、模型推理、安全保护
分布式训练 数据并行、模型并行、流水线并行、集合通讯、参数服务器

扩展篇

章节 内容
深度学习推荐系统 推荐系统原理、大规模工业场景架构设计
联邦学习系统 联邦学习方法、隐私保护、系统实现
强化学习系统 单智能体/多智能体强化学习系统
可解释性 AI 系统 可解释 AI 方法与落地实践
机器人学习系统 机器人感知、规划、控制与系统安全

构建指南

环境依赖

  • Python >= 3.10
  • pandoc >= 2.19

安装步骤

# 克隆仓库
git clone https://github.com/openmlsys/openmlsys-zh.git
cd openmlsys-zh

# 安装 d2lbook
git clone https://github.com/openmlsys/d2l-book.git
cd d2l-book && pip install . && cd ..

# 安装 Python 依赖
pip install -r requirements.txt

编译 HTML

sh build_html.sh
# 生成结果在 _build/html/

更多细节请参考 构建指南

贡献指南

我们欢迎任何形式的贡献,包括:

  • 勘误:发现文字或图片错误,请创建 Issue 并 @ 章节编辑,或直接提交 PR。
  • 内容更新:提交 PR 更新或添加 Markdown 文件。
  • 新章节:欢迎社区对元学习系统、自动并行、集群调度、绿色 AI、图学习等主题贡献章节。

提交前请阅读:

社区

微信群二维码
扫码加入微信交流群

许可证

本项目采用 知识共享 署名-非商业性使用-相同方式共享 4.0 国际许可协议 授权。

About

《Machine Learning Systems: Design and Implementation》

Topics

Resources

Stars

Watchers

Forks

Releases

No releases published

Packages

 
 
 

Languages