机器学习pipeline设计

2020-07-16 | 0 评论 | 0 浏览

背景

AI和机器学习的广泛使用，引发了一个对于机器学习管理平台的需求，使科学家能够专注于模型训练过程，而不用关注背后的训练框架等工程内容。见末尾的参考[1]。

对于模型训练管理，目前的实现有：Papermill, Apache Airflow，kubeflow和IBM的FfDL。

本文仅局限于作者有限的了解，内容中会出现不全面的情况。

所有的pipeline列表。

Airflow支持本地运行，其worker支持多种类型，包括在kubernetes上运行。另外，airflow不支持用户隔离。

而kubeflow和kubernetes强绑定，所以功能更强大，但是不能脱离kubernetes环境运行。

框架	github star数	xx	xx
airflow	17.3k
kubeflow	9.1k
luigi	13.5k
oozie	567
azkaban	3.2k
tektoncd	5.2k
argo-cd	3.4k