爱科技网

AI变得严格:Databricks发布MLflow 1.0

一年前的昨天,在旧金山举行的2018Spark和AI峰会上,MateiZaharia,Databricks的联合创始人/首席技术学家和Apache Spark的创建者介绍了他的新开发重点,一个名为MLflow的开源项目。今天,该项目已经达到了一个重要的成熟里程碑,发布了一个完整版本1.0到一般可用性。

还有:Apache Spark创建者开始标准化分布式机器学习培训、执行和部署

数据科学工作流,直到今天,都是封闭的开发环境中的临时任务。虽然事情正在慢慢改变,但数据科学家们在笔记本电脑上进行修补,使用算法和超参数值,直到他们有了他们喜欢的训练有素的ML模型,然后手动部署到生产中,这一切都太常见了。

MLflow的目的是将严格性强加于这个过程,允许每个训练迭代被记录下来并且模型部署到任意数量的云或私有环境中,实现自动化。这使得其他数据科学家能够发现这项工作(希望这将避免他们重新做同样的工作),并实现再培训和随后重新部署模型的自动化。

允许在命令行、用户界面或应用程序编程接口(API)完成此工作。在MLFlow的第一年开发期间,所有这些接口都会发生重大变化,但随着这1.0的发布,开发人员可以从这里开始依赖这些接口的稳定性。

此外,MLFlow1.0提供了几个新的功能。尽管其中的一些在技术上很有说服力,但我还是要总结一下:

这是一组不错的功能,还有更多。流动路线图包括一个模型注册表,它可以促进持续集成/部署(CI/CD)、模型检查/代码审查,以及洞察不同模型版本的使用和有效性。还有多步骤工作流支持的计划。

Databricks说,MLflow现在有100多个贡献者,并且已经部署在数千个组织中。此外,微软的参与和支持MLFlow在其Azure机器学习平台,这个项目似乎已经达到了一个标准的地位,在一个非常需要他们的学科。