平台架构 ML任务流

拖拉拽的pipeline编排

cube使用argo作为任务流workflow，为了能降低用户的学习成本，开发了一套拖拉拽的任务流拖拉拽的编排能力。并且在其中加入了很多分布式的任务模板。基本上的分布式框架都可以得到解决。各类的分布式框架在分布式任务加速中也有介绍。

单task调试

通过notebook我们可以进行代码的编辑，通过镜像调试，我们可以构建自己的镜像。然后就可以编排pipeline了。pipeline运行前需要独立运行调试单个task，所以cube添加单task独立调试的功能。

每个task都可以独立的debug和独立的运行。这样就不用每次都运行整体pipelie才能进行调试。并且对于分布式任务的task，cube在模板中借用stern实现了多个容器log聚合查看。这样就不用每个worker的日志都单独去看了。

并且每个任务启动后都可以看到相应的资源情况，这样可以边调试边配置资源的申请量，在gpu上也可以及时知道是否还有优化的空间，目前任务的主要瓶颈在哪里。这样能更加直观的确定优化的方向。

断点重训

对于某些部分一个任务流运行后，可能在某些任务开始出现偶发性错误，cube提供了，在结束pipeline后，在失败点继续训练的功能，这样就能不用重复训练某些耗时的任务。同时cube也为每个任务提供了重试次数和超时时长的配置。并且提供了任务的实时和离线日志查询两种功能。

定时调度

任务编排调试好以后，还要进行定时调度。cube支持了定时调度任务的，补录，忽略，重试，依赖，并发限制，过期淘汰等功能，能应对任务堆积，平台故障等可能问题。 并且对同一个pipeline，区分对待手动运行和定时调度两种实例。

开放式插件

平台自带的任务模板并不一定能完全满足所有需求，除了用户可以使用自定义镜像，自定义命令的方式外。平台将插件的注册功能开放给用户。 这样用户就可以自己定义模板，然后开放给全平台的用户使用。用户只需要自己构建好功能镜像，然后将其他用户使用此镜像需要填写的参数注册进来了就可以了。其中也包含的模板特定功能，例如固定的挂载，固定的环境变量，k8s账号等。