Skip to content
栾鹏 edited this page Aug 30, 2022 · 12 revisions

开发框架

平台控制端为fab框架

菜单控制

myapp/views/home.py 中 menu函数

使用场景:部分主菜单/子菜单绑定到自有平台,或者添加新的平台视图

登录方式/消息推送

myapp/project.py中包含登录的方式、推送消息的方式

使用场景:

1、登录方式支持账户密码,OpenID认证,LDAP认证,AUTH_REMOTE_USER自己编排里面的login函数,支持对接内部oa系统

2、推送方式,自行对接企业微信,邮箱等报警方式,实现push和push_admin两个函数

定时任务的开发

启动配置:config.py中CeleryConfig

代码开发:myapp/tasks/schedules.py

使用场景:

1、定时任务,比如定时删除旧的workflow,tfjob,pytorchjob,测试的任务,服务,notebook等。 定时提交定时任务的配置,监控gpu资源,以及在多项目组间进行资源调配

2、异步任务,需要花费比较长时间完成的功能,比如灰度升级服务,构建镜像等

监听crd变化

代码开发:myapp/tools/watch_xx.py

使用场景:监听训练和推理workflow的状态变化,推送消息

数据库的更新迭代

myapp/migrations/versions

注意事项: 1、先使用myapp db upgrade命令,将数据库依据versions目录下的接口更新到最新, 2、然后myapp db migrate 将代码中的最新接口更新到versions目录下, 3、然后再调用myapp db upgrade命令更新到最新版数据库

数据库结构和视图(增删改查界面)

myapp/models

myapp/views

注意事项:

  • init.py 引入需要添加的视图

  • log 所有视图的日志访问记录,

  • base.py fab基础框架功能

  • baseApi.py fab基础框架功能

  • route.py falsk自带路由功能

  • view_team.py项目组管理

  • view_docker.py 在线构建镜像的功能

  • view_job_template.py 任务模板的功能

  • view_nni.py 超参搜索nni的功能

  • view_train_model.py 模型管理的功能

  • view_etl_pipeline.py 数据ETL pipeline

  • view_notebook.py 在线开发

  • view_serving.py 内部服务

  • view_workflow.py 任务流实例管理

  • view_dataset.py 数据集管理

  • view_images.py 镜像管理,仓库管理

  • view_metadata.py 离线库表管理

  • view_pipeline.py 训练pipeline管理

  • view_task.py 训练任务管理

  • home.py 菜单管理和弹窗提醒

  • view_dimension.py 维表管理

  • view_inferenceserving.py 推理服务

  • view_metadata_metric.py 指标服务

  • view_runhistory.py 定时调度管理

pipline编排界面前端

myapp/vision

权限管理的基础逻辑

myapp/security.py

开源体验地址:

http://39.96.177.55:8888/

学习、部署、体验、咨询

Clone this wiki locally