Rest API无法正常获取batch任务information

[imperio-wxm]

部署spark on k8s

• batch任务可以正常运行结束，调用/batches/{batchId} 无信息和状态更新
• 任务运行时不会将状态更新为RUNNING，一直显示PENDING，其他信息为null，任务结束时只更新状态为FINISHED
  
• 调用/batches/${batchId}/localLog无日志显示
  

[imperio-wxm]

batch 任务的main函数是否有指定入口，或者继承kyuubi某个入口类？
className参数填入的是我自己的main，和kyuubi无关，spark web ui上也不显示kyuubi相关tab页
怀疑是直接拉镜像启动了，并没有通过kyuubi engine拉起

[pan3793]

与 SQL 模式不同，Batch 模式下，Kyuubi Server 仅负责拼接 spark-submit 命令，可以在 Kyuubi Server 的日志，找到完整的 spark-submit 命令；通过 K8s/Yarn client 从 Resource Manager 查询任务的状态信息，没有 Kyuubi Engine 的概念，一些状态的缺失，可能是因为 K8s client 没有成功构造所导致的，我们在 1.7.0（未发布，可以自行使用 master 分支编译）中增强了 K8s 环境中的一些自动配置场景，并提供更灵活的参数配置 https://kyuubi.readthedocs.io/en/latest/deployment/settings.html#kubernetes

推荐的编译命令

build/dist --tgz --spark-provided --flink-provided --hive-provided

[imperio-wxm]

也就是目前1.6.1对batch模式在k8s上某些功能还不是很完善是吧？预计1.7.0大概什么时候推出release版本？

[imperio-wxm]

我通过build/dist --tgz --spark-provided --flink-provided --hive-provided构建了1.7.0版本
配置了kyuubi.kubernetes.master.address和kyuubi.kubernetes.namespace，和1.6.1版本没有任何区别，还是无法正确拿到信息