Skip to content

[Feature] [DSS]Add support for external/external-image URLs in workflow nodes #1153

@zqburde

Description

@zqburde

Search before asking

  • I had searched in the issues and found no similar feature requirement.

Problem Description

痛点
DataSphereStudio 是一站式数据应用平台,支持多种 AppConn 插件和工作流任务类型。当前工作流节点都可以上传文件资源,且用户大多需要先上传本地文件,然后再在 workflow 中引用 — 当用户希望使用互联网公开资源 (remote URL image / file) 时,缺乏「直接通过 URL 引用」这一路径。对于很多数据分析 / 数据治理 / 文档处理场景 (例如:从网络下载 CSV / JSON / 图片 / PDF 并处理) — 要么需要用户先手动下载到本地,再上传;要么需要自己写额外脚本,这破坏了 DSS 的“可视化 + 零编码”初衷。

Description

期望功能

在支持文件/图片上传的节点中,新增一种 “远程 URL” 引用方式,允许用户直接填写 URL (http/https),DSS 后端自动从 URL 拉取资源并处理。

UI 层在「上传 / URL」间提供切换(类似很多工具允许「本地上传」或「远程 URL」两种方式)。

后端应对 URL 做合法性检查、下载、缓存 / 临时存储,并作为普通资源交给后续节点处理,就像本地上传的一样。

如果资源是公开可访问或有鉴权 token,支持 header /鉴权配置 (可选) 。

在文档和示例里补充说明这一用法。

预期好处

极大提升用户体验 — 不用本地下载 + 上传两步,直接从网络获取资源更方便、快捷。

扩展 DSS 适用场景 — 对于 Web 抓取、外部数据分析、图片处理、文档分析、ETL、数据治理等场景更友好。

保持 DSS 的低代码 / 零代码 / 一站式体验,增强平台的灵活性与通用性。

降低用户自行编写脚本 / 集成外部服务的必要性,使更多用户更易上手。

兼容性与安全考虑

对下载资源应限制大小 / 超时 /并发数,以防滥用或资源耗尽。

可选启用「沙箱下载模式」,或使用白名单 /鉴权方式,防止任意 URL 导致安全隐患。

对已下载资源可缓存并重用以节省带宽 /存储 /加速执行。

Use case

No response

solutions

No response

Anything else

No response

Are you willing to submit a PR?

  • Yes I am willing to submit a PR!

Metadata

Metadata

Assignees

No one assigned

    Labels

    enhancementNew feature or request

    Type

    No type

    Projects

    No projects

    Milestone

    No milestone

    Relationships

    None yet

    Development

    No branches or pull requests

    Issue actions