AiDataMan将会是一款具有多人协同+Ai参与的交流机制的大数据分析平台。平台尊重数据隐私,平台不会对用户具体数据有任何形式的外部传递行为,例如传递给Ai也是不会有的。它的计算引擎将采用和Presto类似的理念,即可以接入用户的各种数据源,包括本地文件、各种关系型数据库、主流的大数据存储系统如Hive,Spark等,并在无需ETL的前提下完成对分散数据系统的联合数据计算,且保持准实时的计算能力。它引入了Ai:第一,Ai在交流机制中负责将用户的数据分析需求转化为计算引擎的输入,这样平台就可以帮助用户将他想要分析的数据快速的获得、可视化、洞察;第二,Ai在交流机制中还扮演着数据专家的角色,在不违反数据隐私的原则下能够同多个人类交流数据见解。AiDataMan还会支持开放数据Api,并支持与其他应用程序集成,比如Bi、Python、R等
预计通过v1、v2、v3三个大版本的开发达到预定的最终形态,每个版本都有一个架构变更。
v1版本将重点专注于本地数据文件的分析,因此架构是这样的:用户通过一个WebUI前端来使用平台,v1阶段的WebUI看上去像是一个同Ai的聊天应用,WebUI会引导用户选择本地数据文件,之后UI将用户本地数据写入到UI内置的pounchDB数据库,UI对应一个Java后端应用,然后用户在聊天中输入提问或要求操作数据,将向后端发出请求,后端来调用Ai来将用户输入转化为pounchDB的sql并返回给UI,UI拿到sql去查询内置的pounchDB数据库,获得用户需要的数据
v2版本会重点专注于多用户本地数据的联合查询,并在交流机制中引入多个用户
v3版本会重点专注于本地数据与多种数据源的非本地数据的联合查询