首页 > 代码库 > 画像分析(6-4)某极产品分析
画像分析(6-4)某极产品分析
一、产品服务
EDS
集群管理和数据导入
管理监控计算资源
导入多源数据到HDFS,管理生成的hdfs文件
提供基于生成文件的sql查询分析能力
ADS
创建数据模块、分析模块,封装各种逻辑成docker镜像
组装成项目,
创建任务执行
二、模块划分:
模块分为 总览、数据平台、分析应用、模型示例和用户中心
功能介绍如下:
1、总览:
为用户提供任务、模块及项目的数据总览。
项目:一个数据分析流程
模块:某种操作,某种算法,封装成一个docker镜像,如:数据导出、数据分析
任务:一个项目的执行结果
数据总览:
2、数据平台:
2.1、创建集群、监控集群
为用户提供集群创建和管理平台,可选择任意公有云服务类型部署EDS数据库服务。
2.2、导入数据
为用户提供EDS数据库操作平台,支持完整的ANSI SQL(SQL92/SQL99/SQL2003/OLAP Extension)查询语言,可进行轻量和高效的抽样数据分析功能,同时,适用于编写算法模块前期的探索工作。
2.3、表管理
2.4、文件管理
2.5、数据查询
3、分析应用:
为用户提供全量数据的自助分析平台,用于导入或创建模块及项目工作流。
3.1、数据模块:创建数据源模块
3.2、分析模块:创建分析模块(dockerfile,main.py,requirements.txt、spec.json)
3.3、创建项目:创建项目完成后,点击运行,创建任务。
3.4、创建任务
3.5、查看任务执行结果/状态
3.6、任务执行结果
4、模型示例:
为用户展示了机器学习相关算法模型和机器学习建模流程,同时支持用户在该平台根据需求新建机器学习模型。
5、用户中心:
为用户提供基本设置及相关权限操作。
三、开发过程:
1、导入各种数据源,支持sql查询
2、创建模块,组装成项目(工作流)
3、执行项目,查看任务结果和执行结果
4、导出数据,提供给业务使用
四、
画像分析(6-4)某极产品分析