首页 > 代码库 > 画像分析(6-4)某极产品分析

画像分析(6-4)某极产品分析

一、产品服务

EDS

集群管理和数据导入

管理监控计算资源

导入多源数据到HDFS,管理生成的hdfs文件

提供基于生成文件的sql查询分析能力

 

ADS

创建数据模块、分析模块,封装各种逻辑成docker镜像

组装成项目,

创建任务执行

   

二、模块划分:

模块分为 总览、数据平台、分析应用、模型示例和用户中心

功能介绍如下:
1、总览:

     为用户提供任务、模块及项目的数据总览。

     项目:一个数据分析流程

     模块:某种操作,某种算法,封装成一个docker镜像,如:数据导出、数据分析

     任务:一个项目的执行结果

     数据总览:


2、数据平台:
     2.1、创建集群、监控集群

             为用户提供集群创建和管理平台,可选择任意公有云服务类型部署EDS数据库服务。
     2.2、导入数据

             为用户提供EDS数据库操作平台,支持完整的ANSI SQL(SQL92/SQL99/SQL2003/OLAP Extension)查询语言,可进行轻量和高效的抽样数据分析功能,同时,适用于编写算法模块前期的探索工作。

             技术分享

     2.3、表管理

     2.4、文件管理

             技术分享

  

     2.5、数据查询

             技术分享

 

 

 

3、分析应用:

     为用户提供全量数据的自助分析平台,用于导入或创建模块及项目工作流。

     3.1、数据模块:创建数据源模块

     3.2、分析模块:创建分析模块(dockerfile,main.py,requirements.txt、spec.json)

     技术分享

 

 

      3.3、创建项目:创建项目完成后,点击运行,创建任务。

      技术分享

       3.4、创建任务

      技术分享

      3.5、查看任务执行结果/状态

      技术分享

       3.6、任务执行结果

      技术分享

 

 

4、模型示例:

     为用户展示了机器学习相关算法模型和机器学习建模流程,同时支持用户在该平台根据需求新建机器学习模型。

 技术分享

 

5、用户中心:

     为用户提供基本设置及相关权限操作。

 

三、开发过程:

1、导入各种数据源,支持sql查询

2、创建模块,组装成项目(工作流)
3、执行项目,查看任务结果和执行结果
4、导出数据,提供给业务使用

 

 

四、

 

画像分析(6-4)某极产品分析