首页 > 代码库 > 大数据架构-东方国信

大数据架构-东方国信

mark:


  • 新方向:原来我们讲的 Iaas/Paas/Saas 三层平台,未来运营商的大数据平台将向更深层次方向演进,如:Paas ( T-Paas、D-Paas)
  • mark架构中的新技术:kudu、Ceph、OGG(Oralce GoldenGate)、RHadoop、TiDB
  • mark自主研发XCloud框架:分布式执行计划引擎、分布式调度引擎、查询引擎、集群状态管理服务
  • 借签东方国信的hadoop发行版: HBase读写优化 + 二级索引、BEH-Manager 集 cluster 管理监控、权限控制、开发工具包于一体
  • 决策应用 : SparkR/RHadoop计算
  • 大数据资产管理:实现数据全生命周期端到端的透明经管控,实现“数据模型标准化、数据关系脉络化、数据加工可视化、数据质量度量化、数据服务自动化”,全业务流的实时监控
  • 智能预警引擎设计思路: 基于Hadoop/Spark,重点关注向导式数据建模,支撑拖拉模式下的多种挖掘算法
  • 常规多维分析:向下深钻
  • 大数据核心技术在平台产品实践:以大数据核心技术为基础,面向开发和使用场景,进行二次封装,持续构建从采集消息、存储、计算、安全、开放等方面可视化的平台产品及应用工具
  • 实时决策引擎:后台组件集成了storm、spark streaming、kafka、flume、hbase等现阶段比较流行并且版本趋于稳定的实时流计算技术组件,通过将数据采集、事件定义、数据处理、事件调度等流程的界面可视化配置管理,可方便的发布实时流场景应用程序,降低使用难度,提高程序开发效率 

     参考: http://www.bonc.com.cn/

运营商的大数据架构:


技术分享

技术分享

 

大数据核心技术体系


技术分享

技术分享

技术分享

 

运营商的应用与实践


技术分享

技术分享

技术分享

技术分享

技术分享

 

大数据核心技术在平台产品实践


技术分享

技术分享

  • DC/OS:数据中心操作系统, 参见:http://www.open-open.com/news/view/d76828

技术分享

技术分享

技术分享

技术分享

 

大数据架构-东方国信