首页 > 代码库 > 阿里云大数据架构专业术语
阿里云大数据架构专业术语
来自大神:http://pengoneeast.blog.163.com/blog/static/55045403201526111648857/
负载均衡(Server Load Balancer,简称SLB)是对多台云服务器进行流量分发的负载均衡服务。SLB可以通过流量分发扩展应用系统对外的服务能力,通过消除单点故障提升应用系统的可用性。
SLB基本概念
- SLB服务主要由3个基本概念组成。
- LoadBalancer代表一个SLB实例
- Listener代表用户定制的负载均衡策略和转发规则
- BackendServer是后端的一组ECS。
- 来自外部的访问请求,通过SLB实例并根据相关的策略和转发规则分发到后端ECS进行处理。
slb核心概念如图示
SLB术语表
术语 | 全称 | 中文 | 说明 |
---|---|---|---|
SLB | Server Load Balancer | 负载均衡服务,简称SLB服务。 | 阿里云计算提供的一种网络负载均衡服务,可以结合阿里云提供的ECS服务为用户提供基于ECS实例的TCP与HTTP负载均衡服务。 |
LoadBalancer | Load Balancer | 负载均衡服务实例,简称SLB实例。 | SLB实例可以理解为SLB服务的一个运行实例,用户要使用SLB服务,就必须先创建一个SLB实例,LoadBalancerId是识别用户SLB实例的唯一标识。 |
Listener | Listener | 负载均衡服务监听。 | 负载均衡服务监听,包括监听端口、负载均衡策略和健康检查配置等,每个监听对应后端的一个应用服务,一个SLB实例最多支持10个监听配置。 |
BackendServer | Backend Server | 后端服务器。 | 接受SLB分发请求的一组ECS,SLB服务将外部的访问请求按照用户设定的规则转发到这一组后端ECS上进行处理。 |
Address | Address | 服务地址 | 系统分配的服务地址,当前为IP地址。用户可以选择该服务地址是否对外公开,来分别创建公网和私网类型的SLB服务。 |
云服务器是什么
云服务器实例(简称ECS实例)是一个虚拟的计算环境,包含CPU、内存等最基础的计算组件,是云服务器呈献给每个用户的实际操作实体。
ECS实例是云服务器最为核心的概念,下面描述的磁盘、IP等只有与ECS实例结合后才有使用意义的。
在使用云服务器时,您会接触到一些名词,有的您已经很熟悉了,有的相对来说会少见一些。这些名词所代表的产品概念组合起来,构成完整的云服务器产品。下面是这些名词及其代表的含义:
-
地域(Region)指的是ECS实例所在的物理位置。您可以根据您的客户群体分布的不同选择不同地域的云服务器服务。针对中国境内,目前可供选择的地域有杭州、青岛、北京、深圳;针对海外,目前可供选择的地域有香港。地域内的ECS实例内网是可以互通的,不同地域之间的ECS实例内网不互通。
-
可用区(Zone)是指在同一地域内,电力和网络互相独立的物理区域。同一可用区内的ECS实例网络延时更小。在同一地域内可用区与可用区之间内网互通,可用区之间能做到故障隔离。如果您的应用需要较高的容灾能力,建议您将ECS实例部署在同一地域的不同可用区内;如果您的应用在实例之间需要较低的网络时延,则建议您将ECS实例创建在相同的可用区内。
-
ECS实例的规格定义了实例的CPU、内存的配置。
-
镜像(Image)是ECS实例运行环境的模板,一般包括操作系统和预装的软件。您可以选择阿里云官方提供的镜像(支持Linux和Windows的多个发行版本),也可以根据拥有的ECS实例创建自己的自定义镜像,或者去镜像市场选择第三方服务商提供的镜像。
-
磁盘(Disk)有云磁盘、独立云磁盘、本地磁盘、本地SSD盘等类型。存储在云磁盘上的数据安全性更高,独立云磁盘除了具有云磁盘的优点外,还可以在同一可用区内的ECS实例间自由挂载和卸载;相对云磁盘,本地磁盘则吞吐性能更好;本地SSD盘基于SSD存储,相比现有的云磁盘和本地磁盘有10倍~20倍的IO性能提升,能够满足IO密集型应用的高性能存储需求。本地磁盘和本地SSD盘的数据安全性比云磁盘低。
-
快照(Snapshot)是磁盘上的数据在某一个时间点的拷贝,存储在开放存储服务(OSS)上。快照采用增量备份机制,只有磁盘上发生变化的数据块才会被拷贝到快照中。
-
IP:包含内网IP地址和公网IP地址。每个ECS实例默认包含一个内网IP地址,公网IP地址只有在购买了公网带宽之后才会分配。
-
安全组(SecurityGroup)指定了一个或多个防火墙规则,规则包含容许访问的网络协议、端口、源IP等。防火墙规则对加入安全组的所有ECS实例生效,但加入同一个安全组的ECS实例相互之间的访问是不受规则限制的。
-
VPC
-
EIP, Private IP
云数据库RDS
云数据库(Relational Database Service,即关系型数据库服务,简称RDS)是阿里云提供的一种稳定可靠、可弹性伸缩的在线数据库服务。RDS采用即开即用方式,兼容MySQL、SQL Server两种关系型数据库,并提供数据库在线扩容、备份回滚、性能监控及分析等功能。
简要介绍
- RDS的目标是将耗时费力的数据库管理任务承担下来,使用户能够专心于应用开发和业务发展。用户可根据业务需求对RDS进行弹性伸缩,RDS承诺99.95%的服务可用性和99.9999%的数据可靠性。
- RDS目前提供MySQL和SQL Server两种关系型数据库,访问协议完全兼容。用户现有的数据库代码、应用等可直接应用在RDS上,减小重新开发成本。
基础架构
- RDS采用主从备份架构,拥有3份以上数据存储,具备高可用性和数据可靠性。
- RDS架构图
功能特点
- 防DDoS攻击:当RDS为公网访问时,阿里云安全体系会自动判断RDS是否正在遭受DDoS攻击,并启动流量清洗的功能,若攻击达到黑洞阈值或清洗失效,将会进行黑洞处理。
- SQL注入告警:RDS会通过解析SQL语句,判断是否遭受SQL注入攻击,并提示修改应用程序。
- IP访问白名单:白名单可以使RDS实例得到最高级的访问安全保护;建议设置访问源IP地址或者IP段,最多设置100个。
- 将数据迁移至RDS:RDS for MySQL提供在线迁移数据的方式,可以不停止原有数据库运行的情况下完成数据迁移操作;RDS for SQL Server提供上传备份文件迁移至RDS的迁移方式,可便捷的完成数据的导入操作。
- 实例在线升级:RDS提供的在线升级服务,包括实例配置的升级和数据库版本的升级,升级过程无需用户介入。
- 系统性能监控:RDS提供近20个系统性能的监控视图,如磁盘容量、IOPS、连接数、CPU利用率、网络流量等,用户可以轻松查看实例的负载。
- 优化建议:RDS提供多种优化建议,如存储引擎检查、主键检查、大表检查、索引偏多、缺失索引等,用户可以根据优化建议并结合自身的应用来对数据库进行优化。
- 备份管理:RDS自动提供多重备份,同时RDS支持用户通过RDS管理控制台或OPEN API灵活变更备份的时间。 数据回溯:RDS通过备份和日志,用户可以选择7天内的任意时间点创建一个临时实例,临时实例生成后验证数据无误,即可将数据迁移到RDS实例,从而完成数据回溯操作。
开放缓存服务(OCS,Open Cache Service)
开放缓存服务( Open Cache Service,简称OCS)是基于内存的缓存服务,支持海量小数据的高速访问。OCS可以极大缓解对后端存储的压力,提高网站或应用的响应速度。OCS支持Key-Value的数据结构,兼容Memcached协议的客户端都可与OCS通信。
OCS 支持即开即用的方式快速部署;对于动态Web、APP应用,可通过缓存服务减轻对数据库的压力,从而提高网站整体的响应速度。
与本地MemCache相同之处在于OCS兼容Memcached协议,与用户环境兼容,可直接用于OCS服务 不同之处在于硬件和数据部署在云端,有完善的基础设施、网络安全保障、系统维护服务。所有的这些服务,都不需要投资,只需根据使用量进行付费即可。
产品特点
OCS服务有如下特点:
- 性能优越。缓存数据存储在内存中,数据访问迅速返回。
- 服务可靠。当某台服务器宕机时,集群将迅速恢复服务,用户当前的客户端自动重连后即可恢复服务。
- 安全保障。OCS仅支持ECS访问,并可以限制源服务器的IP地址,避免外部攻击。
- 弹性伸缩。当业务规模发生变化时,用户可随时根据需要修改OCS实例的配置,并且在配置变更过程中,OCS实例不会停止服务,您的客户端程序也不必修改。
- 管理透明。OCS是一个开箱即用的服务,阿云的OCS团队负责OCS产品的管理,包括日常维护、软硬件故障处理、补丁更新等工作,让您专注于保障服务的健康有效。
- 兼容性。兼容memcache binary protocol,符合该协议的客户端(binary SASL)都可使用OCS。
DRDS产品概要
单机数据库能够方便的满足用户对于关系查询类的需求,是目前业务应用中最常使用的软件。然而,对于很多应用而言,单机数据库最终都会碰到单机性能上的天花板,在TPS/QPS/内存容量/磁盘容量等等一系列系统资源上会碰到各类限制。
DRDS的主要目标,就是帮您解决这方面的各类问题,他主要提供了两个功能:读写分离和数据库切分。
读写分离,能够允许您实现一台机器写入,多台机器读取,这对于读多写少的应用,能够以极低的成本解决系统的瓶颈
数据库切分是一个解决系统存储瓶颈的最终极解决方案,数据库切分的核心思想其实很简单,就是分而治之。将数据分散到多台机器,并保证请求能够平均的分发到这些机器上,就可以以极低的成本来解决业务的各类性能瓶颈。
当然,切分也是有代价的,最明显的代价就是,分布式数据库会对一些原有单机数据库的场景进行限制,因为这些操作,在分布式环境下的延迟或效率非常低效,就算是能够实现出来,也会因为性能问题而无法使用。
针对这类问题,阿里的中间件团队曾经成功的协助过近300个业务应用系统实现了数据库的切分,因此,我们在这个领域内积累了大量的实战经验和成熟的产品,希望这类产品也能够为您提供相同的服务,让您的数据库再也不必担心性能问题。
阿里云键值存储(Aliyun KVStore,Key-Value Store)
阿里云键值存储(Aliyun Key-Value Store,简称KVStore)是兼容开源Redis协议的Key-Value类型在线存储服务。KVStore支持字符串(String)、链表(List)、集合(Set)、有序集合(SortedSet)、哈希表(Hash)等多种数据类型,及事务(Transactions)、消息订阅与发布(Pub/Sub)等高级功能。通过内存+硬盘的存储方式,KVStore在提供高速数据读写能力的同时满足数据持久化需求。
除此之外,KVStore作为云计算服务,其硬件和数据部署在云端,有完善的基础设施规划、网络安全保障、系统维护服务。所有这些都无需用户考虑,确保用户专心致力于自身业务创新。
产品特点
- 简单易用
- 服务开箱即用:支持即开即用的方式,购买之后即刻可用,方便业务快速部署
- 兼容开源Redis:兼容Redis命令,任何Redis客户端都可以轻松与KVStore建立连接进行数据操作。
- 可视化的管理监控面板:控制台提供多项监控统计信息,并可以进行管理操作。
- 弹性扩容
- 存储容量一键扩容:用户可根据业务需求通过控制台对实例存储容量进行调整(公测期间需申请开通)
- 在线扩容不中断服务:调整实例存储容量可在线进行,无需停止服务,不影响用户自身业务
- 高可用
- 每个实例均有主从双节点:避免单点故障引起的服务中断
- 硬件故障自动检测与恢复:自动侦测硬件故障并在数秒内切换,恢复服务
- 高可靠
- 数据持久化存储:内存+硬盘的存储方式,在提供高速数据读写能力的同时满足数据持久化需求。
- 数据主从双备份:所有数据在主从节点上进行双备份。
产品功能
-
支持丰富的数据类型 兼容开源Redis协议中定义的所有数据类型,如String,Hash,List,Set,SortedSet等,支持多种数据操作,充分满足业务需求
-
持久化存储 内存+硬盘的存储方式,数据存储到物理磁盘,满足用户数据持久化需求
-
支持消息通知机制 基于事件通知机制解耦消息发布者和消息订阅者之间的耦合,实现消息发布及订阅(PUB/SUB)功能,满足多个客户端使用者之间的互联互通。(参见示例)
-
支持事务操作 支持Redis协议中定义的事务(Transaction)处理,实现单个客户端发送的多个命令组成的原子性操作。
简单日志服务(Simple Log Service,简称SLS)是针对日志收集、存储、查询平台化服务。服务提供各种类型日志的实时收集,平台化存储,海量日志实时查询,并可以将日志归档至ODPS,以利用ODPS做大数据分析。具体来说,SLS提供如下功能:
- 多种方式(API、SDK及Logtail接入服务)的日志写入途径
- 通过Logtail可以自由定义多种日志格式的收集以及解析方式
- 可以定义机器组管理数以千计机器上的日志收集
- 强大的日志实时收集以及快速处理能力:GB/秒级别;从日志收集到可查询的延时基本在1分钟内
- 针对海量日志的集中存储,且存储期限可按需配置
- 提供实时、灵活(支持查询语法)的日志查询能力
- 简单易用的控制台配置方式,所有操作都可以在Web端完成
- 后台与ODPS无缝衔接,提供将日志归档到用户ODPS表的功能
SLS与阿里云其他产品关系如下:
- ECS:用户可以安装Logtail(SLS Agent)收集用户云主机上的各种日志数据。
- 云盾:用户云主机上如已安装云盾,可以在SLS 控制台上直接点击通过云盾安装Logtail。
- ODPS:SLS中收集的日志,可以自动归档到用户的ODPS表中,满足在线查询与离线分析的双重需求。
阿里云大数据架构专业术语