首页 > 代码库 > ES(3): ES Cluster Extended Azure Storage

ES(3): ES Cluster Extended Azure Storage

     Azure VM的磁盘空间远远不能满足ES集群存储需求(还需除掉VM的临时盘),同时也未找着ES配置 block blob storage 存储的组件,因此下文介绍通过挂载附加盘的方式增加ES集群存储空间容量的操作过程。

目录:

  • LVM基本术语
  • Azure Storage 介绍
  • ES cluster 配置Azure Storage

LVM基本术语


  • LVM:是Linux提供的逻辑盘卷管理(Logical VolumeManager)的简称
  • 物理存储介质(The physical media): 这里指系统的存储设备:硬盘,如:/dev/hda1、/dev/sda等等,是存储系统最低层的存储单元
  • 物理卷(physical volume): 物理卷就是指硬盘分区或从逻辑上与磁盘分区具有同样功能的设备(如RAID),是LVM的基本存储逻辑块,但和基本的物理存储介质(如分区、磁盘等)比较,却包含有与LVM相关的管理参数
  • 卷组(Volume Group): LVM卷组类似于非LVM系统中的物理硬盘,其由物理卷组成。可以在卷组上创建一个或多个“LVM分区”(逻辑卷),LVM卷组由一个或多个物理卷组成
  • 逻辑卷(logical volume): LVM的逻辑卷类似于非LVM系统中的硬盘分区,在逻辑卷之上可以建立文件系统(比如/home或者/usr等)

Azure Storage 介绍


  • Azure 存储空间提供以下四种服务:Blob 存储、表存储、队列存储和文件存储,如下图(主要关注blob storage):
  • 技术分享
  • Blob Storage: 用于存储非结构化对象数据, 可以是任何类型的文本或二进制数据,例如文档、媒体文件或应用程序安装程序,Blob 存储也称为对象存储
  • 每个 Blob 都组织到一个容器中, 一个存储帐户可以包含任意数目的容器,一个容器可以包含任意数目的 Blob,直至达到存储帐户的容量限制 500 TB
  • Blob 存储提供三种类型的 Blob:block blobs, append blobs, and page blobs (disks).
    1. block blobs: 主要对streaming and storing cloud objects 进行相应的优化,是用于存储文档、介质文件和备份等对象的不错选择
    2. append blobs:类似于block Blob,针对追加操作进行了优化, 适用于新增加的数据写入到 Blob 结尾的场景
    3. page blobs:  对IaaS 磁盘和支持随机写入方面进行了优化, 最大容量仅为1 TB,Azure 虚拟机网络连接的 IaaS 磁盘是一个 VHD (Virtual Hard Drive),存储为page Blob
  • ES的存储暂时未找着配置 block blob storage 的组件或接口,所以使用的是page blob storage, 悲吹的是要承担3位的成本差异,报价对比如下:
  • 技术分享
  • 技术分享

ES cluster 配置Azure Storage


  • 新建空磁盘,在Azure portal选择VM: JNES01, 执行“附加空磁盘”, 如下图:最大1T,允许挂多个磁盘
  • 技术分享
  • 查看: fdisk -l
  • 技术分享
  • 物理卷: pvcreate /dev/sdc  
  • 卷组:vgcreate ESData /dev/sdc
  • 逻辑卷: lvcreate -l 100%FREE -n lves ESData
  • 查看磁盘信息:fdisk -l
  • 技术分享
  • 格式化:mkfs.xfs -f /dev/mapper/ESData-lves
  • 创建目录:mkdir -p /mnt/data
  • 命令:mount -t xfs /dev/mapper/ESData-lves /mnt/data
  • 命令:blkid /dev/mapper/ESData-lves echo "UUID=`blkid /dev/mapper/ESData-lves  -o value | head -n 1` /mnt/data xfs defaults 0 0" >> /etc/fstab
  • 命令:df -h
  • 技术分享
  • ES在配置数据的存储目录时,可同时配置为多个,如下:
  • 技术分享
  • 用 storage explorer 工具查看存储结果 (注意:/dev/sdb1 60G的临时盘看不到), 如下图:
  • 技术分享

ES(3): ES Cluster Extended Azure Storage