首页 > 代码库 > 分布式技术一周技术动态 2016.12.04

分布式技术一周技术动态 2016.12.04

 

分布式系统实践

1. 列存储格式Parquet调研报告

http://dwz.cn/4HnU24

摘要: Apache Parquet是Hadoop生态圈中一种新型列式存储格式,它可以兼容Hadoop生态圈中大多数计算框架(Hadoop、Spark等),被多种查询引擎支持(Hive、Impala、Drill等),并且它是语言和平台无关的。这篇文章详细介绍了Parquet格式, 包括原理和实现, 并且给出了性能对比数据.

2. TiKV 的 MVCC(Multi-Version Concurrency Control)机制

http://dwz.cn/4Jh1wH

摘要: MVCC是在保证数据库隔离级别情况下, 提升数据库吞吐的核心技术之一, 这篇文章介绍了TiDB的MVCC实现机制.

服务化和虚拟化

1. Distributed Database Containers Deployment and Orchestration

http://dwz.cn/4Hok2K

摘要: 我们都知道部署有状态的服务容器比无状态的服务容器要复杂的多, 不仅仅需要考虑持久化的数据, 还需要考虑灰度发布等常见问题. 这篇文章讲述了将TiDB部署在k8s上的整体思路, 其实面临的问题和我们部署bs和mint服务是非常类似的, 解决的思路也比较类似, 就是需要开发专门的master来调度和协调(这方面mesos比k8s要领先一些).

 

 高可用技术

1. 五个9的可用度、秒级故障解决,探寻互联网金融应用之道

http://dwz.cn/4GZbso

摘要: 这篇文章全面的介绍了付钱啦公司的高可用技术内幕包括容错, 监控, 报警, 降级等等.

2. 基于nginx和consul构建高可用及自动发现的docker服务架构

http://dwz.cn/4IlXiN

http://dwz.cn/4IPjqg

摘要: consul是一款非常优秀的服务发现组件, 尤其适合配合docker使用, 同时提供了跨IDC数据最终一致性, 健康检查, kv存储等服务发现组件必备的功能, 可以说是服务发现组件的不二人选, 这篇文章介绍了基于nginx和consul构建自动发现的docker服务架构方法.

 

运维和DevOps 

1. Docker世界中的配置管理:5分钟让你明白如何在Puppet,Chef, Ansible之间选择

http://dwz.cn/4HQ43p

摘要: puppet, chef, ansible可以说是3个使用的最为广泛的配置管理工具了, 但是随着容器技术的日益成熟, 我们对配置管理工具的定位和需求发生了细微的变化, 这篇文章独树一帜的声明, 在容器时代, 唯一应该选择的配置管理工具就是ansible, 因为在容器时代, 配置管理工具的作用更加专注和几种, ansible更加简单易懂.

 2. 基于 DevOps 理念的私有 PaaS 平台实践

http://dwz.cn/4J7ctU

摘要: 这篇文章详细讲述了互动娱乐的私有PaaS平台实践, 这个平台其实和我们想做的事情非常接近, 但是比我们当前做的要多, 可以借鉴参考.

基础和文化

1. 京东亿级商品搜索核心技术解密

http://dwz.cn/4IrpGW

摘要: 这篇文章介绍了京东商品搜索系统的架构, 和我们的搜索架构相比, 还是要简单很多, 毕竟只是站内搜索嘛, 供大家参考和借鉴.

2. 兼顾高可靠和低延迟,Google打算用QUIC协议替代TCP/UDP

http://dwz.cn/4J8lvn

摘要: 基于UDP协议的QUIC协议去除了TCP协议的缺点, 针对TCP的缺点进行了很多性能优化, google希望用QUIC协议替代TCP协议.

 

分布式技术一周技术动态 2016.12.04