首页 > 代码库 > 分布式技术一周技术动态 2016-11-27

分布式技术一周技术动态 2016-11-27

 

分布式系统实践

1. 大数据时代快速SQL引擎-Impala

http://dwz.cn/4G9mvt

摘要: 在Dremel论文发表之后,开源社区涌现出了一批基于MPP架构的SQL-on-Hadoop(HDFS)查询引擎,典型代表有Apache Impala、Presto、Apache Drill、Apache HAWQ等,看上去这些查询引擎提供的功能和实现方式也都大同小异,本文将基于Impala的使用和实现介绍日益发展的基于HDFS的MPP数据查询引擎。

2. 通过 raft 的 leader lease 来解决集群脑裂时的 stale read 问题

http://dwz.cn/4FK8DI

摘要: 当 raft group 发生脑裂的情况下,老的 raft leader 可能在一段时间内并不知道新的 leader 已经被选举出来,这时候客户端在老的 leader 上可能会读取出陈旧的数据(stale read).这篇文章介绍了一种方法用于解决stale read的问题.

服务化和虚拟化

1. 现代化Web的微服务架构最佳实践全景

http://dwz.cn/4EJsEO

摘要: 基于搭建微服务架构的实践,作者总结出一套适用于现代化Web和云技术的实战经验,并从微服务领域的先行者(如Netflix、Soundcloud、谷歌、亚马逊、Spotify等)身上学到了很多经验。读完这篇文章, 应该可以非常全面的了解微服务架构的全貌了.

2. 服务化之-路由

http://dwz.cn/4FdeVt

摘要: 服务的路由选择对于服务调用方来说是很重要的一件事, 也就是我们常说的负载均衡策略, 这篇文章分析了几个开源的服务化框架, 对比了路由选择算法和配置上的差异, 很多思路都值得我们学习.

 高可用技术

1. kafka的高可用和一致性探究

http://dwz.cn/4EJQOW

摘要: kafka是非常常用的分布式消息队列系统, 这篇文章深入的解释了kafka在消息高可用和一致性方面的原理.

2. Google 是如何做负载均衡的?

http://dwz.cn/4EJXgr

摘要: 这篇文章介绍了Google负载均衡器的技术要点, 更详细的大家可以参考论文原文.

运维和DevOps 

1. 榨干运营成本:一亿之后再省两亿

http://dwz.cn/4EJmHr

摘要: 节约成本一直都是我们架构工程师的目标之一, 但是只从技术手段上看还不够, 还需要结合产品特点共同考虑成本节约之道. 这篇文章介绍的这几个方法都是结合产品来实施的, 值得学习.

 2. 大神讲解微服务治理的技术演进和架构实践

http://dwz.cn/4FJZiF

摘要: 服务治理虽然从SOA时代就已经崭露头角, 但是服务治理这个词是近1~2年才提出的概念, 包含的范围相比最开始的SOA要广泛很多, 这篇文章非常深入的讲解了服务治理技术的演进和架构实践, 是全方面了解服务治理的好文章.

 

基础和文化

1. 机器学习入门,及简单中文注解

http://dwz.cn/4EhS7v

摘要: 这是Pascal Vincent在2015年深度学习夏季学校讲的机器学习入门。作者给了简单的注解,浅显易懂,值得一读。

2. 容易被误读的IOSTAT

http://linuxperf.com/?p=156

摘要: 我们经常需要追查线上响应时间的问题, 有些情况就是IO导致的. 追查IO问题常用的工具就是iostat了, 清晰的认识iostat的输出对于分析IO问题是非常有帮助的, 否则可能会引起误导, 这篇文章非常详细的解释了iostat各个字段的含义, 看看和你的认知一致么.

 

 

分布式技术一周技术动态 2016-11-27