首页 > 代码库 > 赞奇科技一体机让云渲染平台更易用
赞奇科技一体机让云渲染平台更易用
提供大规模、标准化、统一且易于使用的云渲染服务对于整个渲染行业来说都是一个难题。赞奇科技凭借定制化的服务器、分布式存储和灵活的业务模式,在云渲染服务市场上找到了自己的定位。
赞奇科技发展有限公司(以下简称赞奇科技)是国内一家专业从事三维图形云渲染服务的公司,目前其云渲染平台上的客户总数已经超过1000家。对于图形渲染业务来说,性能是第一位的。赞奇科技总经理杨昕吉回忆说:“最初,我们选择了一家业内知名品牌的存储厂商提供的集中式存储系统,但当存储节点增加到100个时,系统性能出现瓶颈,仅通过硬件的叠加很难使性能得到改善。痛定思痛,在升级云平台时,我们选择了分布式存储架构,使得存储性能可以线性增长,从而突破了困扰我们已久的性能瓶颈。”
性能是第一位的
图形渲染计算的要求有“三高”:第一,计算密度高,计算业务有明显的波峰和波谷,当计算高峰到来时,I/O通常会被占满;第二,计算资源的占用率高;第三,存储并发读写量高,通常呈指数级增长。在传统的存储系统中,存储性能的增长与硬件设备数量的增加并不完全成正比,而是有一个临界点,当存储系统的配置达到这个临界点时,即使再增加硬件设备的数量,也不能实现性能的同步增长,甚至会出现性能下降的情况。这就是曾经困扰赞奇科技的一个难题。
为了突破系统性能的瓶颈,赞奇科技携手江苏集云信息科技有限公司(以下简称集云科技)重构了数据中心机房,并全面采用分布式存储架构和创新的基于英特尔至强E5处理器的托盘式服务器,实现了系统的横向扩展,降低了整体拥有成本。赞奇科技采用全新技术打造的云平台基础设施包括500个计算节点,未来很快将扩展至1500~000个计算节点。杨昕吉解释说:“以前,我们采用传统的磁盘阵列,瓶颈就存在于磁盘阵列的读取过程中,而我们又苦于没有办法解决。在系统升级后,我们采用了分布式存储架构,也就是集云科技提供的计算与存储一体化的系统,不仅保证了系统的稳定和可靠,而且性能可以线性提升。”
经赞奇科技实际测试,集云科技提供的一体化系统有几大优点:第一,服务器CPU的占用率和存储设备的占用率明显下降,只有原有系统的三分之一;第二,整体系统的存储访问速率提高三倍多;第三,通过采用英特尔至强E5处理器和一系列优化技术后,有效降低了系统的整体拥有成本。“总体来说,现在这套新的计算和存储架构的效率和读取稳定性都有大幅提高。而以前那套老系统,一旦参与渲染的设备增加后很容易出现存储访问失败的情况,而新系统的渲染成功率大大提升。”杨昕吉告诉记者,“随着业务的不断增加,我们现在又面临新的挑战,就是解决在超大计算规模下提升并发访问的性能和稳定性。现在,我们最多可以同时利用500台设备,而未来只有规模扩大到2000台甚至5000台时,我们才有底气承揽美国好莱坞影片的高性能渲染服务。”
看重高性价比
云渲染主要考验的是计算能力和存储的读写能力。计算是并行的,一个计算任务分布在500个节点上同时进行处理,只有当所有节点上的任务处理完毕后才能进入下一步计算,如果某个节点的处理速度稍慢就会影响整个系统的处理性能。“大部分的性能瓶颈并不在计算上,而是在存储上,很多时候数据在读取时速度就已经很慢了。”集云科技总裁陈宝辉介绍说,“为了解决这个问题,我们开始了与英特尔的合作。在英特尔提供的参考设计架构之上,我们设计了一体化的云存储系统,整合了服务器、存储、网络等,然后与赞奇科技一起针对云渲染应用进行了调优。”赞奇科技云渲染平台底层技术架构最大的改变就是用分布式的云存储取代了原有的集中式存储。早在2012年,集云科技就开始与英特尔合作,准备开发云存储。云存储最大的优势就是可以实现横向扩展,并且能用低成本的存储服务器达到用户所需的高性能、高可扩展,同时还能保证很高的可靠性。这也是赞奇科技云渲染平台成功的关键因素之一。
中国用户通常都十分重视IT产品的性价比,像赞奇科技这样提供云服务且拥有大规模IT基础设施的企业就要加一个“更”字了。一方面,品牌厂商提供的集中式存储不能满足赞奇科技云渲染平台对性能和扩展性的需要;另一方面,相比集云科技提供的一体化系统,品牌厂商提供的服务器、存储产品价格过于昂贵。这些都促使赞奇科技与英特尔和集云科技合作。
集云科技提供的分布式云存储,并没有采用企业级存储厂商通常使用的价格高昂的光纤磁盘,而是采用大量廉价SATA硬盘堆叠的方式,在写入数据时同时制作多个数据副本,不仅保证了系统的可靠性,而且将成本降低了三分之二,同时保证了分布式存储的性能与传统企业级存储处于同一水平。“现在很多做大数据、云存储项目的用户不再使用高端存储厂商提供的光纤磁盘阵列,而是倾向于选择分布式的云存储系统,以更低的成本实现更好的扩展性,并可达到企业级的性能。”陈宝辉表示,“我们采用的英特尔的参考设计是基于开源程序做的,它包含了丰富的功能,并且在管理技术上也有许多创新,这让我们的一体化系统的设计变得更容易。与赞奇科技的成功合作表明,我们可以用廉价的硬盘达到与光纤磁盘阵列一样的高速度,甚至更快,成本却大幅降低。”英特尔在国内已经与包括集云科技在内的一些中国合作伙伴基于英特尔的参考设计架构共同开发一体机、云存储等创新的产品,并且在智慧交通、云渲染等领域取得了初步成功。
方案定制化
现在,厂商针对用户的需求提供定制化的产品和解决方案正变得日益流行。杨昕吉表示:“当初我们购买的品牌服务器和存储包含一些我们并不需要的功能,而且价格还非常贵。现在, 我们整个的数据中心,包括其中的服务器、存储全部是按需定制的。我只要求500个甚至更多的计算点能够保证访问的高性能即可,而不关心后台到底用了什么样的存储。我们现在的IT基础架构既简单,成本又低,而且全部资源都是可控的,在未来资源不够用时,只要增加硬件就可以实现轻松扩展,这才是我们需要的。”一些用户之所以喜欢定制化的产品,是因为它们可以完全掌控这些IT部件,有时可能只需要CPU、内存,甚至都不需要硬盘就能满足某些特定计算的需求。在这种情况下,如果采购一个部件和功能齐全的品牌服务器就显得多此一举了。
走向开放是业界的大势所趋。“现在风生水起的‘去IOE’,其本质是让人们抛弃专有的硬件,转而使用标准的商业化硬件。”陈宝辉表示,“我们为赞奇科技提供的托盘式定制服务器,借鉴了互联网厂商的成功经验,采用了英特尔至强E5系列处理器。虽然英特尔还有更高性能的处理器,但是从综合指标评估和赞奇科技的实际需求来看,至强E5系列处理器是性价比最好的。”现在,厂商之间的竞争并不体现在对某种先进技术的使用上,因为各种新技术是现成的,大家都可以使用,若想实现差异化,还是要看整体的解决方案和能否针对应用进行优化。
除了定制化的服务器和存储,赞奇科技云渲染平台所依托的数据中心也是定制的。数据中心的面积虽然不是很大,但采用了业界先进的模块化构建方式,实现了冷通道封闭。陈宝辉介绍说:“为了适应托盘式服务器的需要,我们对数据中心乃至所有服务器机架都进行了调整,实现了最优配置。”现在,越来越多的用户青睐一体机。赞奇科技采用的基于英特尔参考设计的一体机实现了硬件与软件的高度整合,即插即用,性价比非常高,完全能够满足云渲染平台的要求。
云渲染服务这个概念刚刚出现三四年,具有一定的技术和商业门槛。赞奇科技目前也在摸索之中。不过赞奇科技做云渲染服务有其独特的优势:一是已经拥有了一个具有500个节点的高度可扩展的云平台;二是赞奇科技自己开发了Elara渲染器,它可与赞奇科技的云基础架构组成一个完善的云渲染服务平台。目前,国内的云渲染服务市场上几乎没有专为云设计的渲染软件,凭借Elara渲染器,赞奇科技已经在这方面占据了先机。
杨昕吉表示:“随着云渲染服务市场逐渐走向成熟,过去那些小作坊式的服务商将慢慢消失,云渲染服务一定会变成一个高度集中的标准化的服务。我们的目标是为用户提供标准化的、统一的、方便使用的云渲染服务。”
本文出自 “郭涛的存储世界” 博客,请务必保留此出处http://gtstorageworld.blog.51cto.com/908359/1529913