首页 > 代码库 > hue耗流量优化
hue耗流量优化
ps: 使用的hue版本为 hue-3.10.0
一.【jobbrowser刷流量】
基本一分钟刷新一次,执行GET /jobbrowser/
[17/Apr/2017 14:46:26 +0800] access INFO 10.1.124.19 hue - "GET /jobbrowser/ HTTP/1.1"[17/Apr/2017 14:47:23 +0800] access INFO 10.1.124.19 hue - "GET /jobbrowser/ HTTP/1.1"[17/Apr/2017 14:48:20 +0800] access INFO 10.1.124.19 hue - "GET /jobbrowser/ HTTP/1.1"[17/Apr/2017 14:49:20 +0800] access INFO 10.1.124.19 hue - "GET /jobbrowser/ HTTP/1.1"
使用浏览器自带的工具web开发者->网络 监控流量:
解决jobbrowser刷流量的问题:
修改$HUE_HOME/desktop/core/src/desktop/templates/common_header.mako,禁止掉自动刷新
% if ‘jobbrowser‘ in apps: var JB_CHECK_INTERVAL_IN_MILLIS = 30000; ##Disable get jobs info recursively ##var checkJobBrowserStatusIdx = window.setTimeout(checkJobBrowserStatus, 10);
ps: 这个文件是如何找到的:查看页面源码,根据网络监控的url定位到源码,然后根据相关代码在项目的源码中搜索到:
二. 【js & css缓存】
先来看看每次打开hue的hive-editor刷新的流量有多少:
几百个js,一堆css和一些html,其中有很多大的Js,一个就有几百K,其中Js占流量的绝大多数,基本都没有缓存。解决的目标就是把没缓存的静态内容都缓存到用户浏览器上,这样第一次打开页面时下载一次,以后访问、刷新页面就不用重复从hue服务器上下载,只要在缓存有效期内即可,这样每次网络传输量小,刷新页面速度也快,hue服务器压力也小。
解决方案:
参考:Using NGINX to speed up Hue | Hue - Hadoop User Experience - The Apache Hadoop UI 。其实现原理就是增加一层nginx作为静态文件缓存服务器,nginx可为每个静态内容的http请求设置缓存策略和有效期。
添加nginx前&后的header对比:使用nginx后主要添加了Cache-Control:public 和 etag.
实现此方案后,每次刷新hive->editor页面只需70多K的流量。
ps: 关于浏览器缓存的几个设置:expire, etag, last-modified, cache-control, max-age的作用和关系,这篇文章讲得很透彻:浏览器缓存详解:expires,cache-control,last-modified,etag详细说明 - eros的linux平台技术资料库 - 博客频道 - CSDN.NET
hue耗流量优化
声明:以上内容来自用户投稿及互联网公开渠道收集整理发布,本网站不拥有所有权,未作人工编辑处理,也不承担相关法律责任,若内容有误或涉及侵权可进行投诉: 投诉/举报 工作人员会在5个工作日内联系你,一经查实,本站将立刻删除涉嫌侵权内容。