首页 > 代码库 > hadoop jetty的应用
hadoop jetty的应用
在hadoop中很多地方都用到了servlet,并且使用jetty作为servlet的容器来提供http的服务,其主要是通过org.apache.hadoop.http.HttpServer类实现的,HttpServer类是对Jetty的简单封装,通过调用HttpServer类的addServlet方法增加可以实现增加servlet到jetty的功能:
public void addServlet(String name, String pathSpec, Class<? extends HttpServlet> clazz) { //名称,url访问路径,处理类 addInternalServlet(name, pathSpec, clazz, false); addFilterPathMapping(pathSpec, webAppContext); }
默认在HttpServer的构造函数中,会调用addDefaultServlets添加需要增加的servlets:
public HttpServer(String name, String bindAddress, int port, boolean findPort, Configuration conf, AccessControlList adminsAcl, Connector connector, String[] pathSpecs) throws IOException { .... webAppContext = new WebAppContext(); webAppContext.setDisplayName(name); webAppContext.setContextPath( "/"); webAppContext.setWar(appDir + "/" + name); .... addDefaultServlets(); ....
启动addDefaultServlets定义了默认加载的servlet:
protected void addDefaultServlets() { // set up default servlets addServlet("stacks" , "/stacks" , StackServlet.class); addServlet("logLevel", "/logLevel", LogLevel.Servlet.class); addServlet("metrics", "/metrics", MetricsServlet.class); addServlet("jmx", "/jmx", JMXJsonServlet.class); addServlet("conf", "/conf", ConfServlet.class); }
hadoop在多个地方都用到了HttpServer这个类:
比如在org.apache.hadoop.hdfs.server.datanode.DataNode类中:
DataNode的构造函数--->startDataNode-->initDataXceiver+startInfoServer
其中startInfoServer就是调用HttpServer类启动jetty的:
private HttpServer infoServer = null; ... private void startInfoServer(Configuration conf) throws IOException { // create a servlet to serve full-file content InetSocketAddress infoSocAddr = DataNode.getInfoAddr(conf); String infoHost = infoSocAddr.getHostName(); int tmpInfoPort = infoSocAddr.getPort(); this.infoServer = (secureResources == null) ? new HttpServer("datanode", infoHost, tmpInfoPort, tmpInfoPort == 0, conf, new AccessControlList(conf.get(DFS_ADMIN, " "))) : new HttpServer("datanode", infoHost, tmpInfoPort, tmpInfoPort == 0, conf, new AccessControlList(conf.get(DFS_ADMIN, " ")), secureResources.getListener()); LOG.info("Opened info server at " + infoHost + ":" + tmpInfoPort); ..... this.infoServer.addInternalServlet(null, "/streamFile/*", StreamFile.class); //添加datanode专属的servlet this.infoServer.addInternalServlet(null, "/getFileChecksum/*", FileChecksumServlets.GetServlet.class); this.infoServer.setAttribute("datanode", this); this.infoServer.setAttribute(JspHelper.CURRENT_CONF, conf); this.infoServer.addServlet(null, "/blockScannerReport", DataBlockScanner.Servlet.class); if (WebHdfsFileSystem.isEnabled(conf, LOG)) { infoServer.addJerseyResourcePackage(DatanodeWebHdfsMethods.class .getPackage().getName() + ";" + Param.class.getPackage().getName(), WebHdfsFileSystem.PATH_PREFIX + "/*"); } this.infoServer.start(); }
小结如下:
1)HttpServer是对Jetty的简单封装
2)hadoop各个组件都会用到HttpServer,datanode/namenode,resourcemanager等
其主要功能有:Hadoop的内部状态显示,运行和管理
3)HttpServer的addDefaultServlets方法定义了通用的几个servlet(比如更改日志级别的servlet),在每个类中又会定义属于自己的servlet
本文出自 “菜光光的博客” 博客,请务必保留此出处http://caiguangguang.blog.51cto.com/1652935/1592799
hadoop jetty的应用
声明:以上内容来自用户投稿及互联网公开渠道收集整理发布,本网站不拥有所有权,未作人工编辑处理,也不承担相关法律责任,若内容有误或涉及侵权可进行投诉: 投诉/举报 工作人员会在5个工作日内联系你,一经查实,本站将立刻删除涉嫌侵权内容。