首页 > 代码库 > 14周事情总结-机器人-大数据hadoop

14周事情总结-机器人-大数据hadoop

  14周随着考试的进行,其他该准备的事情也在并行的处理着,考试内容这里不赘述了

  首先说下,关于机器人大赛的事情,受益颇多,机器人的制作需要机械和电控两方面

  昨天参与舵机的测试,遇到的问题:舵机不动

  排查顺序:1.程序(不过程序比较简单)不是这上面的问题

       2.检查电路问题(电路设计,线比较脆弱,焊接的也不是很好,最主要不知道板子的完整性)

       3.加了块电源可以动舵机了,但之后实验出现莫名的问题

       4.最终解决办法:改变线,将舵机的线又连接杜邦线(12)

  ------------------------------------------------------------------------------------------------------------  

  接着说下大数据hadoop(在墓课上看的视频)

  大数据平台搭建 看教程前要统筹兼顾,分析不同教程

  慕克网 hadoop基础课程

  1.获取linux环境 1)vware 2)租用云主机 阿里云 UnitedStack 租用后利用putty链接
  2.安装jdk 下载安装jdk 设置环境变量 java_home jre_home classpath path 然后生效source (echo 观察java_home)
  3.配置hadoop wget 配置conf
  jps查看谁在运行

  谷歌大数据技术 (分布式存储) 利用pc机
  1.MapReduce 分布式计算
  2.BigTab
  3.GFS
  谷歌不开源->模仿谷歌大数据:hadoop(开源的分布式存储和计算)PB级
  优势:高扩展,低成本,廉价pc机堆叠,hadoop生态圈(hive-sql,hbase,zookeeper)
  version 1.2稳定

  1 HDFS 文件系统 存储海量数据
  1.1 NameNode管理节点 DataNode数据节点 数据块放置(block)
  1.2 数据副本 心跳检测
  2 mapreduce 框架(并行)分解任务和调度
  2.1 原理 map(大任务-小任务),reduce(并行执行后,合并结果)
  例子(100GB的网页,找出使用最多的ip)1.日志切分2.统计IP出现次数3.中间结果合并4.排序
  2.2 Job task JobTracker(1.作业调度2.分配监控Job3.监控TaskTracker) TaskTracker(执行任务,汇报任务状态)

  待补充

  -------------------------------------------------------------------------------------------------------------------------

  接下来目标:课程设计提前做完,准备签证材料(英语+材料),体检

14周事情总结-机器人-大数据hadoop