首页 > 代码库 > 挨踢部落坐诊第五期:数据采集与前端运用

挨踢部落坐诊第五期:数据采集与前端运用

活动说明:挨踢部落是为核心开发者提供深度技术交流,解决开发需求,资源共享的服务社群。基于此社群,我们邀请了业界技术大咖对开发需求进行一对一突破,解除开发过程中的绊脚石。以最专业、最高效的答复为开发者解决开发难题。

话题关键词:大数据来源/数据安全/云计算/Linux

部落阵容:51CTO社群智囊团

面向对象:Java工程师、大数据开发工程师、IT运维、数据分析师

参与方式:加入51CTO开发者QQ交流群(群号370892523(已满)、请加312724475),有任何技术问题,在群里提问,或发给群主小官。

活动详情


 Android-小包-重庆:我有个疑问,大多盈利性质的商业公司和企业都不会轻易泄露自己的数据、建模方法和分析过程,那么大数据的来源是什么?

云计算-恩威-成都:数据的来源:1、自有用户的数据库;2、采集网络(爬虫);3、买数据接口或者购买数据;4、聚合数据API市场。四种常见的大数据的数据来源。

Android-小包-重庆:买数据接口或者购买数据,这个可能又要涉及到另一个问题,数据安全性。好像存在一个因果关系:要实现大数据的核心价值,第一步是通过“众包”的形式收集海量数据,第二步是通过大数据的技术途径进行“全量数据挖掘”,最后利用分析结果进行“资源优化配置”;但收集海量数据就得先解决数据安全性问题,才能进行“全量数据挖掘”,才有后续的发展。不知道理解得对不对?

云计算-恩威-成都:讲的好,每一步的语言都是精炼,提到点上。目前大数据还处于开始阶段,很多问题都还没有解决,安全性是任何行业的通病。

Java+李赛+郑州:输入法的数据收集么?像输入法,很多人的打字数据能不能算上大数据?

云计算-恩威-成都:大数据要经过处理分析才算的上是大数据,否则仅仅是大容量的二进制数据。例如这个,都是在输入基础之上经过提炼分析的结果。

技术分享

输入法

Java+李赛+郑州:大数据是Java的进阶么?

1>App-zee-重庆:算是Java一个方向吧。

2>云计算-恩威-成都:如果采用的是 Hadoop平台,那边无疑是Java语言又一场景的使用。

Java+李赛+郑州:在做大数据么?云计算是做哪些?有什么关系?

1>云计算-恩威-成都:云计算和大数据,应该是不分家的,因为大数据的分析离不开云计算的基础平台。

2>后端接口开发-刘声杰-成都:云计算和大数据是分不开,没有云计算,大数据永远只是数据,对我们没有任何价值。

Java-太阳-深圳:话说有人知道单元测试怎么写么?这样是不是证明装好了?

技术分享

Java-笨鸟先飞-北京参考这里>>

网络编程-付振华-武汉:请教下各位,我现在有个需求,在一个电脑上对上百个网站首页进行轮询打开,如果打不开就弹出提示,或者发邮件。有现成的软件实现这个功能么?

云计算-恩威-成都:URL的监控HTTP状态检测(200 ok)。

Java网编-海本无因-长沙:我是问HTML5在大数据里不是代替了Java?

1>PHP-Coeus-安徽:这两个在大数据上扯不上。H5是负责展示、动效,数据方面的处理还是看后台的。数据是五花肉,处理语言是材料,HTML5就是红烧肉出锅时候的葱花吧。HTML5和浏览器就像Java和JVM,分工不同罢了。随着HTML5的规范完善,本地存储、WebSocket、内存管理都已经做的很不错了。

2>架构师-崔一凡-北京:HTML5可以做报表,有用的,各种数据展示、报表,处理前,处理中,处理后。

3>网络编程-付振华-武汉:HTML不就是个表示语言吗,用来编网页游戏的也挺厉害的。但没有浏览器时它无法交互吧,基于浏览器就各种调试。Java程序只要有对应操作系统的JVM就能干活,内存回收机制也完善些吧。

App-zee-重庆:有用过Vue那个Mint UI的吗?mt-loadmore的加载更多嵌入到iframe在苹果的浏览器上面上拉有问题,有遇见过的没?

半吊子全栈工匠-曹洪伟-北京:很多IM 的提供商都提供了客服方案的,可以集成到自己的系统中来。

新人-菜鸟-苏州:问一下大佬,我如果要研究Linux,想通过乌班图入手,我是要看linux的书还是Ubuntu的书?半路出家搞IT要从哪里入手呢?linux和Unix不一样吧?

1>学习-JSON-重庆:看这个《UNIX环境高级编程》。

2>运维-华子-武汉:差不多,Linux门槛低,适合PC机折腾。

Java-气-北京:有没有人对Spring Data JPA有熟悉的吗?是一个趋势,最近在做。复杂查询还行,updata碰到坎上了,感觉SpringBoot慢慢要赶超SpringMvc。而SpringDataJpa技术是标配之一。希望大家可以看看,有问题一起交流。

Java-哈韩浪子-成都:SpringData做持久层的,个人感觉不好用啊,没有Hibernate好用。因为用了很久的Hibernate,所以不习惯其他的了。

Java-Derrick-北京:有谁在用Linux系统?个人用了一个Ubuntu17.0,主要是算法和设计模式 。

1>铲屎官-项目经理-北京:个人用,乌班图不错,企业级,红帽,等都挺好。

2>Java-气-北京:公司用centos比较好,和红帽一样。

您对这些解答方案是否仍有疑问?欢迎加51CTO开发者QQ交流群 312724475 讨论。

下期活动预告:6月8日

关键词:智能客服、Android权限、Java方法、App

活动回顾挨踢部落第一期:Spark离线分析维度

挨踢部落第二期:大数据在医疗领域的应用和实践

挨踢部落坐诊第三期:Python在大数据处理上的优势分析

挨踢部落故事汇第四期:Java消息队列的应用场景和作用


挨踢部落坐诊第五期:数据采集与前端运用