首页 > 代码库 > 大数据处理之道 (MATLAB 篇)
大数据处理之道 (MATLAB 篇)
一:起因
(1)最近一直在处理大数据,从MB ----> GB的变化,是一次质的飞跃,相应的工具也在变 从widows到linux,从单机单核 到 hadoop多节点的计算
(2)问题来了,面对海量的数据,如何从中挖掘实用的信息或者发现潜在的现象,可视化工具可能是必不可少的 ;
(3)可视化工具可以说百度一大篇,可是作为研究者的我们,程序猿的我们可能更希望能够抽象出一种数学模型,对现实的现象进行非常好的描述和刻画
(4)Python(数据清洗和处理) + MATLAB(模型分析) 或 c++/java/hadoop(数据清洗和处理) + MATLAB(模型分析)
(5)先前的一篇博文可以参考 c++ fstream + string 处理大数据
二:MATLAB 学习
(1)伽马分布(gamfit)
clc clear all close all dataall = load('G:\zyp_thanks\metro_test\1-07\529_2.csv'); data = http://www.mamicode.com/dataall(:,3);%指定列>
(2)MATALAB 下 .m 文件的命名% 错误提示:
%Attempt to execute SCRIPT *** as a function 在运行MATLAB程序的时候,出现如题的报错。
% 原因:
% 在系统中,现有的.m文件有的与***函数重名,所以matlab编译器不知道在遇到***的时候到底该执行哪一个函数。
% 例如:我编写了一个.m文件,命名为:fft2.m.用于实现通过频域分析提取图像的纹理特征。
% 当命令执行到X=fft2(ImageM)这句话的时候,不知道fft2是指系统函数还是自定义的纹理特征提取函数。% 解决:
% 把自定义的函数名改成其他名字。如上例中的fft2改为ffttexture.m?(3)pdf 和 cdf函数的说明、
Probability density function(PDF) 概率密度函数;
cumulative distribution function ; CDF 是累积分布函数
(4)正态分布(normpdf normcdf)
clc clear all close all dataall = load('G:\zyp_thanks\metro_test\1-07\529_2.csv'); data = http://www.mamicode.com/dataall(:,3);%指定列>
(5) quantile - quantile plot (Q-Q plot)clc clear all close all dataall = load('G:\zyp_thanks\metro_test\1-07\529_2.csv'); data = http://www.mamicode.com/dataall(:,3);%指定列>大数据处理之道 (MATLAB 篇)