首页 > 代码库 > 大数据处理之道 (MATLAB 篇)

大数据处理之道 (MATLAB 篇)

一:起因

(1)最近一直在处理大数据,从MB ----> GB的变化,是一次质的飞跃,相应的工具也在变 从widows到linux,从单机单核 到 hadoop多节点的计算

(2)问题来了,面对海量的数据,如何从中挖掘实用的信息或者发现潜在的现象,可视化工具可能是必不可少的 ;

(3)可视化工具可以说百度一大篇,可是作为研究者的我们,程序猿的我们可能更希望能够抽象出一种数学模型,对现实的现象进行非常好的描述和刻画

(4)Python(数据清洗和处理) + MATLAB(模型分析) 或 c++/java/hadoop(数据清洗和处理) + MATLAB(模型分析

(5)先前的一篇博文可以参考   c++ fstream + string 处理大数据

二:MATLAB 学习

(1)伽马分布(gamfit)

clc
clear all
close all
dataall = load('G:\zyp_thanks\metro_test\1-07\529_2.csv');
data = http://www.mamicode.com/dataall(:,3);%指定列>
(2)MATALAB 下 .m 文件的命名

% 错误提示:

%Attempt to execute SCRIPT *** as a function     在运行MATLAB程序的时候,出现如题的报错。

% 原因:
% 在系统中,现有的.m文件有的与***函数重名,所以matlab编译器不知道在遇到***的时候到底该执行哪一个函数。
% 例如:我编写了一个.m文件,命名为:fft2.m.用于实现通过频域分析提取图像的纹理特征。
% 当命令执行到X=fft2(ImageM)这句话的时候,不知道fft2是指系统函数还是自定义的纹理特征提取函数。

% 解决:
% 把自定义的函数名改成其他名字。如上例中的fft2改为ffttexture.m?

(3)pdf 和 cdf函数的说明、

Probability density function(PDF) 概率密度函数; 

cumulative distribution function ; CDF 是累积分布函数

(4)正态分布(normpdf normcdf)

clc
clear all
close all
dataall = load('G:\zyp_thanks\metro_test\1-07\529_2.csv');
data = http://www.mamicode.com/dataall(:,3);%指定列>
(5) quantile - quantile plot (Q-Q plot)

clc
clear all
close all
dataall = load('G:\zyp_thanks\metro_test\1-07\529_2.csv');
data = http://www.mamicode.com/dataall(:,3);%指定列>

大数据处理之道 (MATLAB 篇)