数据分析学习心得(兼谈相关工具)

转眼间实习已去一月，之前因为工作原因需要恶补大量的专业知识并加以练习，所以一直抽不开身静下心来好好整理一下学习的成果。如今，模型的建立已经完成，剩下的就是枯燥的参数调整工作。在这之前就先对这段时间的数据处理工作得到的经验做个小总结吧。

从我个人的理解来看，数据分析工作，在绝大部分情况下的目的在于用统计学的手段揭示数据所呈现的一些有用的信息，比如事物的发展趋势和规律;又或者是去定位某种或某些现象的原因;也可以是检验某种假设是否正确(心智模型的验证)。因此，数据分析工作常常用来支持决策的制定。

现代统计学已经提供了相当丰富的数据处理手段，但统计学的局限性在于，它只是在统计的层面上解释数据所包含的信息，并不能从数据上得到原理上的结果。也就是说统计学并不能解释为什么数据是个样子，只能告诉我们数据展示给了我们什么。因此，统计学无法揭示系统性风险，这也是我们在利用统计学作为数据处理工具的时候需要注意的一点。数据挖掘也是这个道理。因为数据挖掘的原理大多也是基于统计学的理论，因此所挖掘出的信息并不一定具有普适性。所以，在决策制定上，利用统计结果+专业知识解释才是最保险的办法。然而，在很多时候，统计结果并不能用已有的知识解释其原理，而统计结果又确实展示出某种或某些稳定的趋势。为了抓住宝贵的机会，信任统计结果，仅仅依据统计分析结果来进行决策也是很普遍的事情，只不过要付出的代价便是承受系统环境的变化所带来的风险。

用于数据分析的工具很多，从最简单的Office组件中的Excel到专业软件R、Matlab，功能从简单到复杂，可以满足各种需求。在这里只能是对我自己实际使用的感受做一个总结。

Excel：这个软件大多数人应该都是比较熟悉的。Excel满足了绝大部分办公制表的需求，同时也拥有相当优秀的数据处理能力。其自带的ToolPak(分析工具库)和Solver(规划求解加载项)可以完成基本描述统计、方差分析、统计检验、傅立叶分析、线性回归分析和线性规划求解工作。这些功能在Excel中没有默认打开，需要在Excel选项中手动开启。除此以外，Excel也提供较为常用的统计图形绘制功能。这些功能涵盖了基本的统计分析手段，已经能够满足绝大部分数据分析工作的需求，同时也提供相当友好的操作界面，对于具备基本统计学理论的用户来说是十分容易上手的。

SPSS：原名Statistical Package for the Social Sciences(社会科学统计软件包)，现在已被IBM收购，改名后仍然是叫SPSS，不过全称变更为Statistical Product and Service Solutions(统计产品与服务解决方案)。SPSS是一个专业的统计分析软件。除了基本的统计分析功能之外，还提供非线性回归、聚类分析(Clustering)、主成份分析(PCA)和基本的时序分析。SPSS在某种程度上可以进行简单的数据挖掘工作，比如K-Means聚类，不过数据挖掘的主要工作一般都是使用其自家的Clementine(现已改名为SPSS Modeler)完成。需要提一点的是SPSS Modeler的建模功能非常强大且智能化，同时还可以通过其自身的CLEF(Clementine Extension Framework)框架和Java开发新的建模插件，扩展性相当好，是一个不错的商业BI方案。

R：R是一个开源的分析软件，也是分析能力不亚于SPSS和Matlab等商业软件的轻量级(仅指其占用空间极小，功能却是重量级的)分析工具。官网地址：www.r-project.org。R支持Windows、Linux和Mac OS系统，对于用户来说非常方便。R和Matlab都是通过命令行来进行操作，这一点和适合有编程背景或喜好的数据分析人员。R的官方包中已经自带有相当丰富的分析命令和函数以及主要的作图工具。但R最大的优点在于其超强的扩展性，可以通过下载扩展包来扩展其分析功能，并且这些扩展包也是开源的。R社区拥有一群非常热心的贡献者，这使得R的分析功能一直都很丰富。R也是我目前在工作中分析数据使用的主力工具。虽然工作中要求用Matlab编程生成结果，但是实际分析的时候我基本都是用R来做的。因为在语法方面，R比Matlab要更加自然一些。但是R的循环效率似乎并不是太高。

Matlab：也是一个商业软件，从名称上就可以看出是为数学服务的。Matlab的计算主要基于矩阵。功能上是没话说，涵盖了生物统计、信号处理、金融数据分析等一系列领域，是一个功能很强大的数学计算工具。是的，是数学计算工具，这东西的统计功能只不过是它的一部分，这东西体积也不小，吃掉我近3个G的空间。对于我来说，Matlab是一个过于强大的工具，很多功能是用不上的。当然，我也才刚刚上手而已，才刚刚搞明白怎么用这个怪物做最简单的Garch(1,1)模型。但毫无疑问，Matlab基本上能满足各领域计算方面的需求。

以上这些软件算是主流了，数据分析软件远不止这些，还有Eviews、S-plus等工具，因为没用过，所以也就不说了。

via:微信公众号 SOTON数据分析

End.

转载请注明来自36大数据（36dsj.com)：36大数据 » 数据分析学习心得(兼谈相关工具)