怎么学习大数据

发布时间:2020-12-31 18:40:23

怎么学习大数据,这个问题也是很多人都想了解的问题,课考拉为大家搜集整理以下内容。

该如何学习大数据知识?

  一、数据分析师有哪些要求?

  1、理论要求及对数字的敏感性,包括统计知识、市场研究、模型原理等。

  2、工具使用,包括挖掘工具、数据库、常用办公软件(excel、PPT、word、脑图)等。

  3、业务理解能力和对商业的敏感性。对商业及产品要有深刻的理解,因为数据分析的出发点就是要解决商业的问题,只有理解了商业问题,才能转换成数据分析的问题,从而满足部门的要求。

  4、汇报和图表展现能力。这是临门一脚,做得再好的分析模型,如果不能很好地展示给领导和客户,成效就大打折扣,也会影响到数据分析师的职业晋升。

  二、请把数据分析作为一种能力来培养

  从广义来说,现在大多数的工作都需要用到分析能力,特别是数据化运营理念深入的今天,像BAT这样的公司强调全员参与数据化运营,所以,把它作为一种能力培训,将会让你终生受益。

  三、从数据分析的四个步骤来看清数据分析师需具备的能力和知识:

  数据分析的四个步骤(这有别于数据挖掘流程:商业理解、数据理解、数据准备、模型搭建、模型评估、模型部署),是从更宏观地展示数据分析的过程:获取数据、处理数据、分析数据、呈现数据。

  (一) 获取数据

  获取数据的前提是对商业问题的理解,把商业问题转化成数据问题,要通过现象发现本质,确定从哪些纬度来分析问题,界定问题后,进行数据的采集。此环节,需要数据分析师具备结构化的思维和对商业问题的理解能力。

  推荐书籍:《金字塔原理》、麦肯锡三部曲:《麦肯锡意识》、《麦肯锡工具》、《麦肯锡方法》

  工具:思维导图、mindmanager软件

  (二) 处理数据

  一个数据分析项目,通常数据处理时间占70%以上,使用先进的工具有利于提升效率,所以尽量学习最新最有效的处理工具,以下介绍的是最传统的,但却很有效率的工具:

  Excel:日常在做通报、报告和抽样分析中经常用到,其图表功能很强大,处理10万级别的数据很轻松。

  UltraEdit:文本工具,比TXT工具好用,打开和运行速度都比较快。

  ACCESS:桌面数据库,主要是用于日常的抽样分析(做全量统计分析,消耗资源和时间较多,通常分析师会随机抽取部分数据进行分析),使用SQL语言,处理100万级别的数据还是很快捷。

  Orcle、SQL sever:处理千万级别的数据需要用到这两类数据库。

  当然,在自己能力和时间允许的情况下,学习新流行的分布式数据库及提升自身的编程能力,对未来的职业发展也有很大帮助。

  分析软件主要推荐:

  SPSS系列:老牌的统计分析软件,SPSS Statistics(偏统计功能、市场研究)、SPSS Modeler(偏数据挖掘),不用编程,易学。

  SAS:老牌经典挖掘软件,需要编程。

  R:开源软件,新流行,对非结构化数据处理效率上更高,需编程。

  随着文本挖掘技术进一步发展,对非结构化数据的分析需求也越来越大,需要进一步关注文本挖掘工具的使用。

  (三) 分析数据

  分析数据,需要用到各类的模型,包括关联规则、聚类、分类、预测模型等,其中一个最重要的思想是对比,任何的数据需要在参照系下进行对比,结论才有意义。

  推荐的书籍:

  1、《数据挖掘与数据化运营实战,思路、方法、技巧与应用》,卢辉着,机械出版社。这本书是近年国内写得最好的,务必把它当作圣经一样来读。

  2、《谁说菜鸟不会数据分析(入门篇)》和《谁说菜鸟不会数据分析(工具篇)》,张文霖等编着。属于入门级的书,适合初学者。

  3、《统计学》第五版,贾俊平等编着,中国人民大学出版社。比较好的一本统计学的书。

  4、《数据挖掘导论》完整版,[美]Pang-Ning Tan等着,范明等翻译,人民邮电出版社。

  5、《数据挖掘概念与技术》,Jiawei Han等着,范明等翻译,机械工业出版社。这本书相对难一些。

  6、《市场研究定量分析方法与应用》,简明等编着,中国人民大学出版社。

  7、《问卷统计分析实务—SPSS操作与应用》,吴明隆着,重庆大学出版社。在市场调查领域比较出名的一本书,对问卷调查数据分析讲解比较详细。

  (四) 呈现数据

  该部分需要把数据结果进行有效的呈现和演讲汇报,需要用到金字塔原理、图表及PPT、word的呈现,培养良好的演讲能力。

想自学大数据,要从哪方面入手呢?

这是一个非常好的问题,也是很多人比较关心的问题之一,作为一名IT从业者,我来回答一下。

首先,大数据的知识体系还是比较庞大的,学习的初期是完全可以自学的,但是在入门之后,要想深入学习大数据,往往还需要场景的支撑,此时结合岗位任务来进行提升是更好的选择,也是比较现实的选择。

从技术体系结构来看,当前大数据的技术体系结构已经比较成熟了,初学者按照三个阶段来制定学习计划,其一是学习编程语言等基础知识,其二是学习大数据平台知识,其三是根据主攻方向来选择学习内容,比如大数据分析、大数据开发、大数据运维等等。

编程语言是学习大数据的基础,目前Python、Java、Scala、R等编程语言在大数据领域都有比较广泛的应用,在学习编程语言的过程中,也会同时学习操作系、网络和数据库等内容,掌握这些内容对于下一步的学习会有比较直接的影响。如果从就业的角度出发,当前可以重点考虑一下Java语言,虽然Python语言的上升趋势比较明显,但是在IT互联网行业内,Java语言的应用依然非常普遍。

大数据平台是一个重要的学习内容,初学者可以从开源大数据平台开始学起,比如Hadoop、Spark就是不错的选择,一方面这两个大数据平台的生态体系比较健全,不少商业大数据平台就是基于这两个平台构建的,另一方面是这两个平台的学习资料比较多,可以参考的学习案例也比较多。

最后,要根据自身的知识结构选择一个主攻方向,如果数学基础比较好,可以主攻大数据分析方向,此时可以继续学习机器学习知识,如果自身的开发能力比较强,可以主攻大数据开发方向,当前大数据开发岗位的人才招聘数量还是比较大的。

我从事互联网行业多年,目前也在带计算机专业的研究生,主要的研究方向集中在大数据和人工智能领域,我会陆续写一些关于互联网技术方面的文章,感兴趣的朋友可以关注我,相信一定会有所收获。

如果有互联网、大数据、人工智能等方面的问题,或者是考研方面的问题,都可以在评论区留言,或者私信我!

学习大数据需要什么基础?

根据目前市场发展情况来看,大数据学习是需要一定的编程基础的,现在比较主流的就是Java和python,但是在现实的工作中使用的大部分的还是Java编程的比较多一些,也就是现在很多大数据培训机构推出的Java+大数据开发培训课程,所以从这个方面来看的还是需要一些Java编程基础的。



不过,现在想要参加大数据培训学习的小伙伴有很多是没有编程基础的,多数是想要从其它行业转行到大数据的,那么这样没有编程基础的,能不能学习大数据呢?

对于零基础的学员也不需要担心自己没有Java或者的python相关的编程语言就学习不了大数据,这个培训机构也有专门针对零基础学员制定的大数据培训课程,前期先进行Java编程或者是python编程的一个基础学习,等掌握了一些相关必要的编程基础以后,在进行大数据专业技术的学习,这样一来就可以顺利进行大数据学习了。

所以在学习大数据的时候也一定要注意课程的安排,根据自己的情况和大数据培训机构的课程安排来进行考虑如何选择,如果是自己已经从事Java或者python相关开发工作多年,有一定的基础的,那么就没必要再去学习相关内容直接选择开始学习大数据技术即可,如果是零基础的学员那么就要选择有Java或者是python基础课程的进行学习。

以上就是小编对于“学习大数据需要什么基础?”这个问题的回答,希望能够帮助到大家,如果还有疑问可以留言进行交流。

你们认为自学大数据难吗?怎么学比较好呢?

我从2006年开始接触hadoop(大数据鼻祖),当时觉得这个东西很有前途,但工作内容与其无关,所以一直都是只看没学。

10年后,2016年,hadoop的小伙伴spark正在中国迅速萌芽发展、我也犹豫:

10年后,再学习大数据晚吗?但是我尝试了,再没有大数据知识,没有大数据团队的情况下,找领导要了10个工程师,一起从0开始学习,闭关半年,推出我们部门赖以转型的大数据产品。

2017年,我们11人团队,签单903万,人均订单80万。2017年我们团队很多工作了2,3年的普通院校小朋友出去求职,都是2,3万的base。

最近2年,大数据行业增速有所下降,但我们依然能保持人均60万/年左右的订单量(因为人才流失,团队大数据经验评价2年左右)。



我个人经验,自学点基础,然后找一个相关的工作,效果比闭门造车好多了

学大数据,都学习哪些内容,要学多久?

很多初学者在学习大数据之前往往都有这样一个疑问,那就是学习多久才能掌握相关的技术,达到就业岗位的要求?

要想知道类似问题的答案需要从多个角度来分析,大数据本身涉及到一系列围绕数据的相关技术,这些技术涉及到大数据平台技术、大数据开发技术、数据分析技术、数据呈现技术、数据采集整理技术等等,这些技术既有区别又有联系,相关技术也都有相对应的岗位,所以作为学习者来说应该选择一个细分方向来学习,而不能简单的说学习大数据。

目前大数据的相关岗位以大数据开发、大数据分析、大数据运维居多,所以就从这几个方面来简单的分析一下需要学习哪些知识,以及一个大致的学习周期。

大数据开发是基于大数据平台进行的功能性开发,学习可以分为三个阶段,分别是编程语言、大数据平台和案例开发。编程语言往往以学习Java、Python和Scala居多,通常情况下编程语言的学习是比较耗费时间的,按照历史经验来看,对于没有编程语言的人来说,入门编程语言大概需要3个月左右的时间。看一下同一个操作采用Python、Scala和Java编写的代码实现过程:

接着要学习一下如何搭建基础的大数据平台,这部分知识对于大数据开发人员来说并不是重点,但是基本的搭建过程是应该掌握的,搭建Hadoop平台和Spark平台往往也需要大量的实验,另外还需要掌握大数据平台的体系结构和功能组成,这部分的学习时间大概需要2个月左右。接着就是在大数据平台下进行项目开发了,这部分学习时间可长可短,一般完成一个综合性的大数据开发实验也需要1个月左右的时间,这样算下来,入门大数据开发大概需要6个月左右的时间。

大数据分析需要学习的内容与大数据开发有一定的区别,大数据分析需要学习各种分析算法以及各种数据分析软件的使用。另外,目前采用机器学习的方式进行大数据分析也是一种比较流行的做法。学习大数据分析也需要了解大数据平台的基础知识、算法知识、机器学习等内容,从学习周期上来说与大数据开发差不多,也需要6个月左右。学习数据分析往往需要具备一定的数学基础,否则需要补学的内容比较多,耗费的时间也比较长。

大数据运维则主要是学习大数据平台的搭建、组件部署、平台测试以及维护等方面的内容,大数据运维需要学习大量的软硬件知识,包括计算机网络知识。总的来说,学习的量也是比较大的,在时间上根据不同的基础可长可短,一般在3到6个月基本上能入门。

大数据是我的主要研究方向之一,目前我也在带大数据方向的研究生,我会陆续在头条写一些关于大数据方面的文章,感兴趣的朋友可以关注我,相信一定会有所收获。

如果有大数据方面的问题,也可以咨询我。

谢谢!

以上就是关于怎么学习大数据的详细介绍,更多与此有关的内容,请继续关注课考拉,希望本文对你有所帮助。

高中辅导机构推荐

简单学习网

简单学习网简单学习网是知名的中学辅导网站,提供高中学习机及高中视频资源,帮助全国中学生提高学习效率及成绩。

免费试听