本文目录一览：
- 1、大数据如何入门
- 2、如何使用playframework连接MySQL数据库
- 3、scala的SQL数据库框架怎么用比较好
- 4、大数据要学哪些课程？
- 5、大数据开发怎么学习
- 6、scala变量能初始化为null吗
大数据如何入门
首先我们要了解Java语言和Linux操作系统，这两个是学习大数据的基础，学习的顺序不分前后。
大数据
Java ：只要了解一些基础即可，做大数据不需要很深的Java 技术，学java SE 就相当于有学习大数据基础。
Linux：因为大数据相关软件都是在Linux上运行的，所以Linux要学习的扎实一些，学好Linux对你快速掌握大数据相关技术会有很大的帮助，能让你更好的理解hadoop、hive、hbase、spark等大数据软件的运行环境和网络环境配置，能少踩很多坑，学会shell就能看懂脚本这样能更容易理解和配置大数据集群。还能让你对以后新出的大数据技术学习起来更快。
Hadoop：这是现在流行的大数据处理平台几乎已经成为大数据的代名词，所以这个是必学的。Hadoop里面包括几个组件HDFS、MapReduce和YARN，HDFS是存储数据的地方就像我们电脑的硬盘一样文件都存储在这个上面，MapReduce是对数据进行处理计算的，它有个特点就是不管多大的数据只要给它时间它就能把数据跑完，但是时间可能不是很快所以它叫数据的批处理。
Zookeeper：这是个万金油，安装Hadoop的HA的时候就会用到它，以后的Hbase也会用到它。它一般用来存放一些相互协作的信息，这些信息比较小一般不会超过1M，都是使用它的软件对它有依赖，对于我们个人来讲只需要把它安装正确，让它正常的run起来就可以了。
Mysql：我们学习完大数据的处理了，接下来学习学习小数据的处理工具mysql数据库，因为一会装hive的时候要用到，mysql需要掌握到什么层度那?你能在Linux上把它安装好，运行起来，会配置简单的权限，修改root的密码，创建数据库。这里主要的是学习SQL的语法，因为hive的语法和这个非常相似。
Sqoop：这个是用于把Mysql里的数据导入到Hadoop里的。当然你也可以不用这个，直接把Mysql数据表导出成文件再放到HDFS上也是一样的，当然生产环境中使用要注意Mysql的压力。
Hive：这个东西对于会SQL语法的来说就是神器，它能让你处理大数据变的很简单，不会再费劲的编写MapReduce程序。有的人说Pig那?它和Pig差不多掌握一个就可以了。
Oozie：既然学会Hive了，我相信你一定需要这个东西，它可以帮你管理你的Hive或者MapReduce、Spark脚本，还能检查你的程序是否执行正确，出错了给你发报警并能帮你重试程序，最重要的是还能帮你配置任务的依赖关系。我相信你一定会喜欢上它的，不然你看着那一大堆脚本，和密密麻麻的crond是不是有种想屎的感觉。
Hbase：这是Hadoop生态体系中的NOSQL数据库，他的数据是按照key和value的形式存储的并且key是唯一的，所以它能用来做数据的排重，它与MYSQL相比能存储的数据量大很多。所以他常被用于大数据处理完成之后的存储目的地。
Kafka：这是个比较好用的队列工具，队列是干吗的?排队买票你知道不?数据多了同样也需要排队处理，这样与你协作的其它同学不会叫起来，你干吗给我这么多的数据(比如好几百G的文件)我怎么处理得过来，你别怪他因为他不是搞大数据的，你可以跟他讲我把数据放在队列里你使用的时候一个个拿，这样他就不在抱怨了马上灰流流的去优化他的程序去了，因为处理不过来就是他的事情。而不是你给的问题。当然我们也可以利用这个工具来做线上实时数据的入库或入HDFS，这时你可以与一个叫Flume的工具配合使用，它是专门用来提供对数据进行简单处理，并写到各种数据接受方(比如Kafka)的。
Spark：它是用来弥补基于MapReduce处理数据速度上的缺点，它的特点是把数据装载到内存中计算而不是去读慢的要死进化还特别慢的硬盘。特别适合做迭代运算，所以算法流们特别稀饭它。它是用scala编写的。Java语言或者Scala都可以操作它，因为它们都是用JVM的。
如何使用playframework连接MySQL数据库
1、首先创建一个工程，名字为：HelloWorld；
不建议用IDE创建，因为现在IntelliJ idea和Eclipse做的Scala插件还不够好用，开发中会出现很多问题，建议用typeSafe魔板创建。
2、打开工程的bulid.sbt文件；加上这么一句：
3、然后将mysql的驱动也加上
在sbt中加入了新的依赖以后，一定要记得refresh一下，这样sbt才能将新加的东西加入。
4、接下来，我们打开conf/application.conf文件，
将自己的数据库链接信息添上去。
注意，如果想链接多个数据源，只需要修改“db.default.driver”就可以，注意“db.default.driver”中“default”是数据源的名字，可以修改。例如，你想创建一个“abc”数据源，就可以写成“db.abc.driver”
，在代码中获取数据源的时候，就写成DB.getDataSource("abc")，如果想获取默认数据源（default），可以直接写成DB.getDataSource()，因为：
这是源码，显而易见了吧。而且通过源码，可以知道，play用的数据库链接池是BoneCP，这是一个很棒的数据库连接池，比DBCP和C3P0要快很多，但是没有HikariCP快，BoneCP的官方文档是这么说的：“It beats older connection pools such as C3P0 and DBCP but should now be considered deprecated in favour of HikariCP”不知道play以后会不会使用HikariCP作为数据库连接池。而且，play的数据库连接池是写死的，没法通过application.conf扩展数据库连接池（可以用其他途径扩展，如自己在sbt中依赖数据库连接池，然后不通过配置文件，用数据库本身的方法来获取数据源实现连接。），个人感觉应该改良一下。
scala的SQL数据库框架怎么用比较好
以下是Twitter所使用的开源项目，简要浏览之后，我觉得是一个很好的关于分布式架构，大数据，异步网络传输（客户端，服务端）学习的list，做个备份，以便后用。
1. 分析和搜索服务
Twitter的搜索服务每天支持超过10亿次的查询，其背后的开源项目包括：
Apache Cassandra：一套分布式NoSQL数据库系统，以Amazon专有的完全分布式的Dynamo为基础，结合了Google BigTable基于列族（Column Family）的数据模型，是一个网络社交云计算方面理想的数据库。该项目最初由Facebook开发，于2008开源并捐赠给Apache基金会。
Apache Hadoop：由Apache基金会所开发的分布式系统基础架构，可使应用程序充分利用集群的威力高速运算和存储，用户可以在不了解分布式底层细节的情况下，开发分布式程序。
Apache Lucene：一个全文检索引擎工具包，目的是为软件开发人员提供一个简单易用的工具包，以方便的在目标系统中实现全文检索的功能，或者是以此为基础建立起完整的全文检索引擎。
Apache Pig：一个基于Hadoop的大规模数据分析平台，它提供的类SQL语言称为Pig Latin，该语言的编译器会把类SQL的数据分析请求转换为一系列经过优化处理的MapReduce运算。Pig为复杂的海量数据并行计算提供了一个简单的操作和编程接口。
2. 服务器和存储
Twitter需要将每天用户发送的推文存储到数据库，并推送给其他相关的用户。该过程用到的开源项目包括：
Linux：主要用于Twitter服务器。
Memcached：主要用于Twitter的缓存基础设施，作用是加速动态Web应用程序，减轻数据库负载。
Mysql：流行的开源关系型数据库，被Twitter大量用于存储Twitter消息。
Node.js：一套用来编写高性能网络服务器的JavaScript工具包，在Twitter中用于队列处理（接收推文并写入数据库），使服务器能处理每个连接而不会阻塞通道。
3. Twitter工程师的工具箱
Apache Subversion：开源的版本控制系统
Git：一个分布式的版本控制系统
Eclipse：大名鼎鼎的Java IDE。
Gerrit：一个基于Web的代码评审和项目管理的工具，主要面向基于Git版本控制系统的项目
Jenkins：一个持续集成引擎，主要用于持续、自动地构建/测试软件项目，以及监控一些定时执行的任务
RSpec：一个BDD 测试工具
4. Twitter背后的编程语言和框架
OpenJDK：Java的开源版本。Twitter陆续将一些项目从Rails迁移到了Java。
Python：一种高效的动态解释型Web编程语言。
Ruby和Ruby on Rails：Twitter最初主要由Ruby和Rails开发。
Scala：Twitter使用的主要应用编程语言之一，很多Twitter的基础架构都是用Scala编写。
Clojure：Clojure是一种运行在Java平台上的Lisp方言，在任何具备Java虚拟机的地方，都可以利用Lisp的强大功能。Twitter的大数据处理系统Storm就是基于Clojure。
Drupal：使用PHP语言编写的开源内容管理框架（CMF），由内容管理系统（CMS）和PHP开发框架共同构成。Twitter的开发者社区基于Drupal构建。
Sinatra：一个轻量、快速的Ruby开发框架。
5. Twitter的前端解决方案
jQuery：全球使用最广泛的JavaScript框架。
Less：一个使用广泛的CSS预处理器，通过简单的语法和变量对CSS进行扩展,可减少很多CSS的代码量。
MooTools：一个简洁、模块化、面向对象的开源JavaScript框架，为开发者提供了一个跨浏览器的JS解决方案
Zepto.js：一个轻量级的Javascript框架，主要用于移动开发
6. Twitter服务开发框架
TwistedMatrix：一个Python 框架，用来开发非阻塞异步的网络服务和应用程序。
Netty：一个异步的、事件驱动的Web应用框架和工具，用于快速开发高性能、高可靠性的网络服务器和客户端程序。Netty目前作为Twitter的核心队列Kestrel的通信模块。
Apache Thrift：一个由Facebook开源的远程服务调用框架，采用接口描述语言定义并创建服务，支持可扩展的跨语言服务开发，所包含的代码生成引擎可以在多种语言中创建高效的、无缝的服务。
Important remarks: Thrift 这篇文章对Thrift做了综合性的介绍，值得我思考的是这篇文章：“Thrift与其他框架的比较”，以前对于分布式系统中的服务开发框架，我一直在想为什么不用rest或者webservice来进行通讯？而主流的却是选择RPC？ 文章用图表来展示了Thrift在网络传输性能上与rest-jason，xml的优势。所以，是不是可以这样理解：Thrift从协议的定义上就使用了高效压缩数据格式TCompactProtocol（就算不用压缩，只用TBinaryProtocol 二进制流的数据格式，其传输性能也高于jason和xml），从而避免了传输，序列化jason或者xml 造成的代价。
Twitter公司所开源的项目
Twitter从开源社区中获得了大量的好处，而Twitter也在不断地回馈社区，开源了大量基础设施和工具，使得其他企业和开发者不必重新发明轮子，在这些开源项目的基础上更加快速地实现自己所需。
1. 大数据处理
scalding：一个用于Cascading的Scala API。Cascading是一个构建于Hadoop上的API，用来创建复杂和容错数据处理工作流，它抽象了集群拓扑结构和配置，允许开发者快速开发复杂分布式的应用，而不用考虑背后的MapReduce。
summingbird：允许开发者以类似于本地Scala或Java的方式编写MapReduce程序，并在大部分著名的分布式MapReduce平台（包括Storm和Scalding）中执行它们。
2. 前端项目
Bootstrap：一个用于前端开发的工具包，包含了基本的CSS、HTML组件，包括排版、表单、按钮、表格、网格、导航等。
TwUI：针对Mac平台的、支持硬件加速的UI框架，受到了UIKit的启发。
typeahead.js：一个快速、全功能的自动完成库
hogan.js：一个Mustache模板语言的编译器
3. 后端服务
Twitter Mysql：Twitter的MySQL分支
Parquet：一种Twitter内部供Hadoop使用的列式存储格式，为Hadoop生态系统中的所有项目提供支持高效率压缩的列式数据表达，而且与数据处理框架、数据模型或编程语言无关。
Finagle：一个允许开发者使用Java、Scala或其他JVM语言来构建异步RPC服务器和客户端的库，主要用于Twitter的后端服务。
iago：一个负载生成器，用来在产品正式发布前做流量负载测试。
twemproxy：一个快速、轻量级的memcached和redis代理服务器
zipkin：一个分布式的跟踪系统。在Twitter中用于收集各个服务上的监控数据，并提供查询接口。
4. Twitter基础设施通用库
commons：Twitter的Python、JVM公共库
util：Twitter的一些可重用的代码库
cassovary：一个基于JVM的简单的大图形处理库
大数据要学哪些课程？
《大数据实训课程资料》百度网盘资源免费下载
链接:
?pwd=zxcv 提取码:zxcv
大数据实训课程资料|云计算与虚拟化课程资源|课程实验指导书综合版|机器学习与算法分析课程资源|Spark课程资源|Python课程资源|Hadoop技术课程资源|云计算课程资料.zip|微课.zip|算法建模与程序示例.zip|spark课程资源.zip|hadoop课程资源.zip|实验指导书|教学视频|教学PPT
大数据开发怎么学习
按照下面五个阶段开始学习，循序渐进!
阶段一、大数据基础——java语言基础方面
(1)Java语言基础
Java开发介绍、熟悉Eclipse开发工具、Java语言基础、Java流程控制、Java字符串、Java数组与类和对象、数字处理类与核心技术、I/O与反射、多线程、Swing程序与集合类
需要大数据学习教程，关注我主页有资料
(2) HTML、CSS与JavaScript
PC端网站布局、HTML5+CSS3基础、WebApp页面布局、原生JavaScript交互功能开发、Ajax异步交互、jQuery应用
(3)JavaWeb和数据库
数据库、JavaWeb开发核心、JavaWeb开发内幕
阶段二、 LinuxHadoop生态体系
Linux体系、Hadoop离线计算大纲、分布式数据库Hbase、数据仓库Hive、数据迁移工具Sqoop、Flume分布式日志框架
阶段三、 分布式计算框架和SparkStrom生态体系
(1)分布式计算框架
Python编程语言、Scala编程语言、Spark大数据处理、Spark—Streaming大数据处理、Spark—Mlib机器学习、Spark—GraphX 图计算、实战一：基于Spark的推荐系统(某一线公司真实项目)、实战二：新浪网()
(2)storm技术架构体系
Storm原理与基础、消息队列kafka、Redis工具、zookeeper详解、实战一：日志告警系统项目、实战二：猜你喜欢推荐系统实战
阶段四、 大数据项目实战(一线公司真实项目)
数据获取、数据处理、数据分析、数据展现、数据应用
阶段五、 大数据分析 —AI(人工智能)
Data Analyze工作环境准备数据分析基础、数据可视化、Python机器学习
1、Python机器学习2、图像识别神经网络、自然语言处理社交网络处理、实战项目：户外设备识别分析
以上就是分享的大数据自学课程，祝愿每一位小伙伴都能成为真正的大数据技术人才!
学习大数据，就来北京尚学堂，多年的大数据授课经验，扎实的课程理论助你在大数据方面快人一步。
scala变量能初始化为null吗
scala变量能初始化为null
?php
/*
* 配置连接数据库信息
*/
$host='localhost';//主机
$user='root';//数据库账号
$password='';//数据库密码
$database='test';//数据库名
//打开数据库连接
$db=mysqli_connect($host,$user,$password,$database);
//判断连接是否成功
if($db){
$db-query("set names utf8");//设置UTF-8编码(JSON的唯一编码)
}else{
echo 'DATABASE_CONNECTION_DIE';//数据库连接失败
exit;
}
//sql查询语句
$sql="select id,name,sex,age from person";
$result=$db-query($sql);
while($row=$result-fetch_assoc()){
$person_info[]=$row;//将取得的所有数据赋值给person_info数组
}
echo json_encode($person_info);//输出JSON
?
