本文目录一览：
大数据培训课程大纲要学什么课程?
首先我们要了解Java语言和Linux操作系统，这两个是学习大数据的基础，学习的顺序不分前后。
Java ：只要了解一些基础即可，做大数据不需要很深的Java 技术，学java SE 就相当于有学习大数据基础。
Linux：因为大数据相关软件都是在Linux上运行的，所以Linux要学习的扎实一些，学好Linux对你快速掌握大数据相关技术会有很大的帮助，能让你更好的理解hadoop、hive、hbase、spark等大数据软件的运行环境和网络环境配置，能少踩很多坑，学会shell就能看懂脚本这样能更容易理解和配置大数据集群。还能让你对以后新出的大数据技术学习起来更快。
Hadoop：这是现在流行的大数据处理平台几乎已经成为大数据的代名词，所以这个是必学的。Hadoop里面包括几个组件HDFS、MapReduce和YARN，HDFS是存储数据的地方就像我们电脑的硬盘一样文件都存储在这个上面，MapReduce是对数据进行处理计算的，它有个特点就是不管多大的数据只要给它时间它就能把数据跑完，但是时间可能不是很快所以它叫数据的批处理。
Zookeeper：这是个万金油，安装Hadoop的HA的时候就会用到它，以后的Hbase也会用到它。它一般用来存放一些相互协作的信息，这些信息比较小一般不会超过1M，都是使用它的软件对它有依赖，对于我们个人来讲只需要把它安装正确，让它正常的run起来就可以了。
Mysql：我们学习完大数据的处理了，接下来学习学习小数据的处理工具mysql数据库，因为一会装hive的时候要用到，mysql需要掌握到什么层度那?你能在Linux上把它安装好，运行起来，会配置简单的权限，修改root的密码，创建数据库。这里主要的是学习SQL的语法，因为hive的语法和这个非常相似。
Sqoop：这个是用于把Mysql里的数据导入到Hadoop里的。当然你也可以不用这个，直接把Mysql数据表导出成文件再放到HDFS上也是一样的，当然生产环境中使用要注意Mysql的压力。
Hive：这个东西对于会SQL语法的来说就是神器，它能让你处理大数据变的很简单，不会再费劲的编写MapReduce程序。有的人说Pig那?它和Pig差不多掌握一个就可以了。
Oozie：既然学会Hive了，我相信你一定需要这个东西，它可以帮你管理你的Hive或者MapReduce、Spark脚本，还能检查你的程序是否执行正确，出错了给你发报警并能帮你重试程序，最重要的是还能帮你配置任务的依赖关系。我相信你一定会喜欢上它的，不然你看着那一大堆脚本，和密密麻麻的crond是不是有种想屎的感觉。
Hbase：这是Hadoop生态体系中的NOSQL数据库，他的数据是按照key和value的形式存储的并且key是唯一的，所以它能用来做数据的排重，它与MYSQL相比能存储的数据量大很多。所以他常被用于大数据处理完成之后的存储目的地。
Kafka：这是个比较好用的队列工具，队列是干吗的?排队买票你知道不?数据多了同样也需要排队处理，这样与你协作的其它同学不会叫起来，你干吗给我这么多的数据(比如好几百G的文件)我怎么处理得过来，你别怪他因为他不是搞大数据的，你可以跟他讲我把数据放在队列里你使用的时候一个个拿，这样他就不在抱怨了马上灰流流的去优化他的程序去了，因为处理不过来就是他的事情。而不是你给的问题。当然我们也可以利用这个工具来做线上实时数据的入库或入HDFS，这时你可以与一个叫Flume的工具配合使用，它是专门用来提供对数据进行简单处理，并写到各种数据接受方(比如Kafka)的。
Spark：它是用来弥补基于MapReduce处理数据速度上的缺点，它的特点是把数据装载到内存中计算而不是去读慢的要死进化还特别慢的硬盘。特别适合做迭代运算，所以算法流们特别稀饭它。它是用scala编写的。Java语言或者Scala都可以操作它，因为它们都是用JVM的。
mysql使用教程？
MySQL数据库使用教程介绍
完整 MySQL 操作详见：[MySQL攻略]MySQL数据库使用教程介绍
什么叫MySQL数据库？
数据库（Database）是依照算法设计来机构、储存和管理数据信息的仓库。每一个数据库都具有一个或多个API用以创建，访问，管理，检索和拷贝存储的数据信息。
如今大家用的大多数是关系型数据库管理系统（RDBMS）来储存和管理大量数据。所谓关系型数据库，就是以关系模型为基础的数据库，凭借结合集合代数等数学概念来对数据库中的数据进行处理。
MySQL是时下最热门的关系型数据库管理系统之一，本教程将会讲解MySQL的基础知识，并帮助大家熟练应用MySQL数据库。
MySQL教程-RDBMS专业术语
在开始学习MySQL数据库前，使我们先掌握下RDBMS的一些专业术语：
数据库:数据库是一些关系表的结合。
数据表:数据的矩阵。在一个数据库中的表看上去像一个简易的excel表。
列:一列(数据元素)包括了同类型的数据。
行：一行（元组/纪录）是一组有关的数据。
冗余：储存二倍数据，性能会有所损失，但信息安全性有所提高。
主键：主键是唯一的。一个数据表中只有包含一个主键。
外键：用于关联两个表。
索引：用数据库索引可快速访问数据表中的特定信息。索引是对数据库表格中一列或多列的值作排列的一种构造方式。类似书本的目录。
MySQL教程-基础操作
进到数据库：mysql -uroot -p，登陆密码立即回车键
退出数据库：quit或是exit
查询版本号：select version();
获取当前时间：select now();
mysql数据库面试题（学生表_课程表_成绩表_教师表）
Student(Sid,Sname,Sage,Ssex)学生表
Sid：学号
Sname：学生姓名
Sage：学生年龄
Ssex：学生性别
Course(Cid,Cname,Tid)课程表
Cid：课程编号
Cname：课程名称
Tid：教师编号
SC(Sid,Cid,score)成绩表
Sid：学号
Cid：课程编号
score：成绩
Teacher(Tid,Tname)教师表
Tid：教师编号：
Tname：教师名字
1、插入数据
2、删除课程表所有数据
3、将学生表中的姓名 张三修改为张大山
或者
4、查询姓’李’的老师的个数：
5、查询所有课程成绩小于60的同学的学号、姓名：
6、查询没有学全所有课的同学的学号、姓名
7、查询平均成绩大于60分的同学的学号和平均成绩
8、查询学过“100”并且也学过编号“101”课程的同学的学号、姓名
9、查询“100”课程比“101”课程成绩高的所有学生的学号
10、查询课程编号“100”的成绩比课程编号“101”课程高的所有同学的学号、姓名
11、查询学过“鲁迅”老师所教的所有课的同学的学号、姓名
12、查询所有同学的学号、姓名、选课数、总成绩
13、查询至少有一门课与学号为“1”同学所学相同的同学的学号和姓名
14、把“SC”表中“鲁迅”老师教的课的成绩都更改为此课程的平均成绩，
错误
15、查询和“2”学号的同学学习的课程完全相同的其他同学学号和姓名
16、删除学习“鲁迅”老师课的SC表记录
17、向SC表中插入一些记录，这些记录要求符合以下条件：没有上过编号“003”课程的同学学号、002号课的平均成绩
18、查询各科成绩最高和最低的分：以如下的形式显示：课程ID，最高分，最低分
19、按各科平均成绩从低到高和及格率的百分数从高到低顺序
20、查询如下课程平均成绩和及格率的百分数(用”1行”显示): 数学（100），语文（101），英语（102）
22、查询不同老师所教不同课程平均分从高到低显示
23、查询如下课程成绩第3名到第6名的学生成绩单：数学（100），语文（101），英语（102）
23、统计下列各科成绩，各分数段人数：课程ID，课程名称，[100-85],[85-70],[70-60],[ 小于60]
24、查询学生平均成绩及其名次
25、查询各科成绩前三名的记录（不考虑成绩并列情况）
26、查询每门课程被选修的学生数
27、查询出只选修一门课程的全部学生的学号和姓名
28、查询男生、女生人数
29、查询姓“张”的学生名单
30、查询同名同姓的学生名单，并统计同名人数
31、1981年出生的学生名单（注：student表中sage列的类型是datetime）
32、查询平均成绩大于85的所有学生的学号、姓名和平均成绩
33、查询每门课程的平均成绩，结果按平均成绩升序排序，平均成绩相同时，按课程号降序排列
34、查询课程名称为“英语”，且分数低于60的学生名字和分数
35、查询所有学生的选课情况
36、查询任何一门课程成绩在70分以上的姓名、课程名称和分数
37、查询不及格的课程，并按课程号从大到小的排列
38、查询课程编号为“101”且课程成绩在80分以上的学生的学号和姓名
39、求选了课程的学生人数：
40、查询选修“鲁迅”老师所授课程的学生中，成绩最高的学生姓名及其成绩
41、检索至少选修两门课程的学生学号
42、查询全部学生都选修的课程的课程号和课程名(1.一个课程被全部的学生选修，2.所有的学生选择的所有课程)
43、查询没学过“鲁迅”老师讲授的任一门课程的学生姓名
44、查询两门以上不及格课程的同学的学号及其平均成绩
45、检索“101”课程分数小于60，按分数降序排列的同学学号
46、删除“2”同学的“101”课程的成绩
推荐一下最好的mysql数据库教学课程？
关于mysql有一个系列的书叫《
MySQL必知必会
》，可以了解一下，里面的内容讲解得很好。
ETL工程师要学什么？
技术方面：需要学习使用数据源、目标端工具的基本使用（如 oracle MySQL hive等）;需要学习etl工具的安装配置常用错误解决（如 kettle DataStage infa sqoop datax等）
理论方面：懂得数仓分层架构，维度建模等。
从ETL的字面来看，它主要包含三大阶段，分别是数据抽取、数据转换、数据加载。
1.数据抽取
这个阶段的主要目标是汇总多种数据源，为下一步的转换做准备。
2.数据转换
这个阶段是ETL的核心环节，也是最复杂的环节。它的主要目标是将抽取到的各种数据，进行数据的清洗、格式的转换、缺失值填补、剔除重复等操作，最终得到一份格式统一、高度结构化、数据质量高、兼容性好的数据，为后续的分析决策提供可靠的数据支持。
3.数据加载
这个阶段的主要目标是把数据加载至目的地，比如数据仓库中。通常的做法是，将处理好的数据写成特定格式（如parquet、csv等）的文件，然后再把文件挂载到指定的表分区上。也有些表的数据量很小，不会采用分区表，而是直接生成最终的数据表。
了解了ETL这部分的工作主要做什么，接下来再来说作为ETL工程师需要具备哪些技能，这些也就是需要学习的重点——
1、精通SQL语言，具备存储过程开发能力，能熟练进行SQL查询优化；
2、熟悉Hive数据仓库设计，了解数据仓库模型及思想、维度建模思想，了解数据仓库；
3、熟悉Hadoop、Spark、Flink、Kafka等相关技术；
4、熟练Python、Java中至少一种语言；
5、熟悉Mysql、Nosql等常见数据库。
