本文目录一览：

• 1、作为程序员的你，常用的软件有哪些？
• 2、storm基本概念
• 3、webstorm怎么打包war
• 4、webstorm新建nodejs有什么区别
• 5、发现公司里的大数据开发挣得很多，想转行，
• 6、webstorm中ctrl加左键无法跳转

作为程序员的你，常用的软件有哪些？

这个就非常多了，下面我以常见的编程开发软件和数据库管理软件为例，简单介绍几种，感兴趣的朋友可以尝试一下：

01 编程开发软件

这个要看具体编程语言了，不同语言开发工具自然不同，这里以常见的C/C++、Java和Python为例，简单介绍3种比较常用的软件：

这是Windows平台下一个非常专业的集成开发工具，号称宇宙第一IDE环境，不仅仅只是C/C++，常见的C#、VB等编程语言，这个软件都能很好支持，智能补全、代码高亮、语法检查等功能非常不错，除此之外，还支持单元测试、代码重构和分析等高级功能，因此非常适合大型项目开发和维护：

这是一个非常专业智能的Java开发工具，在企业和个人桌面中，有着非常高的使用率和欢迎度，自动补全、语法提示、代码高亮等功能非常不错，除此之外，还支持JUnit、CVS整合、代码重构等高级功能，自带有Maven和Gradle构建工具，因此更适合Java项目开发和维护，个人使用起来非常不错：

这是一个非常专业的Python开发软件，和IntelliJ IDEA一样，Jetbrains公司的产品，在业界非常流行、受欢迎，智能补全、代码高亮、语法提示等功能非常不错，除此之外，还支持代码重构和分析、单元测试等高级功能，因此更适合大型项目，个人使用来说，也非常简单，很容易上手和掌握：

02 数据库管理软件

这个就非常多了，不同数据库都有专门的管理软件和工具，这里简单介绍3个比较通用的数据库管理软件，分别是HeidiSQL、DBeaver和DataGrip，对于日常使用来说，非常不错：

这是Windows平台下一个非常轻巧灵活的数据库管理软件，基于Delphi开发而来，目前支持MySQL、MariaDB、MSSQL、PostgreSQL等主流数据库，常见的建库建表、视图索引、触发器等基本功能，这个软件都能很好兼容，除此之外，还支持SQL脚本导入导出、数据备份恢复等功能，对于日常数据库管理来说，非常不错：

这是一个基于Java开发的数据库管理软件，免费、开源、跨平台，目前支持Oracle、MySQL、PostgreSQL、SQL Server等十几种主流数据库开发，建库建表、视图索引、触发器、存储过程等基本功能 都 可轻松查看和设计，数据库导入导出、数据 恢复 备份等功能也都非常不错，对于日常数据库管理和维护来说，是一个非常不错的工具：

这也是一个通用的数据库管理软件，Jetbrains公司的产品，支持跨平台，但原则上针对个人不免费，常见的PostgreSQL、MySQL、Oracle等数据库，这个软件都能很好支持， 数据导入导出（ 恢复备份 ）、 智能代码填充、版本 集成 控制等功能非常不错，对于日常数据库管理来说，也是一个不错的工具：

每天常用开发工具：

0.Git：分布式版本控制系统；

1.IntelliJ IDEA：java语言开发的集成环境，IntelliJ在业界被公认为最好的java开发工具之一；

2.Sublime Text：不只是代码编辑器；

3.Postman：Http请求模拟工具和功能强大的网页调试工具；

4.DataGrip：支持几乎所有主流的关系数据库、多功能的数据库操作工具；

5.Vagrant：用于创建和部署虚拟化开发环境，配合虚拟机使用；

6.Gradle：自动化构建工具；

7.JIRA：项目与事务跟踪工具；

8.iTerm2：Mac上的终端工具；

9.Jenkins：持续集成工具。

做了一个写代码用了十几年的人，很多编程的习惯已经养成了，现在就罗列下每天必用的软件：

直接安装的linux系统，因为几乎所有的代码都是在linux下完成

java开发环境

C/C++代码编辑工具

linux下虚拟windows系统virtualBox

软件提交工具git

不同的开发语言，每天要用到的软件可能不一样。

我是开发java web的，电脑安装了很多工具，但是说每天要用到的好像就几个。

作为程序员使用最多的软件，莫过于编程开发所用到的软件编辑器，但是编辑器的种类有很多。我们需要做到的是，找到你最喜欢的编辑器然后熟练的使用它。

同时掌握常见的一些快捷键的操作方式，从而来提升我们的工作效率，而不是以软件而论软件，什么都去接触使用。毕竟软件是工具是帮助我们提升开发效率。

下面我就列举我们PHP经常使用的软件

IDE工具类软件

这一类是开发软件编写代码用的。这一类的软件非常多，我就推荐一个经常使用的PHPStorm，因为太多的话大家也用不到，也没有那么多的精力去熟练每一个编辑器。

PHPStorm是 JetBrains 公司开发的一款商业的 PHP 集成开发工具，旨在提高用户效率，可深刻理解用户的编码，提供智能代码补全，快速导航以及即时错误检查。可以说是PHP开发程序员必备的神器。

常用快捷键如下：

1.复制快捷方式

F5 复制文件/文件夹

CTRL+C 复制

CTRL+V 粘贴

CTRL+X 剪 切,删除行

CTRL+D 复制行

CTRL+SHIFT+V 可以复制多个文本

2.自动代码

ALT+回车 导入包,自动修正

CTRL+ALT+L 格式化代

码CTRL+ALT+I 自动缩进

CTRL+ALT+O 优化导入的类和包

CTRL+SHIFT+SPACE 切换窗口

CTRL+SPACE空格 代码自动完成，代码提示,一般与输入法冲突

CTRL+ALT+SPACE 类 名或接口名提示（与系统冲突）

CTRL+P 方法参数提示，显示默认参数

CTRL+J 自动代码提示，自动补全

CTRL+ALT+T 把选中的代码放在 TRY{} IF{} ELSE{} 里ALT+INSERT 生成代码(如GET,SET方法,构造函数等)

3.运行

Alt + Shift + F10 选择的配置和运行

Alt + Shift + F9 选择配置和调试

Shift + F10 运行

Shift + F9调试

Ctrl + Shift + F10运行范围内配置编辑器

Ctrl + Shift + X运行命令行

4.其他快捷方式

CTRL+Z 倒退(代码后悔)

CTRL+SHIFT+Z 向前

CTRL+H 显 示类结构图

Ctrl +F12 文件结构弹出

CTRL+O 魔术方法

CTRL+/ 注释//取消注释

CTRL+SHIFT+/ 注释/*...*/

ctrl + '.': 折叠选中的代码的代码

ALT+ / 切换代码视图，标签切换

5.其他快捷方式

CTRL+Z 倒退(代码后悔)

CTRL+SHIFT+Z 向前

CTRL+H 显 示类结构图

Ctrl +F12 文件结构弹出

CTRL+O 魔术方法CTRL+/ 注释//取消注释

CTRL+SHIFT+/ 注释/*...*/

ctrl + '.': 折叠选中的代码的代码

ALT+ / 切换代码视图，

数据库相关常用的工具

Navicat for MySQL是管理数据库的操作工具，都是可以连接远程的云数据库。方便简化开发，还可以手动备份、可视化的sql分析。

常用快捷键：

ctrl+q 打开查询窗口

ctrl+/ 注释sql语句

ctrl+shift +/ 解除注释

ctrl+r 运行查询窗口的sql语句

ctrl+shift+r 只运行选中的sql语句

F6 打开一个mysql命令行窗口

ctrl+d （1）：查看表结构详情，包括索引 触发器，存储过程，外键，唯一键;（2）：复制一行

ctrl+l 删除一行

ctrl+n 打开一个新的查询窗口

ctrl+w 关闭一个查询窗口

ctrl+tab 多窗口切换

服务器连接软件

XShell6是非常强大的SSH远程终端客户端，帮助我们连接远程的Linux服务器来进行操作。

粘贴：Shift+Insert

历史 命令编辑ctrl + p 返回上一次输入命令字符

alt + 返回上一次执行命令

其它

ctrl + s 锁住终端

ctrl + q 解锁终端

ctrl + l 清屏相当于命令clear

Tab键，快速补全命令

轻量级文本编辑器

Notepad++。这个很轻量，打开一下文本非常的方便。

常用快捷键

Ctrl+C 复制

Ctrl+X 剪切

Ctrl+V 粘贴

Ctrl+Z 撤消

Ctrl+Y 恢复

Ctrl+A 全选

Ctrl+F 键查找对话框启动

Ctrl+H 查找/替换对话框

Ctrl+D 复制并粘贴当行

Ctrl+F2 切换书签

F2 转到下一个书签Shift+F2 转到上一个书签

F11 全屏模式

综上所述，软件只是一个工具，我们需要找到自己喜欢使用的，然后熟练一些常用的快捷方式即可，而并不是在于数量多。

前端 ：

visual studio code

后端：

pycharm

IDEA

安卓：

android studio

浏览器：

谷歌

火狐

数据库管理：

navicat

远端链接：

fileZilla

xshell

electerm（mac上使用）

流程图设计：

xmind

processOn

笔记：

为知笔记（付费一年60）

有道云笔记

虚拟机（容器）

VMware Fusion（mac上）

docker

其他：

postman

jmeter

作为一个12年开发经验的前端程序员，我来聊聊每天必用的几个软件。

写代码自然离不开 编辑器 。目前我主要使用的是微软的 Visual Studio Code 。VS Code比较轻量，功能足够应付日常开发所需，跨平台，而且完全免费 。因为之前长期使用Visual Studio在Windows平台上做开发，后来技术栈变化，经常需要在Linux和MacOS上做开发，VS Code就成了我顺理成章的选择。后来干脆在Windows上也用VS Code了。目前整个团队都已经被VS Code圈粉了。其它类似的如Sublime Text(需要付费)和Atom也有不少人使用。

因为是团队开发， 源代码管理工具 自然必不可少，而 git 是目前最热门的一个。我们公司也不例外，几年前从Perforce迁移到了 GitHub企业版 (和公众版本UI完全相同)。平时的代码审查也都是在GitHub企业版上完成的，不再使用单独的代码审查工具。有些不习惯使用命令行方式的同事使用 SourceTree 完成日常的代码分支管理和提交，而我则比较热衷于命令行方式。VS Code也提供了比较完善的git集成，但因为习惯的原因，除了直观比较不同代码版本的差异，我一般也不用VS Code执行git操作。

作为一个Web前端， 浏览器及前端调试工具 自然不可或缺， Google Chrome + Developer Tools (F12) 自然是首选。使用Developer Tools，可以对JavaScript进行调试，监控HTTP请求/响应，分析CSS计算问题和JS性能问题。 Chrome下还有很多功能强大的插件，个人比较常用的包括React Developer Tools、PostMan、Proxy SwitchOmega和AdBlock。当然，因为经常面对浏览器兼容性问题，Firefox、IE、Edge、Apple Safari以及各自的Developer Tools都是免不了要用的。

团队目前使用Scrum模型，自然需要一个做 任务规划和质量管理 的工具。我们采用了 JIRA , 每天的站会(daily standup meeting)都会对scrum看板(board)进行更新。

遇到技术问题，自然免不了要上网查找资料。 Google 的使用频率非常高(需要科学上网)。大部分问题都能在 StackOveflow 上找到线索，但有时候也不得不跑到大名鼎鼎的同性交友网站 GitHub 上看源码。 MDN （Mozilla Developer Network）对于前端开发也是不可或缺(此处鄙视一下w3cschool，上面到处是错误知识)。

其它如node.js/npm、docker等，因为和具体的技术栈相关，就不具体展开讲了。

作为一个开发人员，你每天使用什么软件呢，欢迎说说看。

尽管我是后端出身的，不过也经常写前端代码，甚至还用C#/C++参与过一些客户端开发，自认为也算是一个Web全栈工程师。随着前端技术的不断进步，现在的前端已经不再是写写页面这么简单了，很多逻辑在前端就写了，我建议每一个出色的开发者应该尽可能对前后端都能有不错的掌握。

今天给大家推荐一些我认为前端和后端开发都需要经常用到的一些软件，这里面包括了查询资料工具、原型工具、文本编辑器、版本管理工具。

原型工具

不管前端还是后端，尤其是前端程序员，在跟产品经历沟通之后肯定会要查看原型的，方便自己在开发过程中使用，基本上大公司输出的原型都比较规范，除非你遇到张小龙这种级别的大神，哥们儿直接盯着你做了。

目前主流的原型工具主要有Axure、MockPlus、墨刀等，其中Axure依然是应用最为广泛的原型工具，大多数开发者也都应该用来看原型。

文本编辑器

不管是前端还是后端程序员，当然前端程序员就不说了，在WebStorm出现之前，没有一款真正可以叫做IDE的前端开发工具，那么基本上文本编辑器就是前端程序员最重要的编程工具。同样后端程序员即使不需要写前端代码，文本编辑器也是必备的，您不需要每次看代码都打开庞大的集成开发环境，像IDEA这种比较耗费资源的，平时查看代码啥的完全没有必要，何况你还经常要看一些前端代码。

当然你比较习惯Linux/Unix下开发，Emacs/Vim可能是你用得比较多的文本编辑器，还有UltraEdit、Sublime Text、EditPlus、Atom这些老牌的文本编辑器，不过现在我觉得每个程序员都应该下载一个Visual Studio Code，支持的语言比较多，而且插件非常丰富，是微软官方支持的开发者工具，开源免费而且颜值非常高。

查询资料、版本管理工具

不用多说，每个程序员都要学会很好的使用Google、Stack Overflow两个工具，可以说你日常开发当中可能遇到的问题，通过这两个工具你全都能找到解决方案。

另外一个是Dash文档管理工具，Dash是一个非常好的开发者帮助文档工具，这个工具的好处是给所有的开发文档做了一个整合，C/C++、Java、PHP、Python、Latex、Emacs Lisp、Haskell、JavaScript、Go语言等文档都能够在这个工具当中下载使用。

最后一个就是版本管理了，SVN和Git依然是目前使用最为广泛的版本管理工具，不过就使用来说我还是推荐Git版本控制系统，可以说这个时代Git就是最好的版本管理工具了，尤其是开源时代、互联网时代，Git已经成为了最重要的版本管理工具，不管是命令行管理还是使用Github等客户端工具，堪称完美。

入行十一年，现在主要做一些管理和架构方面的工作，也会做一些Coding，主要是一些新技术的研究和“踩坑”。

编辑器

首先是EditPlus，这是一个文本编辑器。最常用的两个功能：正则表达式查询和文件夹内所有文件内容搜索。

平时经常需要看一些系统日志，甚至要从好几天几十个日志文件中找到内容，这个软件很好用。（原谅我们没有上日志平台）

然后就是IDE啦，我还是喜欢用Eclipse，有时候会用STS(Spring Tool Suite)，它也是一个被包装过的Eclipse，方便做一些Spring框架的研究。

数据库工具

一个是DbVisualizer，凡是具有JDBC数据库接口的数据库都可以管理，什么数据库都能连。

还有一个是SQLyog，这是一个快速而简洁的图形化管理MYSQL数据库的工具，我只用里面一个功能，就是数据的导入导出，效率非常高！

接口测试工具

大部分项目只对外提供接口服务，所以接口测试工具少不了，我一般使用SoapUI，WebService/Rest都可以进行测试。

其他

每天肯定会用的肯定不止上面几个，还有版本控制工具svn和git，都会用到是因为单位svn现在开始往git迁移。

因为用的Scrum敏捷开发流程，所以JIRA、Sonar、Fisheye这些也是都会用到的。

Maven也不用说了，几个项目基本都是基于Maven构建的。

必用的基本就是这些，只要电脑开着，这几个软件基本都是打开状态。

storm基本概念

流式计算中，各个中间件产品对计算过程中的角色的抽象都不尽相同，实现方式也是千差万别。本文针对storm中间件在进行流式计算中的几个概念做个概括总结。

storm分布式计算结构称为topology(拓扑)由stream,spout,bolt组成。

spout代表一个storm拓扑中的数据入口，连接到数据源，将数据转化为一个个tuple，并发射tuple

stream是由无限制个tuple组成的序列。tuple为storm的核心数据结构，是包含了一个或多个键值对的列表。

bolt可以理解为计算程序中的运算或者函数，bolt的上游是输入流，经过bolt实施运算后，可输出一个或者多个输出流。

bolt可以订阅多个由spout或者其他bolt发射的数据流，用以构建复杂的数据流转换网络。

上述即为storm最基本的组成元素，无论storm如何运行，都是以stream,spout,bolt做为最基本的运行单元。而这三者则是共同构成了一个storm拓扑topology。

首先需要明确一个概念，bolt,spout实例，都属于任务，spout产生数据流，并发射，bolt消费数据流，进行计算，并进行落地或再发射，他们的存在以及运行过程都需要消耗资源，而storm集群是一个提供了资源的集群，我们要做的就是将spout/boult实例合理分配到storm集群提供的计算资源上，这样就可以让spout/bolt得以执行。

worker为JVM进程，一个topology会分配到一个或者多个worker上运行。

executor是worker内的java线程，是具体执行bolt/spout实例用的。下篇文章在介绍如何提供storm并行计算能力时会介绍worker以及executor的配置。

在storm中，worker是由supervisor进程创建，并进行监控的。storm集群遵循主从模式，主为nimbus，从为supervisor，storm集群由一个主节点（确实有单点问题），和多个工作节点（supervisor）组成，并使用zookeeper来协调集群中的状态信息，比如任务分配情况，worker状态，supervisor的拓扑度量。

通过配置可指定supervisor上可运行多少worker。一个worker代表一个slot。

nimbus守护进程的主要职责是管理，协调和监控在集群上运行的topology.包括topology的发布，任务指派，事件处理失败时重新指派任务。

supervisor守护进程等待nimbus分配任务后生成并监控workers执行任务。supervosior和worker都是运行在不同的JVM进程上。

了解了集群模式下，storm大致的分布概念，下面结合笔者做的一个实例，了解一下如何发布计算资源到storm集群上。

笔者定义了一个spout,两个bolt 运算过程如下:

其中streamMaking是一个不断生成随机数（5~30）的spout实例，Step1Bolt会过滤掉15以下的随机数(过滤)，15以上的随机数会乘以16(计算)，再将结果向后发射。Step2Bolt订阅Step1Bolt发射的数据，接收数据后，打印输出。流程结束。

笔者在定义spout/bolt实例时，配置了spout,bolt的并行执行数。其中

streamMaking:4   Step1Bolt:2  Step2Bolt 1

这样，发布成功后，storm会根据我的配置，分配足够的计算资源给予spout/bolt进行执行。

发布:

发布时，spout和bolt都是在一起以jar的形式发布到nimbus上的，分配后，内部定义的spout和bolt将以组件的形式被nimbus分配至worker进程中执行。

其中worker都是由supervisor创建的，创建出来的worker进程与supervisor是分开的不同进程。一个supervisor可创建多少worker可通过修改storm安装目录下的storm.yaml进行配置。

task是执行的最小单元。spout/bolt实例在定义中指定了，要起多少task，以及多少executor。也即一个topology发布之前已经定义了task总量，和需要多少资源来执行我的task总量。nimbus将根据已有的计算资源进行分配。

下图中:  nimbus左边代表着计算任务量，和所需计算配置

nimbus右边代表着计算资源

nimbus将根据计算资源信息，合理的分发计算任务量。

发布成功后，通过storm自带的UI功能，可以查看你发布的topology运行以及其中每个组件的分布执行情况。

监控图像中清晰的显示了，目前部署的topology，以及topology中每个组件所分配的计算资源所在host，以及每个组件发射了多少tuple，接收了多少tuple，以及有多少个executor在并行执行。

本文讲述了storm内的基本元素以及基本概念，后续将讲述storm的重点配置信息，以及如何提高并发计算能力，窗口概念等高级特性，后续会进行源码分析，以及与其他实时计算中间件的比较。

webstorm怎么打包war

这用的是nodewebkit，把源码和package.json压缩，

改名为package.nw，放在exe目录下就可以运行，

也可以用copy -b合成一个文件，详见nodewebkit的github页面。

webstorm新建nodejs有什么区别

开发环境的搭建，下面简要说一下如何搭建一个开发环境并完成一个Demo实例

根据个人情况下载不同版本的安装包，并安装好Node.js环境。安装步骤很简单，不需要配置和修改什么，一切都走默认路线即可。

在安装完Node.js并没有什么异常提示之后，在cmd下敲入 node 命令，测试一下，看看node.js是否安装成功。

安装WebStorm软件（注意要先下载），安装成功之后，需要在其中配置一下Node.js：如下图

1）点击 [JS] 图标，在弹出的配置框中默认检索到本地安装的Node.js，也可手动选择到相应的文件目录下。

2）Sources of Node.js Core Modules: 指的是配置源文件路径，把Node.js源码解压后的路径配置到此即可。

接下来，我们可以new project，创建一个HelloWorld Demo。在HelloWorld.js中输出一个“HelloWorld”即可（console.log("Hello World")。

准备好js文件之后，需要再config 一下，才能出现我们在Eclipse中开发Java Project 时常见的绿色倒三角按钮。

这样配置之后，点击绿色按钮，就会调用node 命令行来解析当前project的主文件。

可以在IDE下侧的Console tab中看到 输出结果：

"C:\Program Files\nodejs\node.exe" HelloWorld.js

Hello World

到这里，WebStorm+Node.js的开发环境就算搭建成功了。

发现公司里的大数据开发挣得很多，想转行，

转行这个词汇，一直是职场上此起彼伏的一个热门话题，相信很多朋友都想过或已经经历过转行。工作可谓是我们生存乃至生活的主要收入来源，谁都希望拥有一份高薪又稳定的工作，以此来改善自己的生活和实现自己的大大小小的梦想!但又担心转行后的工作待遇达不到自己的预期，顾虑重重……

不少想进入大数据分析行业的零基础学员经常会有这样一些疑问：大数据分析零基础应该怎么学习?自己适合学习大数据分析吗?人生，就是在不断地做选择，然后在这个选择过程中成长，让自己从一棵小树苗变成参天大树。就是我们每个对大数据充满幻想终于下定决心行动的学员的选择，我们给了自己4个月的时间，想要在大数据分析这个领域汲取养分，让自己壮大成长。

【明确方向】

通过国家的战略规划，看到BAT的大牛们都在大数据行业布局，新闻媒体追捧这大数据分析行业的项目和热点，我想如果我还没有能力独立判断的时候，跟着国家政策和互联网大佬们的步调走，这应该是错不了的。

【付诸行动】

明确了方向之后，我就整装待发，刚开始是在网络上购买了很多的视频教程，也买了很多书籍，但是最大的问题就在于，我不知道怎么入手，没关系，有信心有耐心肯定能战胜困难，我坚持了一个月，学习的节奏越来越乱，陆陆续续出现了很多的问题，没人指导，请教了几个业内的朋友，但对方工作繁忙，问了几次之后就不好意思了，自学陷入了死循环。

意识到我学习效率的低下，以及无人指导的问题想想未来的康庄大道，咬咬牙告诉自己，一定好好好学，不然就浪费太多时间最后还会是一无所获。最后找到组织(AAA教育)一起学习进步!

大数据分析零基础学习路线，有信心能坚持学习的话，那就当下开始行动吧!

一、大数据技术基础

1、linux操作基础

linux系统简介与安装

linux常用命令–文件操作

linux常用命令–用户管理与权限

linux常用命令–系统管理

linux常用命令–免密登陆配置与网络管理

linux上常用软件安装

linux本地yum源配置及yum软件安装

linux防火墙配置

linux高级文本处理命令cut、sed、awk

linux定时任务crontab

2、shell编程

shell编程–基本语法

shell编程–流程控制

shell编程–函数

shell编程–综合案例–自动化部署脚本

3、内存数据库redis

redis和nosql简介

redis客户端连接

redis的string类型数据结构操作及应用-对象缓存

redis的list类型数据结构操作及应用案例-任务调度队列

redis的hash及set数据结构操作及应用案例-购物车

redis的sortedset数据结构操作及应用案例-排行榜

4、布式协调服务zookeeper

zookeeper简介及应用场景

zookeeper集群安装部署

zookeeper的数据节点与命令行操作

zookeeper的java客户端基本操作及事件监听

zookeeper核心机制及数据节点

zookeeper应用案例–分布式共享资源锁

zookeeper应用案例–服务器上下线动态感知

zookeeper的数据一致性原理及leader选举机制

5、java高级特性增强

Java多线程基本知识

Java同步关键词详解

java并发包线程池及在开源软件中的应用

Java并发包消息队里及在开源软件中的应用

Java JMS技术

Java动态代理反射

6、轻量级RPC框架开发

RPC原理学习

Nio原理学习

Netty常用API学习

轻量级RPC框架需求分析及原理分析

轻量级RPC框架开发

二、离线计算系统

1、hadoop快速入门

hadoop背景介绍

分布式系统概述

离线数据分析流程介绍

集群搭建

集群使用初步

2、HDFS增强

HDFS的概念和特性

HDFS的shell(命令行客户端)操作

HDFS的工作机制

NAMENODE的工作机制

java的api操作

案例1：开发shell采集脚本

3、MAPREDUCE详解

自定义hadoop的RPC框架

Mapreduce编程规范及示例编写

Mapreduce程序运行模式及debug方法

mapreduce程序运行模式的内在机理

mapreduce运算框架的主体工作流程

自定义对象的序列化方法

MapReduce编程案例

4、MAPREDUCE增强

Mapreduce排序

自定义partitioner

Mapreduce的combiner

mapreduce工作机制详解

5、MAPREDUCE实战

maptask并行度机制-文件切片

maptask并行度设置

倒排索引

共同好友

6、federation介绍和hive使用

Hadoop的HA机制

HA集群的安装部署

集群运维测试之Datanode动态上下线

集群运维测试之Namenode状态切换管理

集群运维测试之数据块的balance

HA下HDFS-API变化

hive简介

hive架构

hive安装部署

hvie初使用

7、hive增强和flume介绍

HQL-DDL基本语法

HQL-DML基本语法

HIVE的join

HIVE 参数配置

HIVE 自定义函数和Transform

HIVE 执行HQL的实例分析

HIVE最佳实践注意点

HIVE优化策略

HIVE实战案例

Flume介绍

Flume的安装部署

案例：采集目录到HDFS

案例：采集文件到HDFS

三、流式计算

1、Storm从入门到精通

Storm是什么

Storm架构分析

Storm架构分析

Storm编程模型、Tuple源码、并发度分析

Storm WordCount案例及常用Api分析

Storm集群部署实战

Storm+Kafka+Redis业务指标计算

Storm源码下载编译

Strom集群启动及源码分析

Storm任务提交及源码分析

Storm数据发送流程分析

Storm通信机制分析

Storm消息容错机制及源码分析

Storm多stream项目分析

编写自己的流式任务执行框架

2、Storm上下游及架构集成

消息队列是什么

Kakfa核心组件

Kafka集群部署实战及常用命令

Kafka配置文件梳理

Kakfa JavaApi学习

Kafka文件存储机制分析

Redis基础及单机环境部署

Redis数据结构及典型案例

Flume快速入门

Flume+Kafka+Storm+Redis整合

四、内存计算体系Spark

1、scala编程

scala编程介绍

scala相关软件安装

scala基础语法

scala方法和函数

scala函数式编程特点

scala数组和集合

scala编程练习(单机版WordCount)

scala面向对象

scala模式匹配

actor编程介绍

option和偏函数

实战：actor的并发WordCount

柯里化

隐式转换

2、AKKA与RPC

Akka并发编程框架

实战：RPC编程实战

3、Spark快速入门

spark介绍

spark环境搭建

RDD简介

RDD的转换和动作

实战：RDD综合练习

RDD高级算子

自定义Partitioner

实战：网站访问次数

广播变量

实战：根据IP计算归属地

自定义排序

利用JDBC RDD实现数据导入导出

WorldCount执行流程详解

4、RDD详解

RDD依赖关系

RDD缓存机制

RDD的Checkpoint检查点机制

Spark任务执行过程分析

RDD的Stage划分

5、Spark-Sql应用

Spark-SQL

Spark结合Hive

DataFrame

实战：Spark-SQL和DataFrame案例

6、SparkStreaming应用实战

Spark-Streaming简介

Spark-Streaming编程

实战：StageFulWordCount

Flume结合Spark Streaming

Kafka结合Spark Streaming

窗口函数

ELK技术栈介绍

ElasticSearch安装和使用

Storm架构分析

Storm编程模型、Tuple源码、并发度分析

Storm WordCount案例及常用Api分析

7、Spark核心源码解析

Spark源码编译

Spark远程debug

Spark任务提交行流程源码分析

Spark通信流程源码分析

SparkContext创建过程源码分析

DriverActor和ClientActor通信过程源码分析

Worker启动Executor过程源码分析

Executor向DriverActor注册过程源码分析

Executor向Driver注册过程源码分析

DAGScheduler和TaskScheduler源码分析

Shuffle过程源码分析

Task执行过程源码分析

五、机器学习算法

1、python及numpy库

机器学习简介

机器学习与python

python语言–快速入门

python语言–数据类型详解

python语言–流程控制语句

python语言–函数使用

python语言–模块和包

phthon语言–面向对象

python机器学习算法库–numpy

机器学习必备数学知识–概率论

2、常用算法实现

knn分类算法–算法原理

knn分类算法–代码实现

knn分类算法–手写字识别案例

lineage回归分类算法–算法原理

lineage回归分类算法–算法实现及demo

朴素贝叶斯分类算法–算法原理

朴素贝叶斯分类算法–算法实现

朴素贝叶斯分类算法–垃圾邮件识别应用案例

kmeans聚类算法–算法原理

kmeans聚类算法–算法实现

kmeans聚类算法–地理位置聚类应用

决策树分类算法–算法原理

决策树分类算法–算法实现

时下的大数据分析时代与人工智能热潮，相信有许多对大数据分析师非常感兴趣、跃跃欲试想着转行的朋友，但面向整个社会，最不缺的其实就是人才，对于是否转行大数据分析行列，对于能否勇敢一次跳出自己的舒适圈，不少人还是踌躇满志啊!毕竟好多决定，一旦做出了就很难再回头了。不过如果你已经转行到大数据分析领域，就不要后悔，做到如何脱颖而出才是关键。因此本文给出一些建议，针对想要转行大数据分析行列且是零基础转行的小伙伴们，希望对你们有所裨益，也希望你们将来学有所成，不后悔，更不灰心!

相关推荐：

《转行大数据分析师后悔了》、《ui设计培训四个月骗局大爆料》、《零基础学大数据分析现实吗》、《大数据分析十八般工具》

webstorm中ctrl加左键无法跳转

近来在关注angular项目，源码和最终的运行目录是分开的，源码是相对干净的，也没有那些angular、package.json，这些自动会有工具帮忙在运行目录中生成。发现一个有趣的现象，用webstorm（vscode可能也会遇到）打开源码，用ctrl+左键点击模板中的某个属性（对应的ts文件中定义的），死活无法跳转，折腾半天，现将折腾过得方案列举如下：