本文目录一览:
golang适合做web开发吗
适合。框架足够成熟了 A Survey of 5 Go Web Frameworks
小型项目你甚至不用框架,用net/http http - The Go Programming Language
常用库也成熟了 Top - Go Search
golang的web后端即使不concurrent也比php,ruby,python快很多很多
golang里用concurrent真的非常方便,非常非常快,超大web项目golang scale成本低
如果你想,golang的部署可以比php更方便,使用go get和http.ServeAndListen()可以不用nginx和apache
对于文件改动重新编译其实并不是大问题,看pilu/fresh · GitHub,其实你自己写shell脚本(也可以直接用go写,因为它本身就是系统语言)监控文件系统改动然后自动重新build,即使是C/C++的项目这也不是大问题,人们不用C/C++写web是因为它们不是写web app的最佳选择
golang写的代码编译通过后,要比scripting language鲁棒,因为go compiler强制一些最佳实践
成为大数据工程师要学习哪些知识?
1.大数据架构的工具与组件
数据工程师更关注分析基础架构,因此所需的大部分技能都是以架构为中心的。
2.深入了解SQL和其它数据库解决方案
数据工程师需要对数据库管理系统有比较熟悉的了解,而且深入了解SQL非常重要。同样其它数据库解决方案,例如Cassandra或BigTable也须熟悉,因为不是每个数据库都是由可识别的标准来构建。
3.数据仓库和ETL工具
数据仓库和ETL经验对于数据工程师至关重要。像Redshift或Panoply这样的数据仓库解决方案,以及ETL工具,比如StitchData或Segment都非常有用。另外,数据存储和数据检索经验同样重要,因为处理的数据量是个天文数字。
4.基于Hadoop的分析(HBase,Hive,MapReduce等)
对基于Apache Hadoop的分析有深刻理解是这个领域的一个非常必要的需求,一般情况下HBase,Hive和MapReduce的知识存储是必需的。
5.编码
说到解决方案,编码与开发能力是一个重要的优点(这也是许多职位的要求),你要熟悉Python,C/C++,Java,Perl,Golang或其它语言,这会非常有价值。
6.机器学习
虽然数据工程师主要关注的是数据科学,但对数据处理技术的理解会加分,比如一些统计分析知识和基础数据建模。
Golang解析json的特殊情况处理
Go解析json遇到了大数字、不定格式等特殊情况,在此做了一个整理。
选择哪个要视输入而定。
json.Unmarshal 操作对象是一个 []byte ,也就意味着被处理的JSON要全部加载到内存。如果有一个加载完的JSON使用 json.Unmarshal 会快一些。
json.Decoder 操作的是一个 stream ,或者其他实现了 io.Reader 接口的类型。意味着可以在接收或传输的同时对其进行解析。当处理一组较大数据时无需重新copy整个JSON到内存中。
最好的选择办法如下:
默认情况下,go对json解析过程中遇到的数字都会当做float64处理。如果数字过大会有精度丢失。可以使用json.Number来处理。
输出结果:
使用 json.Decoder 只能操作 io.Reader 类型的JSON数据。
有时候遇到字段不定的JSON,需要一边判断一边解析。如:
可以先统一解组到interface{} 然后判断关键字段再进行后续处理。
结果
使用RawMessage便于分步Unmarshal
原文链接