您的位置:

golangcpp混合,golang pprof heap

本文目录一览:

编程都有哪些语言?

编程常用语言有:1、PHP语言,是一种通用开源脚本语言;2、C语言,一门面向过程的、抽象化的通用程序设计语言;3、JAVA语言,一种可以撰写跨平台应用软件的面向对象的程序设计语言;4、Go语言,是开源编程语言;5、Python,一种跨平台计算机程序设计语言等。 C语言是一门面向过程的、抽象化的通用程序设计语言,广泛应用于底层开发。 C语言能以简易的方式编译、处理低级存储器。 C语言是仅产生少量的机器语言以及不需要任何运行环境支持便能运行的高效率程序设计语言

一、Java最流行

与一年前一样,Java仍然是最流行的编程语言。据TIOBE的数据显示,几十年来,Java比其他语言更常名列榜首。许多知名公司使用Java来开发软件和应用程序,所以如果你碰巧使用Java,绝对不必为找工作而苦恼。Java受欢迎的主要原因是它拥有可移植性、可扩展性和庞大的用户社区。

二、经典的C语言

作为最古老的编程语言之一,C依然高居榜首,这归功于其可移植性以及微软、Oracle和苹果等科技巨头采用它。它与几乎所有系统兼容,很适合操作系统和嵌入式系统。

由于运行时环境相对小巧,因此C是保持这种系统精简的完美选择。强烈建议初学者学C,它实际上是编程语言的通用语言,已催生出了同样很受欢迎的衍生语言,比如C++和C#。

三、C ++继续占主导地位

这种面向对象编程语言在20世纪80年代开发而成,现在仍应用于从桌面Web应用程序到服务器基础设施的众多系统。由于灵活性、高性能以及可用于多种环境,C ++依然很吃香。以C++为业的工作通常需要开发面向性能密集型任务的桌面应用程序。掌握C++可以更深入地了解编程语言,帮助获得低级内存处理方面的技能。

四、Python:不断上升

过去15年来,Python的受欢迎程度稳步上升。过去这几年,它一直能够跻身TIOBE指数前5名的位置。作为如今人工智能、机器学习、大数据和机器人等一些最有前途的技术背后的主要语言,Python近年来积累了庞大的粉丝群。你会惊讶地发现学习Python很容易,这就是为什么许多经验丰富的开发人员选择Python作为第二或第三语言的原因。

五、C#:游戏开发人员的宠儿

C#是一种现代的面向对象编程语言,由微软开发,与当时商业软件开发人员广泛使用的Java相抗衡。它专为在微软平台上开发应用程序而设计,需要Windows上的.NET框架才能工作。与前一年一样,C#保持稳定的位置,名次没有重大变化。可以使用C#开发几乎所有应用程序,但它尤其擅长于Windows桌面应用程序和游戏开发。

六、Visual Basic .NET

Visual Basic .NET与去年一样,在指数中继续保持第六位。它是微软的OOP语言之一,结合了基于.NET框架的类和运行时环境的强大功能。它自VB6衍生而来,擅长开发GUI应用程序,为程序员简化了任务,并提高生产力。对于程序员来说,除了Web服务和Web开发外,还为针对Windows平台开发桌面应用程序提供了一种快速简单的方法。

七、用于Web开发的PHP

据TIOBE显示,PHP在TIOBE最受欢迎的编程语言排行榜中位居第七,取代JavaScript成为更受欢迎的脚本语言。 PHP主要用在服务器端上用于Web开发,约占网站总数的80%。

Facebook最初使用的就是PHP,PHP在WordPress内容管理系统中扮演的角色让它很受欢迎。PHP提供了几个框架,比如Laravel和Drupal,帮助开发人员更快地构建应用程序,拥有更高的可扩展性和可靠性。因此,如果你在找Web开发方面的职位,PHP是不错的选择。

八、JavaScript必不可少

今年JavaScript的使用量有所下降,名次比去年有所下滑。但是现在所有软件开发人员都以某种方式使用JavaScript。与HTML和CSS一起使用,JavaScript对于前端Web开发来说必不可少,以便创建交互式网页,并向用户动态显示内容。

超过90%的网站使用这种语言,它也是初学者开始上手的最友好的编程语言之一。所以,如果你掌握JavaScript,根本不缺机会。然而,你需要学习其他支持性的语言和框架,才能成为主攻桌面和移动应用程序或游戏开发的专业的前端开发人员。

九、SQL

SQL夺得第九名,实现了显著的增长,毕竟去年它未能跻身于TIOBE指数20大编程语言。尽管存在其他数据库技术,但用于管理数据库的这种标准查询语言在过去四十年一直处于主导地位。

原因在于它具有简单性、可靠性、无处不在,以及对保持这种开源语言活力大有帮助的活跃社区。与其他语言相比,初学者通常更容易学习SQL;就职业发展而言,像数据分析员这类高薪职位要求SQL非懂不可。

十、GO编程语言

Go是谷歌公司推出的一款相对较新的语言,对于web服务器开发、网络开发以及命令行程序开发来说,它是又一个比较优秀的选择

go面试题整理(附带部分自己的解答)

原文:【 】

如果有解答的不对的,麻烦各位在评论写出来~

go的调度原理是基于GMP模型,G代表一个goroutine,不限制数量;M=machine,代表一个线程,最大1万,所有G任务还是在M上执行;P=processor代表一个处理器,每一个允许的M都会绑定一个G,默认与逻辑CPU数量相等(通过runtime.GOMAXPROCS(runtime.NumCPU())设置)。

go调用过程:

可以能,也可以不能。

因为go存在不能使用==判断类型:map、slice,如果struct包含这些类型的字段,则不能比较。

这两种类型也不能作为map的key。

类似栈操作,后进先出。

因为go的return是一个非原子性操作,比如语句 return i ,实际上分两步进行,即将i值存入栈中作为返回值,然后执行跳转,而defer的执行时机正是跳转前,所以说defer执行时还是有机会操作返回值的。

select的case的表达式必须是一个channel类型,所有case都会被求值,求值顺序自上而下,从左至右。如果多个case可以完成,则会随机执行一个case,如果有default分支,则执行default分支语句。如果连default都没有,则select语句会一直阻塞,直到至少有一个IO操作可以进行。

break关键字可跳出select的执行。

goroutine管理、信息传递。context的意思是上下文,在线程、协程中都有这个概念,它指的是程序单元的一个运行状态、现场、快照,包含。context在多个goroutine中是并发安全的。

应用场景:

例子参考:

waitgroup

channel

len:切片的长度,访问时间复杂度为O(1),go的slice底层是对数组的引用。

cap:切片的容量,扩容是以这个值为标准。默认扩容是2倍,当达到1024的长度后,按1.25倍。

扩容:每次扩容slice底层都将先分配新的容量的内存空间,再将老的数组拷贝到新的内存空间,因为这个操作不是并发安全的。所以并发进行append操作,读到内存中的老数组可能为同一个,最终导致append的数据丢失。

共享:slice的底层是对数组的引用,因此如果两个切片引用了同一个数组片段,就会形成共享底层数组。当sliec发生内存的重新分配(如扩容)时,会对共享进行隔断。详细见下面例子:

make([]Type,len,cap)

map的底层是hash table(hmap类型),对key值进行了hash,并将结果的低八位用于确定key/value存在于哪个bucket(bmap类型)。再将高八位与bucket的tophash进行依次比较,确定是否存在。出现hash冲撞时,会通过bucket的overflow指向另一个bucket,形成一个单向链表。每个bucket存储8个键值对。

如果要实现map的顺序读取,需要使用一个slice来存储map的key并按照顺序进行排序。

利用map,如果要求并发安全,就用sync.map

要注意下set中的delete函数需要使用 delete(map) 来实现,但是这个并不会释放内存,除非value也是一个子map。当进行多次delete后,可以使用make来重建map。

使用sync.Map来管理topic,用channel来做队列。

参考:

多路归并法:

pre class="vditor-reset" placeholder="" contenteditable="true" spellcheck="false"p data-block="0"(1)假设有K路a href=""数据流/a,流内部是有序的,且流间同为升序或降序;

/pp data-block="0"(2)首先读取每个流的第一个数,如果已经EOF,pass;

/pp data-block="0"(3)将有效的k(k可能小于K)个数比较,选出最小的那路mink,输出,读取mink的下一个;

/pp data-block="0"(4)直到所有K路都EOF。

/p/pre

假设文件又1个G,内存只有256M,无法将1个G的文件全部读到内存进行排序。

第一步:

可以分为10段读取,每段读取100M的数据并排序好写入硬盘。

假设写入后的文件为A,B,C...10

第二步:

将A,B,C...10的第一个字符拿出来,对这10个字符进行排序,并将结果写入硬盘,同时记录被写入的字符的文件指针P。

第三步:

将刚刚排序好的9个字符再加上从指针P读取到的P+1位数据进行排序,并写入硬盘。

重复二、三步骤。

go文件读写参考:

保证排序前两个相等的数其在序列的前后位置顺序和排序后它们两个的前后位置顺序相同的排序叫稳定排序。

快速排序、希尔排序、堆排序、直接选择排序不是稳定的排序算法。

基数排序、冒泡排序、直接插入排序、折半插入排序、归并排序是稳定的排序算法。

参考:

head只请求页面的首部。多用来判断网页是否被修改和超链接的有效性。

get请求页面信息,并返回实例的主体。

参考:

401:未授权的访问。

403: 拒绝访问。

普通的http连接是客户端连接上服务端,然后结束请求后,由客户端或者服务端进行http连接的关闭。下次再发送请求的时候,客户端再发起一个连接,传送数据,关闭连接。这么个流程反复。但是一旦客户端发送connection:keep-alive头给服务端,且服务端也接受这个keep-alive的话,两边对上暗号,这个连接就可以复用了,一个http处理完之后,另外一个http数据直接从这个连接走了。减少新建和断开TCP连接的消耗。这个可以在Nginx设置,

这个keepalive_timout时间值意味着:一个http产生的tcp连接在传送完最后一个响应后,还需要hold住keepalive_timeout秒后,才开始关闭这个连接。

特别注意TCP层的keep alive和http不是一个意思。TCP的是指:tcp连接建立后,如果客户端很长一段时间不发送消息,当连接很久没有收到报文,tcp会主动发送一个为空的报文(侦测包)给对方,如果对方收到了并且回复了,证明对方还在。如果对方没有报文返回,重试多次之后则确认连接丢失,断开连接。

tcp的keep alive可通过

net.ipv4.tcp_keepalive_intvl = 75 // 当探测没有确认时,重新发送探测的频度。缺省是75秒。

net.ipv4.tcp_keepalive_probes = 9 //在认定连接失效之前,发送多少个TCP的keepalive探测包。缺省值是9。这个值乘以tcp_keepalive_intvl之后决定了,一个连接发送了keepalive之后可以有多少时间没有回应

net.ipv4.tcp_keepalive_time = 7200 //当keepalive起用的时候,TCP发送keepalive消息的频度。缺省是2小时。一般设置为30分钟1800

修改:

可以

tcp是面向连接的,upd是无连接状态的。

udp相比tcp没有建立连接的过程,所以更快,同时也更安全,不容易被攻击。upd没有阻塞控制,因此出现网络阻塞不会使源主机的发送效率降低。upd支持一对多,多对多等,tcp是点对点传输。tcp首部开销20字节,udp8字节。

udp使用场景:视频通话、im聊天等。

time-wait表示客户端等待服务端返回关闭信息的状态,closed_wait表示服务端得知客户端想要关闭连接,进入半关闭状态并返回一段TCP报文。

time-wait作用:

解决办法:

close_wait:

被动关闭,通常是由于客户端忘记关闭tcp连接导致。

根据业务来啊~

重要指标是cardinality(不重复数量),这个数量/总行数如果过小(趋近于0)代表索引基本没意义,比如sex性别这种。

另外查询不要使用select *,根据select的条件+where条件做组合索引,尽量实现覆盖索引,避免回表。

僵尸进程:

即子进程先于父进程退出后,子进程的PCB需要其父进程释放,但是父进程并没有释放子进程的PCB,这样的子进程就称为僵尸进程,僵尸进程实际上是一个已经死掉的进程。

孤儿进程:

一个父进程退出,而它的一个或多个子进程还在运行,那么那些子进程将成为孤儿进程。孤儿进程将被init进程(进程号为1)所收养,并由init进程对它们完成状态收集工作。

子进程死亡需要父进程来处理,那么意味着正常的进程应该是子进程先于父进程死亡。当父进程先于子进程死亡时,子进程死亡时没父进程处理,这个死亡的子进程就是孤儿进程。

但孤儿进程与僵尸进程不同的是,由于父进程已经死亡,系统会帮助父进程回收处理孤儿进程。所以孤儿进程实际上是不占用资源的,因为它终究是被系统回收了。不会像僵尸进程那样占用ID,损害运行系统。

原文链接:

产生死锁的四个必要条件:

(1) 互斥条件:一个资源每次只能被一个进程使用。

(2) 请求与保持条件:一个进程因请求资源而阻塞时,对已获得的资源保持不放。

(3) 不剥夺条件:进程已获得的资源,在末使用完之前,不能强行剥夺。

(4) 循环等待条件:若干进程之间形成一种头尾相接的循环等待资源关系。

避免方法:

端口占用:lsof -i:端口号 或者 nestat

cpu、内存占用:top

发送信号:kill -l 列出所有信号,然后用 kill [信号变化] [进程号]来执行。如kill -9 453。强制杀死453进程

git log:查看提交记录

git diff :查看变更记录

git merge:目标分支改变,而源分支保持原样。优点:保留提交历史,保留分支结构。但会有大量的merge记录

git rebase:将修改拼接到最新,复杂的记录变得优雅,单个操作变得(revert)很简单;缺点:

git revert:反做指定版本,会新生成一个版本

git reset:重置到某个版本,中间版本全部丢失

etcd、Consul

pprof

节省空间(非叶子节点不存储数据,相对b tree的优势),减少I/O次数(节省的空间全部存指针地址,让树变的矮胖),范围查找方便(相对hash的优势)。

explain

其他的见:

runtime2.go 中关于 p 的定义: 其中 runnext 指针决定了下一个要运行的 g,根据英文的注释大致意思是说:

所以当设置 runtime.GOMAXPROCS(1) 时,此时只有一个 P,创建的 g 依次加入 P, 当最后一个即 i==9 时,加入的最后 一个 g 将会继承当前主 goroutinue 的剩余时间片继续执行,所以会先输出 9, 之后再依次执行 P 队列中其它的 g。

方法一:

方法二:

[图片上传失败...(image-4ef445-1594976286098)]

方法1:to_days,返回给的日期从0开始算的天数。

方法2:data_add。向日期添加指定时间间隔

[图片上传失败...(image-b67b10-1594976286098)]

刚毕业适合学习哪个编程比较好?

入门选择哪门语言最好

推荐学习Java,Java相对于C语言来说更加的简单,包含的内容更加丰富,而且Java的就业方向也较广。

一 · 编程语言及其主要用途

常见的是 C Family (C系列语言),比如:C、Cpp(C++)、C Sharp(C#)、Java、Python、R、JavaScript、Objective-C、Swift、Go、Kotlin 等等。然后有很多脚本语言,Python 也在其内,比如:Ruby、Perl 等。

光说名字意义不大,所以举几个例子。

C 常用于单片机开发和一些接底层硬件的操作使用;

C++ 是 C 的超集,因为直接支持了面向对象所以更多用于游戏、图像开发方面;

C# 是微软为了把 Java 人才引入 Windows 平台设计的语言,和 Java 语法几乎一致,目前多用于服务器后端开发和 Unity 3D 的游戏开发,也有人会用这个做很多 windows 平台下的软件插件甚至常说的软件外挂(外挂其实严格说就是插件,但大陆地区已经有更深层的意义了,所以两者并列举例出来);

Java 是目前最流行的服务器后端开发语言和 Android 开发语言,因为有大量框架和工具包的支持,Java 语言的运行速度已经不能阻挡 Java 成为服务器开发的首选语言。至于是什么服务器后端开发,题主学了 JavaEE 自然便知,通俗举例来说可以 yy 一下:我写了这篇答案,答案存在哪里呢?肯定是在知乎那边!至于怎么存、怎么取,都是后端开发需要设计的问题了。Java 也曾一度是 Android 的首选语言(虽然目前 Kotlin 的影响很多人转战 Kotlin 去了),负责 Android 顶层的 APP 层开发。

Python 是目前机器学习最流行的语言,也可以做服务器开发,有堪比 Java Spring 框架的 Django 作为支持。更多的人会使用 Python 作为机器学习、深度学习的首选语言,因为 Python 语法的简洁和类似数学式表达的规范,当然还是因为包多,很多学者科学家都会使用 Python 做科学研究。

R 语言作用类似 Python,常用于工程方面。还有一门语言是 Matlab,其实称之为语言是不恰当的,因为这是一个软件,脱离了软件就无法生存,远不是编译器那么简单的结构了。MatLab 汇集了太多的工具,便于科学从业人员快速分析数据,写出优良的程序,这种程序语言通常也称之为 Matlab;

JavaScript 是前端开发首选语言,在使用 HTML + CSS 模式绘制出页面图像后,通常都会使用 JS (JavaScript)来写交互、动画、请求、视图内容更新这些操作,这门语言是函数式也是面向对象的语言,灵活度极高,但有了 C Family 任何一门语言的基础就很容易学;

Objective-C 是苹果(Apple.Inc)开发的一门为 mac 和 iPhone 设备开发程序的语言,和 C++ 类似,也是 C 的超集,也是面向对象。但由于其太过于面向对象了(基于消息的传递数据机制)导致很不 C Family,所以对 C 系列人员上手难度偏大,比较冷门。但后来 iPhone 的崛起,导致该语言又一度热议起来;

Swift 是苹果最新发明的一门函数式编程语言,和 OC(Objective-C)的目的一样,为苹果设备而生,但苹果也提倡用该语言做工程方面的扩展,比如苹果会在宣传的时候拿它和 Python 对比。为了兼容 OC 的所有工具包,避免该语言的冷门,创造了 bridge 作为两个语言直接的桥梁,解决了语言兼容问题;

Go 语言是 Google 开发的一门函数式语言,特点是能解决大规模的高并发问题,天然支持多线程使得该语言一出来就广受关注。目前多用于机器学习和一些 Google 自己产品的开发以及后端服务器开发;

Kotlin 是大家常用的 IDEA 开发工具的开发商 Jetbrains 发明的函数式语言,这门语言是基于 JVM 进行设计的,比较完美地兼容了 Java 语言,所以前后端开发都可以使用该语言替代 Java,不确切统计是可以用比 Java 少一半的代码量完成同样的功能并拥有同样的运行效率。类似的 JVM 语言也有 Scale,但比较元老了,兼容力度不大所以也开始广受诟病;

Ruby 和 Perl 这些是典型的脚本语言,Ruby 多用于各个语言的粘合剂,Perl 是 Linux 下最常用的脚本语言,文本处理能力极强。

二 · 如何自学

这个问题其实答案很多,就像问一个人「如何才能提高分数」一样,是个「上帝问题」。我来简单解释一下什么是「上帝问题」:一个问题条件不充分,导致问题答案变数太大甚至可以出现毫无任何限制的答案,这类答案往往无意义或者意义不大,称之为「上帝问题」。

所以这个问题是没有好的答案的。

于是我便假设题主问题是:「一个时间充足、智力正常、周围电子设备允许、自律能力可以、、、等等的男生该如何自学达到学会某一门语言的目标?」

这样的话我们探讨起来可能会容易很多。

来个老套路吧,其实真的自律可以什么套路都行,自律不行,说什么都是废话。以下不是捷径,是远方:

通过视频入门(视频拥有大量的声音、图像、文字以及讲师不经意的犯错引发的笑点),视频和书不一样,视频是容纳了很多错误的,这些错误都是编程中可能会犯的,比如讲师少打了一个分号,变量名字写错了等等等等,这些在书本里面是看不到的,视频带给你的信息量远大于书本。

通过书本扎实思考,书本还是得看,必须得看,书是代表系统的、完备的,书总是一章一节地讲,不会错一个字地讲,很多东西就得从书里找,视频老师可能会讲漏,但书漏了第二版本还可以修订。至于怎么选好书,三步筛选:是否有第二版(或者第三四五... 版本)、豆瓣评价、实地摸(怎么说都不如自己去摸一摸,试试就知道适不适合自己了)

以一本书为主,其余书为辅,不出数月即可见效。

然后练习项目,此时你已经有了一定的基础了,而且在学习过程中肯定也是不断地码代码练习小项目小题目。此时你需要更多的时间去做更大的项目,通常很多杂牌书后面都会附一两个项目实战,可以试试手。项目必须练,这会让你成为和以前不同的两个人。

学习java,就来北京尚学堂

区块链技术想要快速入门,一般涉及哪些编程语言?

任何一门计算机语言,都能在特定某个领域的应用中,实现区块链技术;

具体使用哪一门语言,完全看我们相应领域行业企业项目的技术要求,以及更关键的:跟已有信息系统的有效对接联通。

区块链具有自下而上生成记录,生成两方或多方合同类记录,加入第三方确认机制,分布存储,……等特点;

从而让它相比集中式的存储运算而言,变得更为可信。

常见的总统投票,就非常适合以区块链技术重新架构;采用区块链技术的投票系统,能够避免哪一家技术公司、某一个关键技术人员,操纵选票统计结果的可能。

像我们的法院证据,也特别适合采用区块链技术重新架构开发。

其实像当前我们各类互联网时代的“版权系统”,它们中一些就是采用区块链技术架构而来,只不过,目前我们的新闻出版局、专利局(或者更广义地被称作“专家评委”),都尚未接入这些由互联网公司创新而来的版权平台。

我们耳熟能详 的“法大大”(虽然名字不甚好听、甚至乍一听来有些让人“摸不着头脑”),它也其实正准备采用最新的区块链技术重新架构;采用区块链技术的合同平台,因为变得更加可信,也才能更便于互联网时代人们签订各类商务合同。

还有像我们的“征信系统”,也非常适合以区块链技术加以改造。能够让它更有说服力,而不致于出现一家单位、乃至随意某个关键技术人员,能随意往其中添加“征信污点数据”的情况。

还有像我们的P2P贷款,如果能够以区块链技术重新架构的话,也能够变得更加可信,而不致于出现违约、卷款跑路这样的失信情况。

说说这篇我为什么从python转向go

恩看了这篇我为什么从python转向go,

看来作者也是 KSO 轻办公/企业快盘团队的。作为快盘从无到有时期的工程师之一(总是被潇洒哥说他们改我留下的 bug ),又恰好是

Python/Go 双修(大雾其实我是 Rust 党),其实一开始我是拒绝的,duang duang duang,那就随手写一点把。

一段段来吧,首先作者说 Python 是动态语言

python是一门动态语言,不是强类型系统。对于一个变量,我们有时候压根不知道它是什么类型,然后就可能出现int + string这样的运行时错误。

在python里面,可以允许同名函数的出现,后一个函数会覆盖前一个函数,有一次我们系统一个很严重的错误就是因为这个导致的。

事实上,如果是静态检查,pylint 和 pyflakes 是可以做这件事的,虽然不能和 go

那种静态编译型语言比,但也足够了。如果没记错的话,阿通当年是要求全组都在提交前做静态检查的。我认为这种问题更多的应该是人员素质上来避免,毕竟葱头

也说过,代码自己写的就要多回头看看,看能不能重构,能不能做更好。不是说偷懒不行,但是从中得出 Python

动态特性太灵活,Python:怪我咯看

另外,函数作为第一对象,在 Python 中是 feature,Go 要写个 mock,简直虐得不要不要的。

其实这个一直是很多人吐槽python的地方,不过想想,python最开始是为了解决啥问题而被开发出来的看我们硬是要将他用到高性能服务器开发上面,其实也是有点难为它。

如果没记错,无论是轻办公还是快盘,是重 IO 不重 CPU,最大耗时是数据块加密那块,我在的时候是 Java 写的。另外高性能服务器选 Go 也是虐得不要不要的,各种小心翼翼避免 GC。大多数极端情况下,pypy 的性能足矣胜任了,我认为这不算充分条件。

python的GIL导致导致无法真正的多线程,大家可能会说我用多进程不就完了。但如果一些计算需要涉及到多进程交互,进程之间的通讯开销也是不得不考虑的。

其实,Python 有宏可以绕开这个 GIL,但是呢架构设计得好其实可以避免的,到异步那块我会说。

无状态的分布式处理使用多进程很方便,譬如处理http请求,我们就是在nginx后面挂载了200多个django server来处理http的,但这么多个进程自然导致整体机器负载偏高。

但即使我们使用了多个django进程来处理http请求,对于一些超大量请求,python仍然处理不过来。所以我们使用openresty,将高频次的http请求使用lua来实现。可这样又导致使用两种开发语言,而且一些逻辑还得写两份不同的代码。

如果推测没错,你们现在还在用五年前写的 Gateway看那个基于 django route

的流量分发层看四年前我离开的时候已经小范围的使用 Flask+Gevent Demo 测试过了,无论是性能还是负载都比同步模型的 django

有优势。如果还是 django

这套的话,我只能说比较遗憾,毕竟当年金山新员工大赛头牌就是我和几个小伙伴写的实时同步在线文档编辑系统,用的就是这套技术。

因此这是个工程问题,并非语言问题。 Python 提供给了你了这么多工具,硬要选一个传统的,Old fashion 的,Python:怪我咯看

django的网络是同步阻塞的,也就是说,如果我们需要访问外部的一个服务,在等待结果返回这段时间,django不能处理任何其他的逻辑(当然,多线程的除外)。如果访问外部服务需要很长时间,那就意味着我们的整个服务几乎在很长一段时间完全不可用。

为了解决这个问题,我们只能不断的多开django进程,同时需要保证所有服务都能快速的处理响应,但想想这其实是一件很不靠谱的事情。

同步模型并非不行,因为 overhead 足够低,很多业务场景下用同步模型反而会取得更好的效果,比如豆瓣。同步模型最大的问题是对于 IO 密集型业务等待时间足够长,这时候需要的不是换语言 ,而是提醒你是不是架构要改一下了。

虽然tornado是异步的,但是python的mysql库都不支持异步,这也就意味着如果我们在tornado里面访问数据库,我们仍然可能面临因为数据库问题造成的整个服务不可用。

tornado 是有这个问题,但是 gevent 已经解决了。我在 node.js 的某问题下曾经回答过,对于 node

而言,能选择的异步模型只有一个,而 Python 就是太多选择了。另外 pypy+tornado+redis

可以随意虐各种长连接的场景,比如我给我厂写过的一个 push service。

其实异步模型最大的问题在于代码逻辑的割裂,因为是事件触发的,所以我们都是通过callback进行相关处理,于是代码里面就经常出现干一件事情,传一个callback,然后callback里面又传callback的情况,这样的结果就是整个代码逻辑非常混乱。

这个还真不是,如果说没有 ES6 的 JavaScript,可能真有 Callback hell,但这是 Python 啊!Python

早就实现了左值绑定唉,yield 那姿势比某些天天吹的语言不知道高到哪里去了,当然我说的是完整版的 Python3 yield。即便是不完整的

Python 2 yield 用于异步表达式求值也是完全足够的,tornado 的 gen.coroutine 啊。

同步形态写异步,在 Python 实力强的公司里面早普及了,这是个工程问题,并非语言问题。当然把这种事怪在 Python 身上,Python:怪我咯看

python没有原生的协程支持,虽然可以通过gevent,greenlet这种的上patch方式来支持协程,但毕竟更改了python源码。另外,python的yield也可以进行简单的协程模拟,但毕竟不能跨堆栈,局限性很大,不知道3.x的版本有没有改进。

无论是 Gevent 还是 Greenlet 均没修改 Python 源码,事实上这货已经成为了 Py2 coroutine 的标准,加上豆瓣开源出来的greenify,基本上所有的库都可以平滑的异步化,包括 MySQL 等 C 一级的 lib。自从用上这套技术后,豆瓣的 Python dev 各种爽得不要不要的。

当我第一次使用python开发项目,我是没成功安装上项目需要的包的,光安装成功mysql库就弄了很久。后来,是一位同事将他整个python目录打包给我用,我才能正常的将项目跑起来。话说,现在有了docker,是多么让人幸福的一件事情。

而部署python服务的时候,我们需要在服务器上面安装一堆的包,光是这一点就让人很麻烦,虽然可以通过puppet,salt这些自动化工具解决部署问题,但相比而言,静态编译语言只用扔一个二进制文件,可就方便太多了。

恰好我又是在开发基于 docker 的平台, docker 还真不是用来做部署这事的。首先, Python 是有 virtualenv

这个工具的,事实上对比包管理和包隔离,Python 比 Go 高得不知道哪里去了。Python 跟 Git 谈笑风生的时候, Go 的 dev

们还得考虑我怎样才能使得 import 的包稳定在一个版本上(当然现在有很多第三方方案)。Virtualenv + Pip 完全可以实现

Python 部署自动化,所以这个问题我认为是,工具链选取问题。毕竟是个十几年的老妖怪了,Python

啥情况没见过啊,各种打包工具任君选择,强行说 Python 部署不方便,Python:怪我咯看

python非常灵活简单,写c几十行代码才能搞定的功能,python一行代码没准就能解决。但是太简单,反而导致很多

同学无法对代码进行深层次的思考,对整个架构进行细致的考量。来了一个需求,啪啪啪,键盘敲完开速实现,结果就是代码越来越混乱,最终导致了整个项目代码

失控。

曾经知乎有个帖子问 Python 会不会降低程序员编程能力,

我只能说这真的很人有关。你不去思考深层次的东西怪语言不行是没道理的,那好,Go 里面 goroutine 是怎么实现的,一个带 socket 的

goroutine

最小能做到多少内存,思考过看任何语言都有自己的优势和劣势,都需要执行者自己去判断,一味的觉得简单就不会深入思考这是有问题的。另外,代码混乱我认为

还是工程上的控制力不够,豆瓣有超过10W行的 Python 实现,虽然不说很完美,大体上做到了不会混乱这么个目标。

还有,C 写几十行搞定的 Python 一行解决这绝对是重大 feature,生产力啊,人员配置啊,招人培养的成本啊,从工程上来说,Python 在这一块完全是加分项,不是每个项目都要求极致的并发,极致的效率,做工程很多时候都是要取舍的。

虽然java和php都是最好的编程语言(大家都这么争的),但我更倾向一门更简单的语言。而openresty,虽然性

能强悍,但lua仍然是动态语言,也会碰到前面说的动态语言一些问题。最后,前金山许式伟用的go,前快盘架构师葱头也用的go,所以我们很自然地选择了

go。

Openresty 用 lua 如果按照动态语言的角度去看,还真算不上,顶多是个简单点的 C。许式伟走的时候大多数都是

CPP,葱头目前我还不知道他创业用的是什么写的,不过他肯定没语言倾向。当年无论是 leo 还是 ufa,一个用 Python 一个用

Java, 他都是从工程实际来选择使用什么样的语言。

error,好吧,如果有语言洁癖的同学可能真的受不了go的语法,尤其是约定的最后一个返回值是error。

这其实是 Go style,无论是 go fmt 还是 error style,Go 其实是想抹平不同工程师之间的风格问题。不再为了一个缩进和大括号位置什么的浪费时间。这种方法并不是不好,只是我个人觉得没 rust 那种返回值处理友善。

GC,java的GC发展20年了,go才这么点时间,gc铁定不完善。所以我们仍然不能随心所欲的写代码,不然在大请求量下面gc可能会卡顿整个服务。所以有时候,该用对象池,内存池的一定要用,虽然代码丑了点,但好歹性能上去了。

1.4 开始 go 就是 100% 精确 GC 了,另外说到卡顿啊,完全和你怎么用对象有关,能内联绝不传引用大部分场景是完全足够的,这样 gc 的影响程度会最低。实在想用池……只能说为啥不选 Java。

天生的并行支持,因为goroutine以及channel,用go写分布式应用,写并发程序异常的容易。没有了蛋疼的callback导致的代码逻辑割裂,代码逻辑都是顺序的。

这是有代价的,goroutine 的内存消耗计算(当然1.3还是1.4开始得到了很大的改善,内存最小值限制已经没了),channel

跨线程带来的性能损耗(跨线程锁),还有对 goroutine 的控制力几乎为 0

等。总之这种嘛,算不上是杀手级特性,大家都有,是方便了一点,但也有自己的弊端。比如我们用 go 吧,经常就比较蛋疼 spawn 出去的

goroutine 怎么优美的 shutdown,反而有时候把事情做复杂化了。

性能,go的性能可能赶不上c,c++以及openresty,但真的也挺强悍的。在我们的项目中,现在单机就部署了一个go的进程,就完全能够胜任以前200个python进程干的事情,而且CPU和MEM占用更低。

我不严谨的实测大概 gevent+py2 能达到同样逻辑 go 实现的 30%~40%,pypy+tornado 能达到

80%~90%,混合了一些计算和连接处理什么的。主要还是看业务场景吧,纯粹的 CPU bound 当然是 go 好,纯粹的 IO bound

你就是用 C 也没用啊。

运维部署,直接编译成二进制,扔到服务器上面就成,比python需要安装一堆的环境那是简单的太多了。当然,如果有cgo,我们也需要将对应的动态库给扔过去。

我们现在根据 glibc 所处的 host 版本不同有2套编译环境,看上去是部署简单了,编译起来坑死你。另外虽然说 disk 便宜,这几行代码就几M了,集群同步部署耗时在某些情况下还真会出篓子。

开发效率,虽然go是静态语言,但我个人感觉开发效率真的挺高,直觉上面跟python不相上下。对于我个人来说,最好的

例子就是我用go快速开发了非常多的开源组件,譬如ledisdb,go-mysql等,而这些最开始的版本都是在很短的时间里面完成的。对于我们项目来

说,我们也是用go在一个月就重构完成了第一个版本,并发布。