本文目录一览:
- 1、【golang】内存逃逸常见情况和避免方式
- 2、golang net/http包 http请求的字节码读取与解析。
- 3、【golang】高并发下TCP常见问题解决方案
- 4、golang中怎么处理socket长连接
- 5、Go 实现 TLS 双向认证
- 6、golang socket通信 怎么把一个客户端发送的数据推送给其他客户端
【golang】内存逃逸常见情况和避免方式
因为如果变量的内存发生逃逸,它的生命周期就是不可知的,其会被分配到堆上,而堆上分配内存不能像栈一样会自动释放,为了解放程序员双手,专注于业务的实现,go实现了gc垃圾回收机制,但gc会影响程序运行性能,所以要尽量减少程序的gc操作。
1、在方法内把局部变量指针返回,被外部引用,其生命周期大于栈,则溢出。
2、发送指针或带有指针的值到channel,因为编译时候无法知道那个goroutine会在channel接受数据,编译器无法知道什么时候释放。
3、在一个切片上存储指针或带指针的值。比如[]*string,导致切片内容逃逸,其引用值一直在堆上。
4、因为切片的append导致超出容量,切片重新分配地址,切片背后的存储基于运行时的数据进行扩充,就会在堆上分配。
5、在interface类型上调用方法,在Interface调用方法是动态调度的,只有在运行时才知道。
1、go语言的接口类型方法调用是动态,因此不能在编译阶段确定,所有类型结构转换成接口的过程会涉及到内存逃逸发生,在频次访问较高的函数尽量调用接口。
2、不要盲目使用变量指针作为参数,虽然减少了复制,但变量逃逸的开销更大。
3、预先设定好slice长度,避免频繁超出容量,重新分配。
golang net/http包 http请求的字节码读取与解析。
先配置Header最长读取时间、req最长读取时间、req最大读取长度默认6M。
RFC7230禁止\r\n参数,Url中只允许包含英文字母(a-zA-Z)、数字(0-9)、-_.~4个特殊字符以及所有保留字符。但go net/http包放宽了这个要求。
先构建newTextprotoReader,由于缓冲区是对象复用的,用完后要defer put。共完以以下解析任务:
TextprotoReader数据结构,将字节码Reader转成文本Reader。
第一步,从第一行解析出method uri prototype。
第二步解析URL。url.URL数据结构:
解析Scheme,协议前缀(小写)。有查询参数?,则配置url.ForceQuery url.RawQuery。有认证信息///...//,则解析url.User url.Host。最后配置url.Path和url.RawPath,如果Path==RawPath,则RawPath=""。
第三步解析MIMEHeader。
第四步readTransfer。重新配置如下参数:RequestMethod ProtoMajor ProtoMinor Header Trailer ContentLength Close。对于Body,如果encodings支持chunked,读取流用chunkedReader包裹。默认情况用LimitedReader,无body赋空的struct{}。
以下情况返回非空err,示得到正确的请求:
最后配置req.ctx req.RemoteAddr req.TLS body.doEarlyClose = true。
构建Response:
其中closeNotifyCh必须在构建时初始化,没有content所以先置contentLength为-1。
配置w.cw并被w.w包裹。w.cw缓冲默认大小2M。
获取Request可能出现如下错误:
先上响应数据结构:
response字段可以分类为:大对象、缓冲、KV对或bool型的状态参数。
大对象有:
状态字段:
chunkWriter数据结构:
chunkWriter包裹了Response,功能之一是完成Header设置,包括Content-Type Content-Length chunk-header。bufio.Writer是chunkWriter是缓冲包裹。
handler将响应写入到response.w。
调用w.w.Flush()将w写入到cw,注意到Flush()操作,如果未刷空缓存并报错,触发拷贝操作。报错不会退回已写出的数据。
进而调用cw.Write(),根据cw.chunking参数。
putBufioWriter(w.w)清空resp.w缓冲,如果池化放回sync.pool。
根据chunkWriter的定义,w.cw.close()负责cw的结束工作:写入换行符和resp.trailers数据。
最后刷新TCP缓冲w.conn.bufw.Flush(),完成响应包发送。并正确关闭request。
【golang】高并发下TCP常见问题解决方案
首先,看一下TCP握手简单描绘过程:
其握手过程原理,就不必说了,有很多详细文章进行叙述,本文只关注研究重点。
在第三次握手过程中,如果服务器收到ACK,就会与客户端建立连接,此时内核会把连接从半连接队列移除,然后创建新的连接,并将其添加到全连接队列,等待进程调用。
如果服务器繁忙,来不及调用连接导致全连接队列溢出,服务器就会放弃当前握手连接,发送RST给客户端,即connection reset by peer。
在linux平台上,客户端在进行高并发TCP连接处理时,最高并发数量都要受系统对用户单一进程同时打开文件数量的限制(这是因为系统每个TCP都是SOCKET句柄,每个soker句柄都是一个文件),当打开连接超过限制,就会出现too many open files。
使用下指令查看最大句柄数量:
增加句柄解决方案
golang中怎么处理socket长连接
实际上需要 3 个 goroutine,一个 read,一个 send,还有一个 handle。
read goroutine 读,然后写入 recevice chan。
write goroutine 把 send chan 的东西写。
handle goroutine 是 conn 的主要处理逻辑,负责把 recevice chan 的东西读出来 call 业务逻辑。
业务逻辑中要写数据就直接写入 send chan。
这样就可以保证,业务逻辑的读写都是在 handle goroutine 上处理,而避免 race 产生。
如果需要定时任务(比如心跳),就在 handle goroutine 上加上一个 timer.C;
如果需要 goroutine 下发任务,在 handle goroutine 增加一个 task chan,hanlde 收到 task 后处理业务;
如果需要输出结果,那就增加 result chan,业务逻辑把数据输出即可。
----------------------------
还有,如果我开2个goroutine的话,client断开连接了,假设recv goroutine先发生err并且close(fd),那在send goroutine中该如何处理呢?有可能不应该这样处理,那应该怎么处理呢?
如果 net.Conn Close() 了,不论 Read() 阻塞还是 Write() 阻塞都会立即收到 err 返回。
一般来说,Write() 是不可能主动知道连接断开的,除非是 SetDeadline() 猜测对方断掉了,指定时间内没有写成功就认为是断开。Read() 是可以主动收到对方发来的断开(TCP FIN),但也没办法知道异常的断开(当然也可以设置超时)。
无论是谁,是确实收到 FIN 还是 Deadline 猜测断开,只要 Close() 大家就知道连接断开了。
handle goroutine 还有一个用处就是:你的程序主动结束的时候,能正确的 close conn,让对方知道你是真的断开了,而不用去猜。
Go 实现 TLS 双向认证
将会在 config 文件夹中生成 ca.key 和 ca.crt 文件
将会在 config 文件夹中生成 server.key 、 server.csr 和 server.crt 文件
签名方式: SHA-256 ,默认的 SHA-1 签名算法安全性不够高,Go 中会出现警告。
将会在 config 文件夹中生成 client.key 、 client.csr 和 client.crt 文件
签名方式: SHA-256 ,默认的 SHA-1 签名算法安全性不够高,Go 中会出现警告。
wireshark 截图如下:
golang socket通信 怎么把一个客户端发送的数据推送给其他客户端
Socket通信的原理还是比较简单的, 它大致分为以下几个步骤。 服务器端的步骤如下。 (1)建立服务器端的Socket,开始侦听整个网络中的连接请求。 (2)当检测到来自客户端的连接请求时,向客户端发送收到连接请求的信息,并建立与客户端之间的...