本文目录一览：
- 1、用docker搭建一个高可用可扩展的服务支撑系统怎么做
- 2、如何使用Go语言实现远程执行命令
- 3、程序需要在有auth认证的mongodb下运行eval函数或命令时提示无权限
- 4、Golang 绑定mac和ip地址，限制服务器
用docker搭建一个高可用可扩展的服务支撑系统怎么做
一种方案为Haproxy+etcd+confd，采用松散式的组织结构，但各个组件之间的通讯是非常严密的，且扩展性更强，定制也更加灵活。
一、架构优势
约定由Haproxy+etcd+confd+Docker构建的基础服务平台简称“HECD” 架构，整合了多种开源组件，看似松散的结构，事实上已经是一个有机的整体，它们互相联系、互相作用，是Docker生态圈中最理想的组合之一，具有以下优势：
自动、实时发现及无感知服务刷新；
支持任意多台Docker主宿机；
支持多种APP接入且打散至不分主宿机；
采用Etcd存储信息，集群支持可靠性高；
采用Confd配置引擎，支持各类接入层，如Nginx；
支持负载均衡、故障迁移；
具备资源弹性，伸缩自如（通过生成、销毁容器实现）；
二、架构说明
在HECD架构中，首先管理员操作Docker Client，除了提交容器（Container）启动与停止指令外，还通过REST-API方式向Etcd（K/V）存储组件注册容器信息，包括容器名称、主宿机IP、映射端口等。Confd配置组件会定时查询Etcd组件获取最新的容器信息，根据定义好的配置模板生成Haproxy配置文件Haproxy.cfg，并且自动reload haproxy服务。用户在访问业务服务时，完全没有感知后端APP的上线、下线、切换及迁移，达到了自动发现、高可用的目的。详细架构图见图1-1。
图1-1 平台架构图
为了方便大家理解各组件间的关系，通过图1-2进行架构流程梳理，首先管理员通过Shell或API操作容器，下一步将容器信息注册到Etcd组件，Confd组件会定时查询Etcd，获取已经注册到Etcd中容器信息，最后通过Confd的模板引擎生成Haproxy配置，整个流程结束。
图1-2架构流程图
了解架构流程后，我们逐一对流程中各组件进行详细介绍。
1、Etcd介绍
Etcd是一个高可用的 Key/Value 存储系统，主要用于分享配置和服务发现。
简单：支持 curl 方式的用户 API (HTTP+JSON)
安全：可选 SSL 客户端证书认证
快速：单实例可达每秒 1000 次写操作
可靠：使用 Raft 实现分布式
2、Confd介绍
Confd是一个轻量级的配置管理工具。通过查询Etcd，结合配置模板引擎，保持本地配置最新，同时具备定期探测机制，配置变更自动reload。
3、Haproxy介绍
HAProxy是提供高可用性、负载均衡以及基于TCP和HTTP应用的代理，支持虚拟主机，它是免费、快速并且可靠的一种解决方案。（来源百科）
三、架构部署
平台环境基于Centos6.5+Docker1.2构建，其中Etcd的版本为etcd version 0.5.0-alpha，Confd版本为confd 0.6.2，Haproxy版本为HA-Proxy version 1.4.24。下面对平台的运行环境、安装部署、组件说明等进行详细说明，环境设备角色表如下：
1、组件安装
1.1 Docker安装
SSH终端登录192.168.1.22服务器，执行以下命令：
# yum -y install docker-io
# service docker start
# chkconfig docker on
1.2 Haproxy、confd安装
SSH终端登录192.168.1.20服务器，执行以下命令：
1、haproxy
# yum –y install haproxy
2、confd
# wget
# mv confd /usr/local/bin/confd
# chmod +x /usr/local/bin/confd
# /usr/local/bin/confd -version
confd 0.6.2
1.3 Etcd安装
SSH终端登录192.168.1.21服务器，执行以下命令：
# yum -y install golang
# mkdir -p /home/install cd /home/install
# git clone
# cd etcd
# ./build
# cp bin/etcd /bin/etcd
# /bin/etcd -version
etcd version 0.5.0-alpha
2、组件配置
2.1 Etcd配置
由于etcd是一个轻量级的K/V存储平台，启动时指定相关参数即可，无需配置。
# /bin/etcd -peer-addr 192.168.1.21:7001 -addr 192.168.1.21:4001 -data-dir /data/etcd -peer-bind-addr 0.0.0.0:7001 -bind-addr 0.0.0.0:4001
由于etcd具备多机支持，参数“-peer-addr”指定与其它节点通讯的地址；参数“-addr”指定服务监听地址；参数“-data-dir”为指定数据存储目录。
由于etcd是通过REST-API方式进行交互，常见操作如下：
1) 设置(set) key操作
# curl -L -d value="this is awesome"
{"action":"set","node":{"key":"/mykey","value":"this is awesome","modifiedIndex":28,"createdIndex":28}}
2) 获取(get) key信息
# curl -L
{"action":"get","node":{"key":"/mykey","value":"this is awesome","modifiedIndex":28,"createdIndex":28}}
3) 删除key信息
# curl -L {"action":"delete","node":{"key":"/mykey","modifiedIndex":29,"createdIndex":28},"prevNode":{"key":"/mykey","value":"this is awesome","modifiedIndex":28,"createdIndex":28}} 更多操作API见。
2.2 Confd+Haproxy配置
由于Haproxy的配置文件是由Confd组件生成，要求Confd务必要与haproxy安装在同一台主机上，Confd的配置有两种，一种为Confd资源配置文件，默认路径为“/etc/confd/conf.d”目录，另一种为配置模板文件，默认路径为“/etc/confd/templates”。具体配置如下：
创建配置文件目录
# mkdir -p /etc/confd/{conf.d,templates}
（1）配置资源文件
详细见以下配置文件，其中“src”为指定模板文件名称（默认到路径/etc/confd/templates中查找）；“dest”指定生成的Haproxy配置文件路径；“keys”指定关联Etcd中key的URI列表；“reload_cmd”指定服务重载的命令，本例中配置成haproxy的reload命令。
【/etc/confd/conf.d/ haproxy.toml】
[template]
src = "haproxy.cfg.tmpl"
dest = "/etc/haproxy/haproxy.cfg"
keys = [
"/app/servers",
]
reload_cmd = "/etc/init.d/haproxy reload"
（2）配置模板文件
Confd模板引擎采用了Go语言的文本模板，更多见，具备简单的逻辑语法，包括循环体、处理函数等，本示例的模板文件如下，通过range循环输出Key及Value信息。
【/etc/confd/templates/haproxy.cfg.tmpl】
global
log 127.0.0.1 local3
maxconn 5000
uid 99
gid 99
daemon
defaults
log 127.0.0.1 local3
mode http
option dontlognull
retries 3
option redispatch
maxconn 2000
contimeout 5000
clitimeout 50000
srvtimeout 50000
listen frontend 0.0.0.0:80
mode http
balance roundrobin
maxconn 2000
option forwardfor
{{range gets "/app/servers/*"}}
server {{base .Key}} {{.Value}} check inter 5000 fall 1 rise 2
{{end}}
stats enable
stats uri /admin-status
stats auth admin:123456
stats admin if TRUE
（3）模板引擎说明
本小节详细说明Confd模板引擎基础语法与示例，下面为示例用到的KEY信息。
# curl -XPUT value="192.168.1.22:49156"
# curl -XPUT value="192.168.1.22:49158"
# curl -XPUT value="192.168.1.22:49160"
# curl -XPUT value="192.168.1.22:49162"1、base
作为path.Base函数的别名，获取路径最后一段。
{{ with get "/app/servers/prickly_blackwell"}}
server {{base .Key}} {{.Value}} check
{{end}}
prickly_blackwell 192.168.1.22:49162
2、get
返回一对匹配的KV，找不到则返回错误。
{{with get "/app/servers/prickly_blackwell"}}
key: {{.Key}}
value: {{.Value}}
{{end}}
/app/servers/prickly_blackwell 192.168.1.22:49162
3、gets
{{range gets "/app/servers/*"}}
{{.Key}} {{.Value}}
{{end}}
/app/servers/backstabbing_rosalind 192.168.1.22:49156
/app/servers/cocky_morse 192.168.1.22:49158
/app/servers/goofy_goldstine 192.168.1.22:49160
app/servers/prickly_blackwell 192.168.1.22:49162
4、getv
返回一个匹配key的字符串型Value，找不到则返回错误。
{{getv "/app/servers/cocky_morse"}}
192.168.1.22:49158
5、getvs
返回所有匹配key的字符串型Value，找不到则返回错误。
{{range getvs "/app/servers/*"}}
value: {{.}}
{{end}}
value: 192.168.1.22:49156
value: 192.168.1.22:49158
value: 192.168.1.22:49160
value: 192.168.1.22:49162
6、split
对输入的字符串做split处理，即将字符串按指定分隔符拆分成数组。
{{ $url := split (getv "/app/servers/cocky_morse") ":" }}
host: {{index $url 0}}
port: {{index $url 1}}
host: 192.168.1.22
port: 49158
7、ls
返回所有的字符串型子key，找不到则返回错误。
{{range ls "/app/servers/"}}
subkey: {{.}}
{{end}}
subkey: backstabbing_rosalind
subkey: cocky_morse
subkey: goofy_goldstine
subkey: prickly_blackwell
8、lsdir
返回所有的字符串型子目录，找不到则返回一个空列表。
{{range lsdir "/app/"}}
subdir: {{.}}
{{end}}
subdir: servers
（4）启动confd及haproxy服务
下面为启动Confd服务命令行，参数“interval”为指定探测etcd的频率，单位为秒，参数“-node”为指定etcd监听服务主地址，以便获取容器信息。
# /usr/local/bin/confd -verbose -interval 10 -node '192.168.1.21:4001' -confdir /etc/confd /var/log/confd.log
# /etc/init.d/haproxy start nbsp;
如何使用Go语言实现远程执行命令
一般命令
所谓一般命令，就是在一定时间内会执行完的命令。比如 grep, cat 等等。 执行命令的步骤是：连接，执行，获取结果
连接
连接包含了认证，可以使用 password 或者 sshkey 2种方式来认证。下面的示例为了简单，使用了密码认证的方式来完成连接。
import (
"fmt"
"time"
"golang.org/x/crypto/ssh"
)
func connect(user, password, host string, port int) (*ssh.Session, error) {
var (
auth []ssh.AuthMethod
addr string
clientConfig *ssh.ClientConfig
client *ssh.Client
session *ssh.Session
err error
)
// get auth method
auth = make([]ssh.AuthMethod, 0)
auth = append(auth, ssh.Password(password))
clientConfig = ssh.ClientConfig{
User: user,
Auth: auth,
Timeout: 30 * time.Second,
}
// connet to ssh
addr = fmt.Sprintf("%s:%d", host, port)
if client, err = ssh.Dial("tcp", addr, clientConfig); err != nil {
return nil, err
}
// create session
if session, err = client.NewSession(); err != nil {
return nil, err
}
return session, nil
}
连接的方法很简单，只要提供登录主机的 用户*， *密码*， *主机名或者IP*， *SSH端口
执行，命令获取结果
连接成功后，执行命令很简单
import (
"fmt"
"log"
"os"
"time"
"golang.org/x/crypto/ssh"
)
func main() {
session, err := connect("root", "xxxxx", "127.0.0.1", 22)
if err != nil {
log.Fatal(err)
}
defer session.Close()
session.Run("ls /; ls /abc")
}
上面代码运行之后，虽然命令正常执行了，但是没有正常输出的结果，也没有异常输出的结果。 要想显示结果，需要将 session 的 Stdout 和 Stderr 重定向 修改 func main 为如下：
func main() {
session, err := connect("root", "xxxxx", "127.0.0.1", 22)
if err != nil {
log.Fatal(err)
}
defer session.Close()
session.Stdout = os.Stdout
session.Stderr = os.Stderr
session.Run("ls /; ls /abc")
}
这样就能在屏幕上显示正常，异常的信息了。
交互式命令
上面的方式无法远程执行交互式命令，比如 top ， 远程编辑一个文件，比如 vi /etc/nginx/nginx.conf 如果要支持交互式的命令，需要当前的terminal来接管远程的 PTY。
func main() {
session, err := connect("root", "olordjesus", "dockers.iotalabs.io", 2210)
if err != nil {
log.Fatal(err)
}
defer session.Close()
fd := int(os.Stdin.Fd())
oldState, err := terminal.MakeRaw(fd)
if err != nil {
panic(err)
}
defer terminal.Restore(fd, oldState)
// excute command
session.Stdout = os.Stdout
session.Stderr = os.Stderr
session.Stdin = os.Stdin
termWidth, termHeight, err := terminal.GetSize(fd)
if err != nil {
panic(err)
}
// Set up terminal modes
modes := ssh.TerminalModes{
ssh.ECHO: 1, // enable echoing
ssh.TTY_OP_ISPEED: 14400, // input speed = 14.4kbaud
ssh.TTY_OP_OSPEED: 14400, // output speed = 14.4kbaud
}
// Request pseudo terminal
if err := session.RequestPty("xterm-256color", termHeight, termWidth, modes); err != nil {
log.Fatal(err)
}
session.Run("top")
}
程序需要在有auth认证的mongodb下运行eval函数或命令时提示无权限
mongodb本来是没有权限问题的，因为默认设置无用户无密码，
为了保障安全，需要手动设置一个账号和用户，这里不细谈如何创建有权限认证的mongodb账号（如mysql的root用户）
笔者用的是golang10.1+mongodb3.6，之前项目是不认证的程序，加了认证之后提示没有权限操作
那么首先在
连接地址处加上用户和密码（马赛克处是密码）
运行单元测试发现，增查删改功能正常，但是
eval函数还是说我没有授权
看了官网文档说
需要grant一个anyAction on anyResource的user
参考于
解决办法如下：
登录mongodb，执行以下命令：
其中yourusername和yourpassword是自己设置的用户和密码（这个用户前提是已经有了root权限）
问题解决。
Golang 绑定mac和ip地址，限制服务器
实际业务：go 二进制文件在私有化部署中，需要对客户的服务器mac和ip进行绑定，系统只能运行在绑定的服务器上。把mac和ip地址配置到config中。
运行效果：系统可正常编译，正常访问，在用户Auth接口进行核对。
//检验Mac和内网IP，测试环境不做校验
func (c *CommonBase)CheckMacAndIp()error {
ipCfg :=g.Cfg().GetString("machine.Ipaddr")
macCfg :=g.Cfg().GetString("machine.Macip")
if ipCfg =="127.0.0.1" {
return nil
}
macArray,_ :=gipv4.GetMacArray()
if len(macArray) ==0 {
return gerror.New("mac地址获取失败")
}
if garray.NewStrArrayFrom(macArray).Contains(macCfg) ==false {
return gerror.New("示授权的应用MAC，请联系")
}
ipArray,_ :=gipv4.GetIpArray()
ipIntranetArray,_ :=gipv4.GetIntranetIpArray()
if len(ipArray) ==0 len(ipIntranetArray) ==0 {
return gerror.New("ip地址获取失败")
}
if garray.NewStrArrayFrom(ipArray).Merge(ipIntranetArray).Contains(ipCfg) ==false {
return gerror.New("示授权的应用IP，请联系")
}
return nil
}
项目使用GoFrame框架1.6。考虑到客户可能会对内存数据做分析破解，可以把mac和ip地址做AES加密。
