一、网络优化
1、选择合适的源:Git底层是利用HTTP/HTTPS或SSH协议传输数据的,不同的Git源服务器地理位置不同、网络带宽也不同,选择合适的源对于Git Clone的速度有巨大的影响。GitHub和GitLab因为国内网络封锁问题,所以访问速度相对较慢,可以选择一些国内的Git镜像,如:阿里云、华为云、清华大学、中科院等。
2、修改Git默认缓存:Git 1.8版本后默认开启了HTTP缓存, 缓存数据保存在~/.gitconfig中,这里主要讲的是位于缓存数据中的HTTP数据缓存。如果git clone一个存在大量小文件的仓库,而HTTP响应头中Content-Length 不存在或错误就会影响性能,这是因为如果长度错误,缓存有可能还会等待服务器发送数据。而如果服务器使用chunked编码则会缓存全部内容,从而浪费空间且降低性能。修改Git默认缓存的方法是在~/.gitconfig中添加下列代码:
[http] postBuffer = 524288000 maxRequestBuffer = 100M maxBufferSize = 5G
二、开启SHALLOW Clone
默认情况下,Git Clone会将整个项目从服务器上完整的clone下来,这通常会包含每一个历史commit,这意味着你的clone会非常庞大,时间也非常长,是非常低效的。而开启shallow clone可以只下载一个项目的补丁(patch),让clone速度更快。
使用Shallow Clone只需要在clone时添加--depth参数,后面跟的数字表示只clone最近的多少个commit速度就会大大提升,虽然不是完整的,但对于开发者而言已经足够了,对于那些只需要关注某一版本的人工作足矣。
git clone --depth=1 git://github.com/user/repo.git
三、使用git-lfs
大型仓库往往会包含许多大文件,Git v1.5.6及之前版本并没有提供大文件处理的相关功能,然而,Git官方却开发出一个名为 Git Large File Storage 的扩展 Git-lfs。Git LFS 用于管理Git仓库中的徐大文件(大于100 MB),并以异步形式在本地和远程仓库之间传递。使用 Git-lfs 可以使大型仓库的checkouts和clones速度得到大幅提升。
可以使用以下步骤安装Git LFS:
- 安装git-lfs。具体安装步骤参阅:https://git-lfs.github.com/。
- 确保Git LFS文件正确地提交到仓库。在提交前,请使用以下命令将您的大文件标记为“指针”:
- 提交更改,并push到远程仓库。
git lfs track "*.mp4"
四、使用 Gitsync 进行多线程Clone
大型代码库的Clone非常耗时间,尤其是在有些环境下Git服务器的带宽受到限制。在这种情况下,您需要让Clone并行,以加速clone速度。Gitsync 工具提供了一种自动化多线程Clone方法。Gitsync 并行clone多个时可以充分利用服务器性能,加快clone的速度。
以下是使用 Gitsync 进行多线程Clone的步骤:
- 安装Gitsync:
pip3 install gitsync
- 编写配置文件:
{ "github.com/user/repo": { "dst": "/path/to/clone/directory", "timeout": 10, "n_process": 4, "depth": 1, "extra": "--stategy=ours" } }
- 运行gitsync:
gitsync --conf conf.json
这里conf.json文件中的各个参数说明如下:
- github.com/user/repo:是需要clone的项目
- dst:本地目录
- timeout:连接超时时间,单位是秒
- n_process:同时运行clone的数量
- depth: --depth 参数,类似 --depth=1
- extra:额外的参数。可以为git clone命令提供额外的参数