本文目录一览:
caffe python代码怎么用 gpu运行
编译和安装Caffe 。。。但我在编译caffe时 输入make all 指令时报错 :提示找不到hdf5.h 我百度后 按照这个解决了。这样make all 成功 make test也成功 make runtest也成功。 再开始其第3步:增加python支持这步 开始我看不清 就从这里开始参考: 编译python时: make pycaffe报错:找不到arrayobject.h 解决办法:sudo apt-get install python-numpy 这样就解决了。这样第3步的几条指令均成功。再开始第4步 第4.2步报错说:pip 找不到指令 于是我在终端输入sudo apt-get install python-pip即解决了。 接着执行4.2步 第一个ipython[all]装时失败了 我就先装后面的几个 有的成功 有的失败 失败的是protobuf和skimage 解决办法是:自己
使用集群运行你的python代码
集群中有四台主机,master(无GPU),node01,node02,node03(GPU主机),直接运行 python main.py 程序将在CPU中运行。
如下步骤可以运行你的程序:
在你的文件目录下新建一个 lsf.sh 文件,正文写入:
其中 python main.py 是你运行程序的命令,然后:
source activate 你的conda环境
开启环境,用
bsub lsf.sh 向集群提交运算任务。
即可运行程序,终端会给你一个任务序号,输出文件就是 序号.out 和 序号.err 。
** 其他命令:**
bjobs -W 查看你的任务运行状况
bhosts -gpu 查看集群GPU使用情况。
用GPU做python程序并行到底用什么好
因为我的程序中需要并行的是优化计算的evaluation部分,所以如果能够找到一些支持并行优化的库就可以。 从python官网上,可以找到一个DEAP库(git上有),利用map进行并行计算。 这个库的优点是,documents和例子是非常详细的。