caffe 环境搭建 – Python量化投资

caffe 环境搭建

记录基于 python3 的 caffe 编译过程中遇到的问题及解决方法,希望对其他人有所帮助。

参考博客:https://blog.csdn.net/zf6770/article/details/81222826
ps(最好还是基于python2.7,否则可能出现出乎意料的各种坑)

基本环境

Anaconda 3.5.0(Python3.6.5)
Ubuntu 18.04
cuda 9.0
cudnn 7.6.2

从github 上 clone 项目

git clone https://github.com/BVLC/caffe.git

进入 caffe 文件夹

安装各种依赖,否则会遇到各种编译问题

sudo apt install caffe-cuda
sudo apt-get install libprotobuf-dev libleveldb-dev libsnappy-dev libopencv-dev
sudo apt-get install libhdf5-serial-dev protobuf-compiler
sudo apt-get install --no-install-recommends libboost-all-dev
sudo apt-get install libopenblas-dev liblapack-dev libatlas-base-dev
sudo apt-get install libgflags-dev libgoogle-glog-dev liblmdb-dev

剩余操作可参考文章开头博客相同。

遇到的问题

  1. 运行 ldconfig 出现
    /sbin/ldconfig.real: /usr/local/cuda-9.0/targets/x86_64-linux/lib/libcudnn.so.7 is not a symbolic link

借鉴 https://blog.csdn.net/zf6770/article/details/81222826 中的做法:

cd /sbin/ldconfig.real: /usr/local/cuda-9.0/targets/x86_64-linux/lib(链接文件所在目录)
sudo mv libcudnn.so.7 libcudnn.so.7.org
sudo ln -s libcudnn.so.7.org libcudnn.so.7
sudo ldconfig

问题解决

  1. 打开python 执行import caffe
    出现
from ._caffe import Net, SGDSolver, NesterovSolver, AdaGradSolver, \
ImportError: /home/lixin/software/caffe/python/caffe/_caffe.so: undefined symbol: _ZN5boost6python6detail11init_moduleER11PyModuleDefPFvvE

原因是boost_python的版本不匹配,默认python版本为3.6,而boost_python为2.7

解决方法:修改 caffe 目录下Makefile
将 PYTHON_LIBRARIES ?= boost_python-py27 python27
根据 boost 生成的 python 库进行修改(一般在/usr/lib/x86_64-linux-gun/ 下面)
形如 libboost_python-py36.so, 则改为:
PYTHON_LIBRARIES := boost_python-py36 python3.6m
若没有,则需在 boost 源目录下对python进行编译:
进入boost文件,输入 sudo ./bootstrap.sh –with-libraries=python –with-toolset=gcc
输入 ./b2 cflags=’-fPIC’ cxxflags=’-fPIC’ –with-python include=”/home/anaconda3/include/python3.6m/”
(python 目录根据自己需要修改)
然后将编译好的 .so 放到 /usr/lib/x86_64-linux-gun/ 下面,根据 .so 的前缀修改 Makefile 重新编译 caffe 。

如果编译时,有类似如下的错误提示:

/usr/bin/ld: cannot find -lpci

则可以安装相应的库,来解决这个问题:

sudo apt-get install libpci-dev

其实就是缺少什么就安装什么(星号表示库名)

 /usr/bin/ld: cannot find -l*

 sudo apt-get install lib*-dev

如果还有问题,尝试编译的时候直接 make all 而不是 make all -j6 (多核编译)。

https://www.jianshu.com/p/cb78f733c1e3

「点点赞赏,手留余香」

    还没有人赞赏,快来当第一个赞赏的人吧!
0 条回复 A 作者 M 管理员
    所有的伟大,都源于一个勇敢的开始!
欢迎您,新朋友,感谢参与互动!欢迎您 {{author}},您在本站有{{commentsCount}}条评论