【CPU + GPU版】Ubuntu16.04 + caffe + Anaconda2 + OpenCV3.x（附：问题集锦+测试案例）

 【CPU版】Ubuntu + caffe + Anaconda2 + OpenCV3.x

2017.06.02：整理出第一个版本。

2018.01.05：整理libhdf5_hl.so.100和libopencv_highgui.so等两个问题。

2018.01.05：Ubuntu 16.04中使用Matlab R2016b编译Caffe接口出错的解决方法。

一、本文目的

本文基于上一篇博文《Ubuntu 常用软件安装：Matlab + XX-net + … + TeamViewer + Tensorflow + Caffe》中的caffe环境的搭建部分进行完善，更详细的进行整理，主要贡献如下：

1、根据本人实践过程进行记录，更加完善记录整个“caffe环境搭建”的过程。

2、归纳总结问题集锦：caffe环境的搭建过程确实很多细节需要处理，本文尽可能收集一些相关的参考资料。

3、本文会尽可能详细的列出每个步骤，图文结合，并附上参考网址。

4、贴出【CPU版本】和【GPU版本】的Makefile.configure配置文件。

5、总结归纳测试案例。

参考网址：

1）caffe的配置过程：http://blog.csdn.net/brightming/article/details/51106629

2）【深度学习】 Ubuntu16.04 caffe Opencv2.4.13 GPU环境配置：http://blog.csdn.net/sinat_17196995/article/details/53466524

3）Ubuntu 常用软件安装：Matlab + XX-net + … + TeamViewer + Tensorflow + Caffe

4）caffe安装：http://blog.csdn.net/lanxuecc/article/details/51997919

 

 

新增参考网址（20180105）

 

3D – caffe：https://github.com/faustomilletari/3D-Caffe.git

深度学习之常用软件（ubuntu）：http://blog.csdn.net/houchaoqun_xmu/article/details/78869052

发表过CVPR-2017的作者的博客：http://zongweiz.leanote.com/post/Install-caffe-in-Ubuntu

 

cuda-8.0 + cudnn-5.1 的安装步骤请参考这里：http://blog.csdn.net/houchaoqun_xmu/article/details/78869052

OpenCV-3.3.0（Ubuntu-16.06）请参考这里：http://blog.csdn.net/houchaoqun_xmu/article/details/78565

 

二、GPU版caffe配置过程

 

1、更新安装必要的软件包，去除不必要的包

 

2、查看系统GPU信息：lspci | grep -i nvidia

注：如果当前系统尚未安装NVIDIA驱动，需先进行安装，可参考这里。

3、安装并配置CUDA8.0

 

 

1）下载对应版本的CUDA安装包（.deb文件）：https://developer.nvidia.com/cuda-downloads

2）cd到文件所在路径，并执行如下命令：

3）sudo dpkg -i cuda-repo-<distro>_<version>_<architecture>.deb 

4）sudo apt-get update 

5）sudo apt-get install cuda

=== 配置环境变量 ===

1）export PATH=“/usr/local/cuda-8.0/bin:$PATH”

2）export LD_LIBRARY_PATH=”/usr/local/cuda-8.0/lib64:$LD_LIBRARY_PATH“

3）配置环境变量和动态链接库，在命令行输入【sudo gedit /etc/profile】在文件末尾加入【export PATH = “/usr/local/cuda/bin:$PATH”】，保存后关闭文件。

4）保存之后，创建链接文件，输入【sudo gedit /etc/ld.so.conf.d/cuda.conf】在打开的文件中添加如下语句【/usr/local/cuda/lib64】执行【sudo ldconfig】。

5）查看显卡的驱动版本: cat /proc/driver/nvidia/version

6）查看nvcc编译器的版本: nvcc -V

=== 编译CUDA Sample（可选） ===

1）参考网址：http://blog.csdn.net/sinat_17196995/article/details/53466524

2）【cd /usr/local/cuda-8.0/samples/bin/x86_64/linux/release】，然后执行【sudo ./deviceQuery】，出现如下信息，表示成功：

 

4、安装Anaconda2

 

1）到官网下载安装包（此处选择for Linux）：https://www.continuum.io/downloads/

2）cd到安装包文件所在的目录下并执行：bash Anaconda2-4.3.1-Linux-x86_64.sh

3）配置环境变量：

== sudo gedit ~/.bashrc

== export PATH="/home/hcq/anaconda2/bin:$PATH"

== source ~/.bashrc

5、安装、编译OpenCV3.x

 

1）sudo git clone https://github.com/jayrambhia/Install-OpenCV

2）在Install-OpenCV/Ubuntu目录下：

== 先执行命令：sudo chmod +x *

== 然后执行sudo ./opencv_latest.sh（此过程需要一段时间，最后出现OpenCV 3.2.0 ready to be used表示成功）

3）cd /home/hcq/Install-OpenCV/Ubuntu/OpenCV/opencv-3.2.0

4）sudo mkdir release

5）cd release

6）sudo cmake -D CMAKE_BUILD_TYPE=RELEASE -D CMAKE_INSTALL_PREFIX=/usr/local ..

7）sudo make（编译过程需要一段时间，要到100%才算是是成功）

8）sudo make install

编译完，环境也自动加上了。

===== 配置文件 =====

1）sudo gedit /etc/ld.so.conf.d/opencv.conf #配置相关文件

2）复制如下代码加入到文件

PKG_CONFIG_PATH=$PKG_CONFIG_PATH:/usr/local/lib/pkgconfig 

export PKG_CONFIG_PATH

3）source /etc/bash.bashrc

 

 

6、安装依赖项

1）安装google-glog：参考这里

== 下载地址：https://pan.baidu.com/s/1slpjjeH 

== 将glog‐0.3.3.tar.gz这个文件拷贝到主文件夹下，即/home/yourname 文件夹下，点击鼠标右键，选择提取到此处（也就是解压该文件）解压后在终端输入如下命令：

 

2）安装其他依赖项：

 

3）安装OpenBLAS

 

参考网址：https://github.com/xianyi/OpenBLAS#set-the-number-of-threads-with-environment-variables

注：如果在sudo make runtest 的时候出现错误【libopenblas.so.0: cannot open shared object file: No such file or directory】，第四部分有介绍解决方案。

7、安装其他所需工具（可能导致错误的一些安装，建议读者先跳过本节的安装，遇到问题后再进行安装，印象会比较深刻）

1）conda install libgcc    参考网址：http://blog.csdn.net/u010734277/article/details/70195043

2）sudo apt install ffmpeg     参考网址：http://f.dataguru.cn/thread-738610-1-1.html

8、安装并配置CUDNN（一定要看好对应的版本！！否则后面一些链接库会出错）：https://developer.nvidia.com/rdp/cudnn-download

 

====================== cudnn-5.1-8.0 ========================

1）切换到安装包所在的目录下：sudo tar xvf cudnn-8.0-linux-x64-v5.1.tgz

2）切换到 cuda/lib64 目录下：sudo cp lib* /usr/local/cuda-8.0/lib64/

3）切换到 cuda/include 目录下：sudo cp *.h /usr/local/cuda-8.0/include/

4）切换到 /usr/local/lib 目录下：sudo chmod +r libcudnn.so.5.1.10 && sudo ln -sf libcudnn.so.5.1.10 libcudnn.so.5 && sudo ln -sf libcudnn.so.5 libcudnn.so && sudo ldconfig

 

9、下载caffe源码、配置、编译：

=== 下载caffe源码 ===

1）cd到home/hcq/目录，下载caffe源码：sudo git clone https://github.com/BVLC/caffe.git

=== 配置相关文件 ===

1）cd到home/hcq/caffe，复制配置文件：sudo cp Makefile.config.example Makefile.config

2）配置Makefile.config文件：sudo gedit Makefile.config，去掉注释并修改的部分如下所示：

 

 

3）修改Makefile文件：sudo gedit Makefile，进行如下修改：

 

 

4）进入/usr/lib/x86_64-linux-gnu目录下，执行如下命令（否则会提示：/usr/bin/ld: 找不到 -lhdf5_hl 和 /usr/bin/ld: 找不到 -lhdf5）

 

5）caffe源码中，python的一些必要安装：

 

注：如果需要执行权限问题，就改变caffe文件的执行权限  sudo chown -R ‘hcq’ xxx

=== 编译caffe（期间遇到问题可以到第四部分查看是否有相关的解决方案）===

 

1）cd /home/hcq/caffe：进入caffe的根目录下

2）sudo make clean

3）sudo make all -j4 （-j4表示使用4核处理器执行当前指令）

4）sudo make test -j4（最好加上sudo防止有些文件的访问权限不够）

5）sudo make runtest -j4

6）sudo make pycaffe -j4（配置pycaffe）

=== 效果图展示 ===

1）sudo make all 成功后的效果图，如下所示：

2）sudo make runtest 成功后的效果图，如下所示：

 

 

10、caffe的测试案例：

 

参考网址：http://caffe.berkeleyvision.org/gathered/examples/mnist.html

1）import caffe，输入如下命令：

== cd /home/hcq/caffe

== python

== import caffe

== 第一次成功后如下所示：

2）MNIST 模型

 

== cd /home/hcq/caffe（确保当前目录是caffe目录），执行如下命令：

== sudo ./data/mnist/get_mnist.sh

== sudo ./examples/mnist/create_mnist.sh

== sudo ./examples/mnist/train_lenet.sh

== 训练完成后如下所示：

 

3）Cifar-10 模型

== cd /home/hcq/caffe                                     #cd到caffe源码的根目录下

== sudo ./data/cifar10/get_cifar10.sh              #该脚本会下载二进制的cifar，并解压，会在/data/cifar10中出现很多batch文件 

== sudo ./examples/cifar10/create_cifar10.sh #运行后将会在examples中出现数据集./cifar10_xxx_lmdb和数据集图像均值./mean.binaryproto

注：CIFAR-10的卷积神经网络模型由卷积层，pooling层，ReLU，非线性变换层，局部对比归一化线性分类器组成。该模型定义在CAFFE_ROOT/examples/cifar10/cifar10_quick_train_test.prototxt中。

== sudo ./examples/cifar10/train_quick.sh      #先以0.001的学习率迭代4000次，再以0.01的学习率接着再迭代1000次，共5000次

注：同理可以训练full模型，full模型比quick模型迭代次数多，一共迭代70000次，前60000次学习率是0.001，中间5000次学习率是0.0001，最后5000次学习率是0.00001。full模型的网络层数也比quick模型多，输入如下命令训练full模型

== sudo ./examples/cifar10/train_full.sh

参考网址：

== caffe示例实现之1在CIFAR-10数据集上训练与测试Caffe：http://blog.csdn.net/liumaolincycle/article/details/47258937

== caffe官网：http://caffe.berkeleyvision.org/

训练成功后，提示如下所示，以sudo ./examples/cifar10/train_quick.sh为例：

 

 

 

4）使用训练的模型来分类新数据：

== 确保 sudo make pycaffe 已经编译成功。

== 打开终端，在caffe源码的根目录下，执行如下命令：

 

 

 

上面这句话的意思是，使用cifar10_quick.prototxt网络 + cifar10_quick_iter_4000.caffemodel.h5模型，对examples/images/cat.jpg图片进行分类。

 

错误原因：

解决方案：

1）cd /home/hcq/caffe/script

2）python download_model_binary.py /home/hcq/caffe/models/bvlc_reference_caffenet

参考网址：http://blog.csdn.net/u011636440/article/details/52441519

解决上述问题后，又出现新问题提示如下所示：

 

错误原因：ValueError: Mean shape incompatible with input shape. 是因为‘mean’与‘input’的尺寸不同造成的。

 

解决方案：修改了 ./python/caffe/io.py 文件，如下

将：

 

 

修改为：

 

 

参考网址：http://blog.csdn.net/gzljss/article/details/45849013

运行成功后，提示如下所示：

 

 

== 使用cifar10_quick_iter_4000.caffemodel.h5模型：

 

 

== 错误提示如下：

 

原因：在目录/home/hcq/caffe/examples/cifar10下，确实不存在cifar10_quick_iter_4000.caffemodel.h5这个模型，运行结果必然错误。

 

解决方案：到目录/home/hcq/caffe/examples/cifar10下查看已有的模型，然后把指定的模型换成已有的模型，已有的模型如下所示（因人而异）：

 

 

== 选择【cifar10_quick_iter_5000.caffemodel.h5】作为指定模型，再次运行如下命令：

 

== 运行成功后，提示如下所示：

 

 

 

注：默认的classify脚本不会直接输出结果，而是会把结果输入到foo文件里，不太直观，网上有一个修改版，添加了一些参数，可以输出概率最高的分类。

替换Python/classify.py，下载地址：

这个脚本添加了两个参数，可以指定labels_file，然后可以直接把分类结果输出出来：

 

 

 

Caffe学习资料：

1、Classification: Instant Recognition with Caffe：http://nbviewer.jupyter.org/github/BVLC/caffe/blob/master/examples/00-classification.ipynb 

 

 

 

 

三、CPU版caffe环境配置过程

1、CPU和GPU版本的一些区别：

1）CPU版本的话，不需要NVIDIA驱动，不需要安装CUDA，不需要配置CUDNN

2）caffe目录下的Makefile.configure配置不一样

3）配置模型的时候，solver_mode: CPU，变成CPU（如果没改的话会报错），如下所示：

2、CPU版本的Makefile.configure配置，未注释掉的部分，如下所示：

 

 

3、测试案例跟GPU的类似，只不过需要把solver_mode: CPU改为CPU。

四、问题集锦

 

1、sudo make all 编译过程遇到的错误，【conda install libgcc】安装libgcc即可，错误提示如下所示：

 

或者如下所示：

 

2、sudo make runtest 时遇到的错误，【sudo apt install ffmpeg】安装ffmpeg即可，错误提示如下所示：

 

3、sudo make runtest 时遇到的错误，缺失一些相关的so链接：

 

以及

 

原因：目录/usr/lib/x86_64-linux-gnu下确实是找不到【libhdf5_hl.so.10】和【libhdf5.so.10】这两个文件，如下图所示：

解决方案：根据相应的文件，创建所需的软连接，如下所示：

4、Makefile.configure配置中，关于nvcc warning的一些警告，注释掉相关的配置代码即可，提示如下所示：

 

5、Check failed: status == CUDNN_STATUS_SUCCESS (3 vs. 0)  CUDNN_STATUS_BAD_PARAM

 

原因：初步断定是NVIDIA的显存不够，本文所使用的机器是GeForce GTX 960  2GB的显存。本人做了如下探究：

1）据同学介绍，他使用的机器显存有8GB，就不会出现这样的问题。

2）本人还尝试使用CPU( 物理内存8GB )运行sudo make runtest -j4，也不会出现这样的问题。

解决方案：

1）从机器层面入手，扩大硬件性能（主要是显存）

2）改用CPU跑程序，不过最后使用GPU的话还是需要使用好一点的设备（显卡、显卡）

参考网址：http://www.cnblogs.com/penguinliong/p/6351215.html

6、build_release/tools/caffe: error while loading shared libraries: libopenblas.so.0: cannot open shared object file: No such file or directory

描述：Makefile.configure配置好了，相应的引用位置也有 libopenblas.so.0 该文件，make runtest的时候仍然出错。

解决方案：将 openblas 的库所在位置添加到系统环境变量 LD_LIBRARY_PATH，export LD_LIBRARY_PATH=/opt/OpenBLAS/lib/ sudo ldconfig。打开终端，输入如下命令：

1）export LD_LIBRARY_PATH=/opt/OpenBLAS/lib/ 

2）sudo ldconfig

参考网址：

1）http://blog.csdn.net/lanxuecc/article/details/51997919

2）http://blog.csdn.net/lien0906/article/details/46816243

3）https://github.com/sermanet/OverFeat/issues/10

配置成功后的提示如下所示：

 

7、Check failed: fd != -1 (-1 vs. -1) File not found: examples/cifar10/cifar10_full_iter_60000.solverstate

描述：执行【sudo ./examples/cifar10/train_full.sh】报错。

解决方案：

相似问题：Check failed: fd != -1 (-1 vs. -1) File not found: deploy.prototxt

原因：因为没有把deploy.prototxt文件复制到demo下。

解决方案：把caffe/models/bvlc_reference_caffnnet/deploy.prototxt复制到demo下即可。

参考网址：http://blog.csdn.net/ahbbshenfeng/article/details/52077605

 

8、error while loading shared libraries: libhdf5_hl.so.100

 

参考网址：http://blog.csdn.net/a8039974/article/details/77179330

 

9、Makefile:567: recipe for target ‘.build_release/examples/cifar10/convert_cifar_data.bin’ failed

 

reference：https://www.cnblogs.com/whu-zeng/p/6874307.html

 

9、Ubuntu 16.04中使用Matlab R2016b编译Caffe接口出错的解决方法

 

 

reference：https://github.com/BVLC/caffe/issues/3934

 

 

10、gcc 降级后的问题

 

reference：http://blog.csdn.net/u010734277/article/details/70195043

 

 

 

其他相关的参考网址：

1、解决/usr/lib/libstdc++.so.6: version `GLIBCXX_3.4.14′ not found问题：http://blog.csdn.net/xiaolong2w/article/details/23915171

2、Caffe搭建：常见问题解决办法和ubuntu使用中遇到问题（持续更新）：http://www.cnblogs.com/empty16/p/4828476.html

3、安装python caffe过程中遇到的一些问题以及对应的解决方案：http://www.cnblogs.com/TiBAi/p/6848307.html

4、安装caffe总结：http://blog.csdn.net/csoldiers/article/details/51685179

5、caffe+cuda7.0+opencv3.0.0+mkl ubuntu14.04配置：http://www.th7.cn/system/lin/201504/103304.shtml

6、Caffe 环境搭建中应注意的问题：http://blog.csdn.net/xiaxiazls/article/details/52039473

7、caffe cpu版 Anaconda3 python 接口安装：http://blog.csdn.net/u012675539/article/details/51351553