安装教程来自 http://blog.csdn.net/sadonmyown/article/details/72781393ubuntu
首先,我使用的节点环境是ubuntu 16.04.1,事先 成功安装了spark和hadoop,版本分别为spark-2.11和hadoop-2.7.3ruby
问题 1:按照教程一步步进行到编译Caffe步骤时,出现以下错误:oop
Step 1ui
在Makefile.config文件的第95行,添加/usr/include/hdf5/serial/ 到 INCLUDE_DIRS,也就是把下面第一行代码改成第二行代码。spa
1 INCLUDE_DIRS := $(PYTHON_INCLUDE) /usr/local/include
2 INCLUDE_DIRS := $(PYTHON_INCLUDE) /usr/local/include /usr/include/hdf5/serial/
Step 2.net
在Makefile文件的第181行,把 hdf5_hl 和hdf5修改成hdf5_serial_hl 和 hdf5_serial,也就是把下面第一行代码改成第二行代码。code
1 LIBRARIES += glog gflags protobuf boost_system boost_filesystem m hdf5_hl hdf5
2 LIBRARIES += glog gflags protobuf boost_system boost_filesystem m hdf5_serial_hl hdf5_serial
问题 2:编译CaffeOnSpark时,出现以下错误:
同问题1解决方式相同,不一样的是修改的文件是CaffeOnSpark/caffe-public下面的Makefile.config和Makefile文件,此处无须赘述!blog
继续编译,仍有错误出现,最终致使编译失败,部分截图以下所示:
根据错误发现是节点缺乏Protobuf依赖,所以须要安装对应hadoop版本的Protobuf,安装过程我参考了 http://blog.csdn.net/blue_it/article/details/53996216 的安装教程,安装过程当中主要注意有两点:
1.版本号必须对应,不然极可能出现不可预料的错误
2.编译过程当中须要使用sudo权限,以避免出现权限不够的状况
其余相关问题教程中也会有说起。
此处问题我上网搜了不少问题,最终是把Caffe目录下的Makefile.config 文件拷贝到了CaffeOnSpark/caffe-public目录下,执行教程
make clean make buildhadoop
再从新编译,最终成功了。
但愿对碰见相同问题的你有所帮助!