因為需要用到LDA在一些大型預料上做一些實驗和業務，根據一些資料顯示lightLDA是目前來看性能最好的開源工具，于是我就嘗試在公司服務器上安裝配置lightLDA，過程沒有想象中那么容易，在這里把過程記錄下來，希望后來人盡量少踩些坑。
Why lightLDA
大致看了一下sparkLDA和JGibbsLDA，前者不支持Gibbs采樣，還是用的EM和差分推理。后者是一個需要用命令行運行的工程，應該可以整合到spark，但是基于對lightLDA高性能口碑的好奇和興趣，以及假如要使用lda模型，大型語料上的運行性能還是很重要的，所以還是選擇配置一個lightLDA試試
gcc升級到4.8.5
lightLDA需要gcc版本在4.8.5，否則會報std-c++ 11等錯誤，所以在安裝之前先對gcc進行升級。
安裝過程主要參考了下面的文檔，下載包和安裝過程敲命令的時候注意下版本號就行了。
http://blog.techbeta.me/2015/10/linux-centos6-5-upgrade-gcc/
https://itbilu.com/linux/management/V1vdnt9ll.html
http://blog.csdn.net/zcc_0015/article/details/51506947
安裝gcc/c++編譯器以及內核文件
yum -y install gcc gcc-c++ kernel-devel
安裝C和C++的靜態庫
yum install -y glibc-static libstdc++-static
安裝舊版本的gcc、c++編譯器
yum install gcc gcc-c++
下載安裝文件
wget https://ftp.gnu.org/gnu/gcc/gcc-4.8.5/gcc-4.8.5.tar.gz
解壓安裝文件
tar zxf gcc-4.8.5.tar.gz
轉到源程序根目錄
cd gcc-4.8.5
下載一些必備的依賴程序（自動完成）
./contrib/download_prerequisites
建立一個輸出目錄，編譯時所有生成的中間文件都放到該目錄下
mkdir build
cd build
執行configure配置安裝文件
../configure --enable-checking=release --enable-languages=c,c++ --disable-multilib
編譯
make
安裝
make install
完成后會在/usr/local/bin/中有unknown xxx gcc-xxx的包（下面用新gcc指代），需要改變系統默認的gcc，可以第三個參考資料中創建軟鏈接或者第二個參考資料里的方式，注意備份
which gcc 如果顯示的是/usr/bin/gcc，也有可能是usr/local/gcc，看你是不是管理員用戶了，下面先進行備份，再建立軟鏈接
mv /usr/bin/gcc /usr/bin/gcc4.4.7
ln -s /usr/local/bin/gcc(新gcc) /usr/bin/gcc
另外，g++, cc, c++這幾個命令也要改
mv /usr/bin/g++ /usr/bin/g++4.4.7
ln -s /usr/local/bin/g++（新） /usr/bin/g++
mv /usr/bin/cc /usr/bin/cc4.4.7
ln -s /usr/local/bin/cc（新） /usr/bin/cc
mv /usr/bin/c++ /usr/bin/c++4.4.7
ln -s /usr/local/bin/c++（新） /usr/bin/c++
全部完成重新登入就會看到改變
gcc --version
g++ --version
都會顯示4.8.5
因為我在第一次安裝失敗的時候找錯誤做實驗把管理員的gcc版本也改了，后面安裝成功不知道有沒有這個操作的影響，下次安裝的時候再測試做更新，不放心的可以把管理員的gcc版本也升級了，操作和上面的一樣，把/usr/bin中的gcc和g++備份后做新的軟鏈接。
lightLDA安裝
我按照官方給出的安裝教程會失敗，后面檢查發現是因為無法正常下載一個依賴包，也許只是我網絡的原因。下面進入正題。
- 下載代碼到本地
$ git clone https://github.com/Microsoft/lightlda
cd lightlda - 運行官方給出的build.sh
sh ./build.sh
如果沒有報錯，那么恭喜，一次成功了，可以跳過安裝這一節了。如果報錯了可能就是下面要說的錯誤。
- 我碰到的問題和解決方法
cannot find -lmultiverso
仔細查看了下運行時的提示信息，發現有一個依賴包下載失敗，然后繼續執行后面的命令了。
于是看一下build.sh的代碼
git clone -b multiverso-initial git@github.com:Microsoft/multiverso.git #下載DMTK到multiverso文件夾下
cd multiverso
cd third_party
sh install.sh #先安裝DMTK的第三方包
cd ..
make -j4 all #編譯安裝DMTK
cd ..
make -j4 #編譯安裝LightLDA
從代碼里可以看到安裝lightLDA之前就把依賴的DMTK平臺安裝了，如果這一步有問題，比如
Warning: Permanently added 'github.com,192.30.255.113' (RSA) to the list of known hosts.
Permission denied (publickey).
可以換一個下載源，語句換為:
git clone -b multiverso-initial https://github.com/Microsoft/multiverso.git
multverso/third_party下的install.sh代碼
# /bin/bash
# install third party library: 1. ZeroMQ, 2. MPICH2
THIRD_PARTY_DIR=$PWD
echo $TARGET_DIR
ZMQ_DIR=zeromq-4.1.3
MPI_DIR=mpich-3.0.4
# 1. Get ZeroMQ
wget http://download.zeromq.org/zeromq-4.1.3.tar.gz
tar -zxf zeromq-4.1.3.tar.gz
# Build ZeroMQ
# Make sure that libtool, pkg-config, build-essential, autoconf and automake
# are installed.
cd $ZMQ_DIR
./configure --prefix=$THIRD_PARTY_DIR --without-libsodium
make -j4
make install -j4
cd ..
rm -rf $ZMQ_DIR
# Get the C++ Wrapper zmq.hpp
wget https://raw.githubusercontent.com/zeromq/cppzmq/master/zmq.hpp
mv zmq.hpp $THIRD_PARTY_DIR/include
# Get MPICH2
wget http://www.mpich.org/static/downloads/3.0.4/mpich-3.0.4.tar.gz
tar -zxf mpich-3.0.4.tar.gz
# Build MPICH2
cd $MPI_DIR
./configure --prefix=$THIRD_PARTY_DIR --disable-fc --disable-f77
make -j4
make install -j4
cd ..
rm -rf $MPI_DIR
rm *.tar.gz*
一條一條執行，發現是在下載zeromq時失敗了，在網上找了另外一個下載源
https://github.com/zeromq/zeromq4-1/releases/download/v4.1.3/zeromq-4.1.3.tar.gz
可以用這個地址替換掉代碼中的地址，或者本地下載完之后上傳到/multiverso/third_party下然后刪掉（注釋掉）代碼中的下載語句。
再執行還會報bin/lightlda: error while loading shared libraries: libzmq.so.5: cannot open shared object file: No such file or directory的錯誤
需要在/etc下的ld.so.conf里添加libzmq.so.5的位置
查找文件位置
sudo find / libzmq.so.5
輸出在lightlda/multiverso/third_party/lib目錄下
把這個目錄加入到/etc/ld.so.conf文件中后執行sudo ldconfig命令即可
再執行應該就沒有問題了。
測試
代碼中給了一個測試方法，但是不能直接使用，依然觀察一下代碼
#!/bin/bash
root=`pwd`
echo $root
bin=$root/../bin
dir=$root/data/nytimes
mkdir -p $dir
cd $dir
# 1. Download the data
wget https://archive.ics.uci.edu/ml/machine-learning-databases/bag-of-words/docword.nytimes.txt.gz
gunzip $dir/docword.nytimes.txt.gz
wget https://archive.ics.uci.edu/ml/machine-learning-databases/bag-of-words/vocab.nytimes.txt
# 2. UCI format to libsvm format
python $root/text2libsvm.py $dir/docword.nytimes.txt $dir/vocab.nytimes.txt $dir/nytimes.libsvm $dir/nytimes.word_id.dict
# 3. libsvm format to binary format
$bin/dump_binary $dir/nytimes.libsvm $dir/nytimes.word_id.dict $dir 0
# 4. Run LightLDA
$bin/lightlda -num_vocabs 111400 -num_topics 1000 -num_iterations 100 -alpha 0.1 -beta 0.01 -mh_steps 2 -num_local_workers 1 -num_blocks 1 -max_num_document 300000 -input_dir $dir -data_capacity 800
是想先下載一個數據集，然后進行格式轉換，然后設定一些參數運行lightlda。
這里可能會碰到幾個問題：
- 數據集下載太慢，換數據源，https://bigartm.readthedocs.io/en/v0.8.2/download.html網站上有相同的數據，同樣可以替換代碼中的鏈接或
第一個鏈接https://s3-eu-west-1.amazonaws.com/artm/docword.nytimes.txt.gz
第二個鏈接https://s3-eu-west-1.amazonaws.com/artm/vocab.nytimes.txt
第二步的text2libsvm.py并不在該目錄下，而是在其下的example目錄下?？赡苓€有其他的路徑問題，自己設置路徑，然后手動一步一步的執行。
第三步dump_binary會報錯，后面應該還會用到這個命令，修復可以參考http://blog.csdn.net/officercat/article/details/39519265
/usr/lib64/libstdc++.so.6: version `GLIBCXX_3.4.18' not found
/usr/lib64/libstdc++.so.6: version `GLIBCXX_3.4.19' not found
至此就可以進行測試了，測試可以發現，隨著迭代次數增加，每輪迭代需要的時間是越來越少的
