前些日子 在自己mac 和公司 mac book 安裝 hive 也是感覺 吐血才安裝好了一半 ，默默的心疼自己兩秒鐘。由于上周 公司 數據和算法小組要求 使用hive ，所以這周第一天就開始了 hive 安裝 踩坑 實況。
首先是 直接 登錄 服務器，進入 /usr/local/ 目錄
直接 wget hive 的 壓縮包
wget https://mirrors.tuna.tsinghua.edu.cn/apache/hive/hive-2.3.0/apache-hive-2.3.0-bin.tar.gz
之后解壓 到 此目錄
tar -zxvf apache-hive-2.3.0-bin.tar.gz -C /usr/local/
重命名
`
mv apache-hive-2.3.0-bin hive
進入 hive/lib/目錄，將 [mysql-connector-java-5.1.36.jar] 放入此目錄
wget http://124.202.164.13/files/516600000AA33837/repo.maven.apache.org/maven2/mysql/mysql-connector-java/5.1.36/mysql-connector-java-5.1.36.jar
進入 hive/conf/ 目錄
cp hive-default.xml.template hive-site.xml
cp hive-env.sh.template hive-env.sh
cp hive-log4j2.properties.template hive-log4j2.properties
cp hive-exec-log4j2.properties.template hive-exec-log4j2.properties
注意 hive 只認 hive-site.xml,如果是 hive-default.xml 會報 各種錯
Hive 2.1.1 MetaException(message:Version information not found in metastore. )
`
在 hive-env.sh配置
JAVA_HOME
HADOOP_HOME
并把 hive 加入到環境變量
echo export HIVE_HOME=/usr/local/hive >>/etc/profile
echo export PATH=$PATH:$HIVE_HOME/bin >>/etc/profile
前提需要把 mysql 在服務器 上安裝好，并啟動，
之后 修改 /hive/conf/hive-site.xml 中的幾個熟悉，找到這幾個屬性 ，并把相對路徑改為 絕對路徑，并把該創建的文件夾創建了，并賦予權限。
`
<property>
<name>hive.querylog.location</name>
<value>/usr/local/hive/iotmp</value>
<description>Location of Hive run time structured log file</description>
</property>
<property>
<name>hive.exec.local.scratchdir</name>
<value>/usr/local/hive/iotmp</value>
<description>Local scratch space for Hive jobs</description>
</property>
<property>
<name>hive.downloaded.resources.dir</name>
<value>/usr/local/hive/iotmp</value>
<description>Temporary local directory for added resources in the remote file system.</description>
</property>
mkdir /usr/local/hive/iotmp/
chown -R hadoop:hadoop /usr/local/hive/iotmp/
如果不把這幾個相對路徑修改為 絕對路徑，則報
Exception in thread "main" java.lang.IllegalArgumentException: java.net.URISyntaxException: Relative path in absolute URI: ${system:java.io.tmpdir%7D/$%7Bsystem:user.name%7D
在root 用戶 手動創建 /usr/local/hive/iotmp/ 目錄并賦予hadoop用戶權限，否則會失敗。
Exception in thread "main" java.lang.RuntimeException: Couldn't create directory /usr/local/hive/iotmp
`
還有幾個屬性 需要修改值
比如 mysql 的連接信息
`
jdbc連接方式
<name>javax.jdo.option.ConnectionDriverName</name>
<value>com.mysql.jdbc.Driver</value>
mysql連接配置
<name>javax.jdo.option.ConnectionURL</name>
<value>jdbc:mysql://172.16.7.191:3306/hive?createDatabaseIfNotExist=true</value>
mysql數據庫的用戶名
<name>javax.jdo.option.ConnectionUserName</name>
<value>hive</value>
用戶對應的密碼
<name>javax.jdo.option.ConnectionPassword</name>
<value>123456</value>
`
hive 部署需要注意的幾點以及Version information not found 錯誤解決辦法
安裝HIVE 過程中要注意
1，mysql 是否正常運行
創建好mysql 用戶并分配好相應的訪問權限以及數據庫端口號等
mysql-connector-java-5.1.26-bin.jar 是否放到hive/lib 目錄下 建議修改權限為777 （chmod 777 mysql-connector-java-5.1.26-bin.jar）
修改conf/hive-site.xml 中的 “hive.metastore.schema.verification” 值為 false 即可解決 “Caused by: MetaException(message:Version information not found in metastore. )”
調試 模式命令 hive -hiveconf hive.root.logger=DEBUG,console
還有三個屬性在 hive-site.xml中
`
datanucleus.schema.autoCreateAll=true
或 datanucleus.autoCreateSchema=true
datanucleus.metadata.validate=false
hive.metastore.schema.verification=false
`
<property>
<name>datanucleus.schema.autoCreateAll</name>
<value>true</value>
<description>Auto creates necessary schema on a startup if one doesn't exist. Set this to false, after creating it once.To enable auto create also set hive.metastore.schema.verification=false. Auto creation is not recommended for production use cases, run schematool command instead.</description>
</property>
為 mysql 創建新的用戶 比如 dev
進入 mysql交互模式
創建數據庫 然后創建用戶 給特定的數據庫 賦予權限
create database hive default character set latin1;
grant select,insert,update,delete,create,drop ,index alter on hive.* to dev@localhost identified by 'DmE_34dev'; # 有時候 會丟掉 index 和alter 這兩個，然后就報index 和alter 的權限不足
也可以這樣
GRANT ALL PRIVILEGES ON . TO 'myuser'@'%' IDENTIFIED BY 'mypassword' WITH GRANT OPTION;
這個localhost 建議 寫你的hive 的內網ip ，直接使用localhost 有時候會報錯，比如用
192.168.255.155，或者直接使用 % ，不然 外網無法登錄訪問
FLUSH PRIVILEGES; #一定要刷新權限
參看 http://www.cnblogs.com/shyy/archive/2012/03/30/2453034.html
2017-11-01T19:49:05,404 ERROR [main] org.apache.hadoop.hive.metastore.HiveMetaStore - Metastore Thrift Server threw an exception...
org.apache.hadoop.hive.metastore.api.MetaException: Unable to open a test connection to the given database. JDBC url = jdbc:mysql://192.168.255.155:3306/hive?createDatabaseIfNotExist=true, username = linkdev. Terminating connection pool (set lazyInit to true if you expect to start your database after your app). Original Exception: ------
java.sql.SQLException: Access denied for user 'linkdev'@'linkhadoop-master' (using password: YES)
Caused by: org.datanucleus.store.rdbms.exceptions.MissingTableException: Required table missing : "DBS" in Catalog "" Schema "". DataNucleus requires this table to perform its persistence operations. Either your MetaData is incorrect, or you need to enable "datanucleus.schema.autoCreateTables"
WARN [main] org.apache.hadoop.hive.metastore.HiveMetaStore - Retrying creating default database after error: Error(s) were found while auto-creating/validating the datastore for classes. The errors are printed in the log, and are attached to this exception.
Caused by: com.mysql.jdbc.exceptions.jdbc4.MySQLSyntaxErrorException: INDEX command denied to user 'linkdev'@'linkhadoop-master' for table 'DBS'
at sun.reflect.GeneratedConstructorAccessor23.newInstance(Unknown Source)
之后在 mysql 正在運行的基礎上
1.啟動Hive 的 Metastore Server服務進程
hive --service metastore &
如果沒有報錯，就接著往下走，
2 hive第一次登錄需要初始化，主要是 在 mysql 的hive庫中創建
hive 相關的 表，
schematool -dbType mysql -initSchema
該初始化 等同于在 進行一下操作
`
cd $HIVE_HOME/scripts/metastore/upgrade/mysql/
< Login into MySQL >
mysql> drop database IF EXISTS hive;
mysql> create database hive;
mysql> use hive;
mysql> source hive-schema-2.3.0.mysql.sql;
只能有一次操作，否則會報錯，
Error: Duplicate key name'PCS_STATS_IDX' (state=42000,code=1061)
Initialization script hive-schema-2.3.0.mysql.sql Error: Duplicate key
`
3.登錄hive
/usr/local/hive/bin/hive
不報錯 說明基本可以使用了，主要要用 hadoop 用戶啟動hive，用root用戶會報錯
Caused by: org.apache.hadoop.security.AccessControlException: Permission denied: user=root, access=WRITE, inode="/user":hdfs:supergroup:drwxr-xr-x
參考 博文
http://blog.csdn.net/seashouwang/article/details/77867134
http://www.lxweimin.com/p/978a77a1d6a2
http://www.lxweimin.com/p/921e7607fb56
http://www.lxweimin.com/p/776802db315e
