本文基于Spark2.1.0版本
1，先簡單介紹一下通過SparkSQL JDBC連接數據庫的好處，不過這不是本文的重點 。
JDBC(Java DataBase Connectivity)：是一套統一訪問各類數據庫的標準Java接口，為各個數據庫廠商提供了標準的實現。通過JDBC技術，開發人員可以用純Java語言和標準的SQL語句編寫完整的數據庫應用程序，并且真正地實現了軟件的跨平臺性。
Spark SQL also includes a data source that can read data from other databases using JDBC. This functionality should be preferred over using JdbcRDD. This is because the results are returned as a DataFrame and they can easily be processed in Spark SQL or joined with other data sources. The JDBC data source is also easier to use from Java or Python as it does not require the user to provide a ClassTag.
簡單點來說，通過JDBC連接DB，得到DataFrame，可以更容易、更高效的使用Spark SQL引擎來處理數據（優于JdbcRDD）。
2，官方提供了2種使用JDBC接口的方法。
第一種：
使用DataFrameReader 類提供的load()方法從指定數據庫讀取數據
對應的代碼是：
Dataset<Row>jdbcDF = spark.read().format("jdbc") ? #代表使用jdbc方式
.option("url", "jdbc:postgresql:dbserver")?
#url的格式是jdbc:postgresql://數據庫IP:端口號/數據庫名稱
.option("dbtable", "schema.tablename") #要訪問的具體的表
.option("user", "username") ? ? ? ? ? ? ? ? ? ? ?#操作該數據庫的用戶名
.option("password", "password") ? ? ? ? ? ? ?#操作該數據庫的用戶密碼
.load();
使用DataFrameWrite類的save()方法向指定數據庫保存數據
對應的代碼是：
jdbcDF.write().format("jdbc") ? ? ? ? ? ? ? ? ? ? ? #代表使用jdbc方式
.option("url", "jdbc:postgresql:dbserver")
#url的格式是jdbc:postgresql://數據庫IP:端口號/數據庫名稱
.option("dbtable", "schema.tablename") ? ?#要訪問的具體的表
.option("user", "username") ? ? ? ? ? ? ? ? ? ? ? ? ?#操作該數據庫的用戶名
.option("password", "password") ? ? ? ? ? ? ? ? #操作該數據庫的用戶密碼
.save();
第二種：
使用DataFrameReader 類提供的jdbc()方法從指定數據庫讀取數據
對應的代碼是： ??
Properties connectionProperties = new Properties();? #實例化一個Properties對象
connectionProperties.put("user", "username"); ? ? ? ? ? #保存訪問數據庫的用戶名
connectionProperties.put("password", "password"); ?#保存訪問數據庫的用戶密碼
DatasetjdbcDF2=spark.read().jdbc("jdbc:postgresql:dbserver","schema.tablename",
connectionProperties);
#url的格式是jdbc:postgresql://數據庫IP:端口號/數據庫名稱，第二個參數是具體訪問的表名稱
使用DataFrameWrite類的jdbc()方法向指定數據庫保存數據
對應的代碼是：
jdbcDF2.write().jdbc("jdbc:postgresql:dbserver", "schema.tablename", connectionProperties);
#url的格式是jdbc:postgresql://數據庫IP:端口號/數據庫名稱，第二個參數是具體訪問的表名稱
兩種方法區別不大，從數據庫讀取數據時都返回DataFream，不過第二種方法在保存數據時，代碼量會少一點，因為它在讀取數據的時候，已經保存了連接屬性connectionProperties。
3，下面，我會從一步一步的來教你如何使用這些方法。
首先，找一臺主機來安裝PostgreSQL：
我的操作系統是Centos 7.2.1511，自帶的PostgreSQL資源是9.2版本。
root用戶下執行： yum install postgresql*
安裝完畢后，繼續在root用戶下執行：postgresql-setup initdb #初始化數據庫
修改 /var/lib/pgsql/data/postgresql.conf ?#允許遠程訪問
listen_addresses ='*'
port=5432
修改 /var/lib/pgsql/data/pg_hba.conf ? ? ? ?#允許遠程訪問
# IPv4 local connections:
host? all? ? ? all? ? ? 127.0.0.1/32? ? ? trust?
host ?all ? ? ?all ? ? ?0.0.0.0 0.0.0.0 ?trust (如果想對密碼強驗證，可以寫成md5)?
我沒有開啟防火墻，如果你開啟了防火墻，請自行修改允許要訪問數據庫服務器的IP通過。
之后啟動服務：
systemctl start postgresql
下面進入psql，創建新的用戶、數據庫、表。
su - postgres ? ? ? #切換用戶，執行后提示符會變為 '-bash-4.2
psql -U postgres #登錄數據庫，執行后提示符變為 'postgres=#'
CREATE USER test WITH PASSWORD '123456'; ?#創建新的用戶test及設置密碼為123456
CREATE DATABASE mypsql; ? ? ? ? ?#創建新的數據庫mypsql
\c mypsql; ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? #切換到新創建的數據庫mypsql
create table mytable(t1 int, t2 int); ?#創建一張表，有2列
數據庫相關的配置完成了，為了SparkSQL通過JDBC訪問PostgreSQL，我們還應該下載對應版本的依賴包postgresql-9.2-1002-jdbc4.jar，并把它放在所有節點的SPARK_HOME/jars下。?
地址：www.findmaven.com/detail/central/org.jumpmind.symmetric.jdbc/postgresql/9.2-1002-jdbc4/0/jar/20/1
ok，所有的準備工作做完了，下面就開始進行jdbc調用的步驟了。
4，兩種方法來調用JDBC。
第一種，通過java代碼生成jar包，使用spark-submit方式提交應用程序來訪問PostgreSQL數據庫。（下面會將前文說到的兩種API方法都寫成代碼）
可以看到，代碼中通過JDBC接口，在PostgreSQL的數據庫中生成了test1，test2表（這是以前操作找到的圖，數據庫和表的名字不是本文中說的mypsql、mytable等，請自動忽略我的懶惰）
第二種方式，是通過spark-shell交互式的訪問PostgreSQL，結果就不貼圖了，和上面的效果一樣。
load／save方法讀寫數據庫
val jdbcDF = spark.read.format("jdbc").option("url", "jdbc:postgresql://wl1:5432/mypsql")
.option("dbtable", "mytable").option("user", "test")
.option("password", "123456").load() ? #load方法讀
jdbcDF.write.format("jdbc").option("url", "jdbc:postgresql://wl1:5432/mypsql")
.option("dbtable", "mytable").option("user", "test")
.option("password", "123456").save() ?#save方法寫
#jdbc方法讀寫數據庫
val connectionProperties = new Properties()
connectionProperties.put("user", "test")
connectionProperties.put("password", "123456")
val jdbcDF2 = spark.read
.jdbc("jdbc:postgresql://wl1:5432/mypsql", "mytable", connectionProperties) #jdbc方法讀
jdbcDF2.write
.jdbc("jdbc:postgresql://wl1:5432/mypsql", "mytable", connectionProperties) #jdbc方法寫
5，上述操作，在4040 web ui的顯示
