HDB 擴充套件 PXF (Pivotal Extension Framework) 應用

在Hadoop生態圈裡, 雖然擁有眾多生態系統工具, 但大多用戶仍然需要的是SQL的操作介面,
Pivotal HDB 提供一個在Hadoop上運行的標準SQL引擎介面, 箇中好處開發者最能感受,
但本篇重點不在這, 哈哈~ 主要分享在HDB上可以輕易整合外部資料的應用.
PXF (Pivotal Extension Framework), 主要功能為滿足整合外部資料的需求, 以平行並列方式存取資料, 透過單一表單連接到外部資料源, 易於自定連接器, 並支持 Hadoop 生態圈的 HDFS、Hive、HBase及JSON格式檔.

PXF的外部資料處理架構

其中:

• Tomcat - 提供 HTTP REST API 接口服務, 負責協助連繫外部資料.
• Native Tables - 使用者可以在HDB裡自行定義資料表單, 而資料配置於Hadoop裡.
• External Tables - 使用者透過外部表來存取外部資料.

接著我們來實作幾個PXF的案例

   1. 資料存放在HDFS上, 我們試著用HDB來查詢HDFS上的資料, 步驟如下:

          a. 上傳資料檔 HR_Training.csv 至HDFS上.

              資料檔鏈節 https://www.dropbox.com/s/twxmj6l6xs5a6l2/HR_Training.csv?dl=0

            

          b. 連線至HDB, 建立外部表並讀取HDFS上的檔案.

          c. 透過外部表查詢HDFS上的檔案.

         我們可以看到在HDB裡與HDFS上的資料連結起來了. 因此未來資料可以從HDFS匯入,
         接著透過HDB的SQL介面讀取.

   2. 資料存放在Hive上, 我們試著用HDB來查詢Hive上的資料, 步驟如下:

          a. 建立資料表單

          b. 匯入 /tmp/HR_Training.csv 資料檔,及驗証資料.

          c. 連線至HDB, 建立外部表並讀取Hive上的檔案.

          d. 透過外部表查詢Hive上的檔案.

        Hive 我們也可以與HDB連結起來了, 這工具方便整合Hadoop上現有的資料平台, 不錯用東西.