一、任務

1.1、商品零售購物籃分析

現代商品種類繁多，顧客往往會由于需要購買的商品眾多而變得疲于選擇，且顧客并不會因為商品選擇豐富而選擇購買更多的商品。

繁雜的選購過程往往會給顧客疲憊的購物體驗。

---

1.2、了解顧客需求

---

1.3、任務目標

• 創建訂單表和物品分類表
• 統計顧客數量和商品購買數量
• 統計各類型商品的購買情況
• 統計所有商品中排名前20的熱銷商品
• 統計不同類別商品中排名前10的熱銷商品
• 將同一個客戶的訂單整合為一列并寫入HDFS

---

二、配置Hive的java開發環境

2.1、搭建開發環境

• 在Eclipse中創建Java工程
• 導入Hive安裝包下lib目錄中所有的Jar包
• 導入Hadoop安裝包下share\hadoop\common\lib、share\hadoop\common、share\hadoop\hdfs\lib、share\hadoop\hdfs、share\hadoop\mapreduce、share\hadoop\mapreduce\lib的Jar包

啟動遠程服務：

• 在Linux端執行：hive --service hiveserver2 &
• 查看：netstat -nplt | grep 10000

---

2.2、Hive連接

HiveServer2
目前Hive的Thrift服務端通常使用HiveServer2,它是HiveServer改進版本，它提供了新的ThriftAPI來處理JDBC或者ODBC客戶端，可以進行Kerberos身份驗證，支持多個客戶端并發。

BeeLine
HiveServer2還提供了新的CLI：BeeLine，它是Hive 0.11引入的新的交互式CLI，基于SQLLine，可以作為Hive JDBC Client 端訪問HiveServer2。

通過BeeLine連接hive
hive安裝目錄/bin/beeline -u jdbc:hive2://hiveServer2所在ip:端口號 -n 用戶名
例如： beeline -u jdbc:hive2://192.168.128.130:10000 -n root

2.2.1、創建Connection連接

String driverName ="org.apache.hive.jdbc.HiveDriver"; String url="jdbc:hive2://192.168.128.10:10000/default"; String username="root"; String password=“root";Class.forName(driverName); Connection connection = DriverManager.getConnection(url, username, password); Statement stmt = connection.createStatement(); stmt.execute("CREATE DATABASE shop"); connection.close();

---

三、任務步驟

3.1、創建訂單表和物品分類表

3.2、導入數據到訂單表和物品分類表

---

3.3、統計顧客數量和商品銷售量

---

3.4、統計各類型商品的購買情況

• 關聯訂單表和類別表
• 按商品類型分組統計并排序

---

3.5、統計所有商品中排名前20的熱銷商品

• 按商品分組統計銷售量
• 排序并選出排名前20的商品

---

3.6、統計不同類別商品中排名前10的熱銷商品

• 關聯訂單表和類別表
• 按商品類型和商品分組統計各組各個商品的銷售量
• 對每種商品類型中的商品按銷售量降序排序
• 取出每種商品類型中排序前10的商品

row_number() over()分組排序功能

---

3.7、將同一個客戶的訂單整合為一列并寫入HDFS

• 通過HQL將表數據寫入HDFS

collect_list(字段) 將某字段拼成列表 concat_ws(',',collect_list(字段)) 設置拼接時的分隔符

總結

以上是生活随笔為你收集整理的学习笔记Hive（六） —— Hive开发应用的全部內容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網站內容還不錯，歡迎將生活随笔推薦給好友。