本文展示pyspark與mysql、hive、hdfs的連接實例。一是為了紀念：終于走過n個坑，自己搭配好本地hadoop環境；一是為了讓還不會pyspark的人有個初步的印象，畢竟數據分析師除了會使用python以外，會使用spark也是很有必要的。

首先jps命令：

該啟動的都啟動了。

讓我們先看看mysql里有什么：

讓我們再看看hive：

細心的同學會發現，mysql與hive的sql語句完全一樣。

下面開始打開pyspark。我是用notebook作為pyspark的編輯環境的。

首先是連接mysql，讀取數據，有兩種方式。一種直接讀取數據庫+表，一種是用sql語句：

下面是往mysql里寫數據。這里把spark_df里的數據寫到了新表student1里

我們現在看看mysql，是不是成功寫入：

mysql寫入成功。

下面連接分布式文件系統hdfs。先看hdfs里有哪些文件，可以通過命令行的方式顯示，也可以打開文件瀏覽系統：

在tmp文件夾里有以上幾個文件。這里以rating.csv舉例。先用pyspark讀取hdfs上的rating.csv。

然后我們保存到hdfs里：

保存文件名是student1。我們看看保存成功里沒有：

保存成功。

下面是連接數據倉庫hive。

首先是讀取：

發現讀取成功。

然后是寫入。我們想把spark_df寫到hive里，創建新表student1：

現在回到hive，我們看看有沒有表student1：

寫入成功！

總結

以上是生活随笔為你收集整理的hadoop读取mysql数据_Pyspark连接mysql、hive、hdfs 实例展示的全部內容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網站內容還不錯，歡迎將生活随笔推薦給好友。