1. 場景

經常有小伙伴在交流群問我，每天的早報新聞是怎么獲取的？

其實，早期使用的方案，是利用爬蟲獲取到一些新聞網站的標題，然后做了一些簡單的數據清洗，最后利用 itchat 發送到指定的社群中。

由于爬蟲面對 網站改版的不穩定性及 itchat 不安全性 ，所以放棄了這種方案

后期更改了一種方案，通過修改爬蟲方案，創建 API 服務，編寫 App 去獲取數據，然后手動發送到微信群

本篇文章將和大家詳細聊聊具體的實現過程

2. 數據爬取

第 1 步， 通過 Python 爬蟲獲取數據

獲取方式有 2 種，分別是：已有的新聞早報網站、新聞網站的頭條新聞

選擇一種爬蟲方式，就能很快地爬取到目標網站的數據

第 2 步， 數據清洗，排序

將爬取到的數據先進行一次關鍵字篩選，然后按照點贊或者閱讀數按照熱點進行排序

第 3 步， 參數化，去重

去掉數據中重復的新聞，然后將最后展示的數目參數化

# 按照點贊數目，降序排列 news_sorted_pro = sorted(news, key=itemgetter('news_approve_num'), reverse=True)result = []for news_sorted_item in news_sorted_pro:result.append(news_sorted_item.get('title'))# 去重 result = sorted(set(result), key=result.index)# 只取前12條數據 result = result[:self.news_num] if len(result) >= self.news_num else result

需要注意的是， 由于新聞網站會經常改版，建議爬取多個新聞網站，做好異常處理，做一個優先級，如果一個網站爬取數據失敗，切換到下一個級別的網站爬取數據

3. 服務化

將數據服務化，即編寫 API，目的是為了方便終端調用

如果使用 Python 編寫 API，建議使用 FastAPI 或 Flask 框架，因為這兩個框架開發 API 方便快捷， 以 FastAPI 為例：

第 1 步， 安裝依賴

包含 FastAPI 框架及 hypercorn 依賴，hypercorn 是獨立的 ASGI 服務器，方便 FastAPI 項目的部署

# FastAPI框架 pip3 install fastapipip3 install hypercorn

第 2 步， 編寫 API

使用 FastAPI 很方便， 不到 10 行代碼就能編寫一個接口服務

只需要實例化 FastAPI 對象，利用裝飾器指定請求方法和路徑即可，調用上面的爬蟲方法即可。

from fastapi import FastAPI# 實例化 app = FastAPI()# API，Get方式 @app.get("/last_news") def get_last_news():"""最新的新聞:return:"""news = get_news()data = {'code': 0,'news': news}# 封裝return data

如要想本地調試 API，可以通過 uvicorn 命令運行項目

# 運行項目 uvicorn news:app --reload

然后訪問下面的地址，查看返回的新聞數據

http://127.0.0.1:8000/last_news

第 3 步， 生成依賴遷移文件

使用 pip freeze 命令將在本地生成依賴遷移文件

# 生成遷移文件 pip freeze > requirements.txt

第 4 步， 上傳代碼

將代碼上傳到代碼托管平臺，比如：碼云、GitLab 等

第 5 步， 服務器拉取代碼

服務器中通過 git 拉取代碼，并通過依賴文件一鍵安裝所有依賴

# 安裝依賴 pip3 install -r requirements.txt

第 6 步， 運行服務

使用 hypercorn 運行 FastAPI 項目，使進程一直在后臺運行，并保存運行日志信息

# 后臺運行 # 保存日志，綁定端口號為：8000 # nohup hypercorn news:app --bind 0.0.0.0:8000 > /news.log 2>&1 &

需要注意的是， 項目綁定的端口號需要在防火墻和云服務器安全組開啟

當然，如果使用 Java 編寫 API，推薦使用 Spring Boot，可以快速開發一個 Restful API 服務

4. 編寫 App

完成 API 服務之后，接下來就是在終端編寫一款 App 去訪問 API，拿到數據并展示出來

以編寫一款 Android 應用為例

首先，我們在界面上放置一個文本顯示框和一個按鈕控件

然后， 對按鈕控件設置點擊事件的監聽

get_news_btn = findViewById(R.id.get_news_btn);//監聽事件 get_news_btn.setOnClickListener(this);@Override public void onClick(View v) {switch (v.getId()){case R.id.get_news_btn:news_et.setText("獲取中。。。");getNewsMet();break;}}

接著， 使用 Android 的網絡請求框架 OkHttp 框架調用 API 獲取數據

/*** * 獲取新聞 */ private void getNewsMet() {OkHttpClient okHttpClient = new OkHttpClient();//構建請求信息：連接請求url 請求方法method 請求頭部headers 請求體body 標簽tagRequest request = new Request.Builder().url(url).get().build(); // Call call = okHttpClient.newCall(request);okHttpClient.newCall(request).enqueue(new Callback(){@Overridepublic void onFailure(Call call, IOException e){Log.d("xag", "獲取失敗");showResult(false, "");}@Overridepublic void onResponse(Call call, final Response response) throws IOException{Log.d("xag", "獲取成功")parseJsonWithJsonObject(response);}}); }

最后，將新聞數據顯示在文本控件中， 并復制到系統剪切板

private void copyToClip(String content) {//獲取剪貼板管理器：ClipboardManager cm = (ClipboardManager) getSystemService(CLIPBOARD_SERVICE);// 創建普通字符型ClipDataClipData mClipData = ClipData.newPlainText("Label", content);// 將ClipData內容放到系統剪貼板里。if (null != cm){cm.setPrimaryClip(mClipData);} }

如果只有 iOS 設備，使用 Xcode 編寫 iOS 應用，建議將 Xcode 升級到 11.0 以上

創建項目的時候，推薦使用 SwiftUI 構建 UI 界面，然后利用 CocoaPods 添加 Alamofire 網絡請求依賴庫，其他操作步驟和 Android 端類似，這里不展開說明

# Uncomment the next line to define a global platform for your project source 'https://github.com/CocoaPods/Specs.git'platform :ios, '9.0'use_frameworks!target 'news_eve' do# Comment the next line if you don't want to use dynamic frameworkspod 'Alamofire'pod 'SwiftyJSON'pod 'HandyJSON'# Pods for news_eveend 與50位技術專家面對面20年技術見證，附贈技術全景圖

總結

以上是生活随笔為你收集整理的android新闻app_如何利用 Python 爬虫实现给微信群发新闻早报？的全部內容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網站內容還不錯，歡迎將生活随笔推薦給好友。