當前位置：首頁 > 人工智能 > pytorch >内容正文

pytorch

基于树莓派的智能魔镜，支持人脸识别、情感监测、热词唤醒、语音交互，以及与手机APP交互、温湿度/新闻热点/日期显示等

發布時間：2023/12/10 pytorch 38 豆豆

生活随笔收集整理的這篇文章主要介紹了基于树莓派的智能魔镜，支持人脸识别、情感监测、热词唤醒、语音交互，以及与手机APP交互、温湿度/新闻热点/日期显示等小編覺得挺不錯的,現在分享給大家,幫大家做個參考.

功能清單

界面演示

系統框圖

設計方案

整體結構

網站設計

?app設計

?魔鏡界面設計

?溫濕度傳感器

?光電傳感器

相關教程

第三方庫的安裝

安裝庫

換源

安裝mqtt

安裝Qt5

git clone提速

安裝Adafruit_DHT

opencv安裝

安裝字體

安裝portaudio

安裝snowboy

安裝Gst（playsound用到）

安裝nginx

其他庫

框圖與界面繪制

服務器部署

web環境

第1步：安裝Apache

第2步：安裝MySQL（Ubuntu）

第2步：安裝MySQL（Raspbian）

第3步：安裝PHP

第4步：重新啟動apache以使所有更改生效

第5步：安裝phpmyadmin

網站部署

放置頁面

測試是否能上傳圖片成功

MQTT環境

Mosquitto安裝

啟動服務端

異常情況

人臉識別

流程圖

情感檢測API

Bilibili視頻教程：使用樹莓派4 DIY智能魔鏡_嗶哩嗶哩_bilibili

Github源碼：基于樹莓派的智能魔鏡

功能清單

?硬件組裝
?系統喚醒與亮屏
?獲取傳感器信息并顯示
?獲取天氣、新聞等信息并顯示
?UI界面繪制魔鏡界面繪制
?安卓APP
?獲取備忘錄信息并顯示
?推送使用情況到APP（能推，但不知道推啥）
?內容整合
?人臉識別
?情感監測
?語音對話

界面演示

系統框圖

設計方案

整體結構

網站設計

?app設計

?魔鏡界面設計

?溫濕度傳感器

?光電傳感器

相關教程

第三方庫的安裝

安裝庫

import paho.mqtt.client as pahomqtt from PyQt5 import QtCore, QtGui, QtWidgets from PyQt5.QtWidgets import QApplication from PyQt5 import QtGui, QtCore, QtWidgets from PyQt5.QtWidgets import * from PyQt5.QtCore import * from PyQt5.QtGui import * from bs4 import BeautifulSoup import Adafruit_DHT from aip import AipSpeech from aip import AipFace from playsound import playsound import pyaudio import requests import cv2 import snowboydecoderfrom mirrorUI import Ui_MainWindow from face import FaceFunction from speech import SpeechFunctionimport sys, os import time import string import random import hashlib import base64 import signal import RPi.GPIO as GPIO import json import wave import urllib import urllib3 import re import threading

換源

sudo nano /etc/apt/sources.list deb http://mirrors.tuna.tsinghua.edu.cn/raspbian/raspbian/ buster main non-free contrib deb-src http://mirrors.tuna.tsinghua.edu.cn/raspbian/raspbian/ buster main non-free contribsudo vim /etc/apt/sources.list.d/raspi.list deb http://mirrors.tuna.tsinghua.edu.cn/raspberrypi/ buster main uisudo apt-get update sudo apt-get upgradesudo mkdir ~/.pip sudo vim ~/.pip/pip.conf [global] index-url = https://pypi.tuna.tsinghua.edu.cn/simple [install] trusted-host=mirrors.aliyun.com

安裝mqtt

pip3 -V pip3 install paho-mqtt

安裝Qt5

sudo apt-get install python3-pyqt5 -y

git clone提速

git config --global http.postBuffer 524288000

安裝Adafruit_DHT

sudo git clone https://github.com/adafruit/Adafruit_Python_DHT.git cd Adafruit_Python_DHT sudo python3 setup.py install

opencv安裝

sudo apt-get install libhdf5-dev libhdf5-serial-dev -y sudo apt-get install libqtgui4 libqtwebkit4 libqt4-test python3-pyqt5 -y sudo apt-get install libatlas-base-dev -y sudo apt-get install libjasper-dev -ypip3 install opencv_python

安裝字體

復制到/usr/share/fonts/

安裝portaudio

下載portaudio庫http://portaudio.com/download.html sudo apt install libasound-dev # 一定要有這一句 sudo ./configure sudo make sudo make install vim ~/.bashrc export LD_LIBRARY_PATH=$LD_LIBRARY_PATH:/usr/local/lib sudo ldconfig

安裝snowboy

sudo apt-get install pulseaudio -y sudo apt-get install sox -y sox -d -d # 測試 sudo apt-get install python3-pyaudio -y sudo apt-get install swig -y sudo apt-get install libatlas-base-dev -y git clone https://github.com/Kitt-AI/snowboy.git cd snowboy/swig/Python3 && make// snowboydecoder將第 5 行代碼 from * import snowboydetect 改為 import snowboydetect 即可直接運行 // 具體用法可參考鏈接：https://www.jianshu.com/p/a1c06020f5fd

安裝Gst（playsound用到）

sudo apt-get install gir1.2-gst-plugins-base-1.0 -y

安裝nginx

1、安裝nginx web服務器 sudo apt-get install nginx -y 2、啟動nginx sudo /etc/init.d/nginx start nginx的www根目錄默認在 /usr/share/nginx/html中 3、修改nginx的配置文件 sudo vim /etc/nginx/sites-available/defaultlisten?? 8080;## listen for ipv4; this line is default and implied //監聽的端口號，如果與其它軟件沖突，可以在這里更改 root /usr/share/nginx/www; //nginx 默認路徑html所在路徑 index index.html index.htm index.php; //nginx默認尋找的網頁類型，可以增加一個index.php

其他庫

pip3 install bs4 requests playsound baidu-aip pyaudio lxml

框圖與界面繪制

1、安裝Qt

??Index of /archive/qt/5.9/5.9.3

下載exe：qt-opensource-windows-x86-5.9.3.exe

2、使用下載工具IDM，100M寬帶下載速度能達到12M/s

3、下載過程中，先去注冊一個Qt賬號

Qt Account Login

4、.ui轉.py

pyuic5 -o mirrorUI.py mirrorUI.ui

5、mirrorUI.py添加啟動語句

import sys if __name__ == '__main__':app = QtWidgets.QApplication(sys.argv) # 定義Qt應用MainWindow = QtWidgets.QMainWindow() # 窗口實例ui = Ui_MainWindow() # 界面UI實例ui.setupUi(MainWindow) # 繪制界面MainWindow.show() # 顯示窗口sys.exit(app.exec_()) # 應用關閉

6、界面label對應表

label_temperature 溫度 label_humidity 濕度 label_weather 天氣 label_weathertips 天氣助手 label_weathericon 天氣圖標 label_time 時間 label_date 日期 label_week 星期 label_historyhead 歷史上的今天 label_historymsg 歷史上的今天的內容 label_communicate 文字交互區 label_todohead 今日事項 label_todomsg 今日事項的內容 label_headlineshead 今天頭條 label_headlinesmsg 今日頭條的內容 label_gif 洛天依gif圖

7、信號與槽函數

# 繼承QObject class MQTT(QObject): # 創建信號量，傳字符串 mqttSignal = pyqtSignal(object) # 連接信號與槽函數 mqtt.mqttSignal.connect(ui.updateCommunicate) # 發送信號量 self.mqttSignal.emit("qwe")

8、mirrorUI.ui路徑：

mirrorUI.ui

服務器部署

pictureViewer.zip下載鏈接：pictureViewer圖片上傳并顯示網頁-Web開發文檔類資源-CSDN下載

web環境

搭建Linux+Apache+MySQL+PHP環境。

第1步：安裝Apache

Apache是一個免費開源軟件，可運行世界上50％的Web服務器。

sudo apt-get update sudo apt-get upgrade sudo apt-get install apache2 sudo /etc/init.d/apache2 restart

要檢查是否安裝了Apache，請將瀏覽器指向您服務器的IP地址（例如http://127.0.0.1）。

可以運行以下命令來顯示你的服務器的IP地址：

ifconfig | grep inet | awk '{ print $2 }'

第2步：安裝MySQL（Ubuntu）

MySQL是一個強大的數據庫管理系統，用于組織和檢索數據。

sudo apt-get install mysql-server mysql-client

查看端口：

sudo netstat -tap | grep mysql

用命令激活它：

sudo mysql_install_db

通過運行MySQL設置腳本完成：

sudo /usr/bin/mysql_secure_installation Would you like to setup VALIDATE PASSWORD plugin? => y Please enter 0 = LOW, 1 = MEDIUM and 2 = STRONG: 1 => 0 New password: => xxxxxxxx Re-enter new password: => xxxxxxxx Remove anonymous users?: => y Disallow root login remotely?: => y Remove test database and access to it?: => y Reload privilege tables now?: => y

第2步：安裝MySQL（Raspbian）

sudo apt-get install mariadb-server mariadb-client

用命令激活它：

sudo mysql_install_db

啟動服務

/usr/bin/mysqld_safe --datadir='/var/lib/mysql' sudo service mysql start

通過運行MySQL設置腳本完成：

sudo /usr/bin/mysql_secure_installation Enter current password for root (enter for none): Set root password? [Y/n] y Remove anonymous users? [Y/n] y Disallow root login remotely? [Y/n] y Remove test database and access to it? [Y/n] y Reload privilege tables now? [Y/n] y

第3步：安裝PHP

PHP是一種開源的Web腳本語言，廣泛用于構建動態網頁。

sudo apt install php7.2-mysql php7.2-curl php7.2-json php7.2-cgi php7.2 libapache2-mod-php7.2

測試PHP：

查看版本: php --version輸出phpinfo: sudo vim /var/www/html/phpinfo.php 寫入如下內容: <?php echo phpinfo();?> 瀏覽器輸入: http://127.0.0.1/phpinfo.php

第4步：重新啟動apache以使所有更改生效

sudo service apache2 restart

第5步：安裝phpmyadmin

sudo apt install php-mbstring php7.2-mbstring php-gettext -y sudo systemctl restart apache2.service sudo apt install phpmyadmin -y

安裝過程中的選項：

選擇?Apache2?并點擊確定
選擇?Yes來配置 phpMyAdmin 管理的數據庫
輸入剛設置的數據庫密碼
若報錯，可以選擇ignore

安裝完成后需要將phpmyadmin的文件夾復制到www/html文件夾下進行管理

sudo cp -Rf /usr/share/phpmyadmin /var/www/html/

打開瀏覽器并輸入http://127.0.0.1/phpmyadmin

輸入用戶名、密碼后登陸

網站部署

放置頁面

將pictureViewer文件夾整個放到/var/www/html/路徑下：

復制：sudo cp -r pictureViewer /var/www/html 或移動：sudo mv pictureViewer /var/www/html

修改權限：

sudo chmod 777 /var/www/html/pictureViewer/*

將文件夾名pictureViewer修改為MagicMirror：

sudo mv /var/www/html/pictureViewer /var/www/html/MagicMirror

瀏覽器輸入http://127.0.0.1/MagicMirror即可

測試是否能上傳圖片成功

打開并修改文件夾下的testUpload.py：

vim /var/www/html/MagicMirror/testUpload.py url = 'http://127.0.0.1/MagicMirror/upload_file.php'

運行Python：

cd /var/www/html/MagicMirror/ python3 testUpload.py

若提示缺少庫，則先安裝：

pip3 install requests

上傳成功后，刷新瀏覽器界面，會多一張圖片。

MQTT環境

Eclipse Mosquitto是一個開源消息代理，實現了MQTT協議版本3.1和3.1.1。

Mosquitto安裝

添加存儲庫(Raspbian可跳過)：

sudo apt-add-repository ppa:mosquitto-dev/mosquitto-ppa

更新軟件包：

sudo apt-get update

安裝：

sudo apt-get install mosquitto -y

安裝命令行客戶端：

sudo apt-get install mosquitto-clients -y

默認情況下，Ubuntu將在安裝后啟動Mosquitto服務。

在新終端中，使用mosquitto_sub訂閱測試主題：

mosquitto_sub -h localhost -t test

新開一個其他終端并發布消息：

mosquitto_pub -h localhost -t test -m "hello world"

啟動服務端

#-c：指定特定配置文件啟動 #-d：后臺運行 mosquitto -c /etc/mosquitto/mosquitto.conf -d

異常情況

如果遇到Unable to acquire the dpkg frontend lock這個問題

首先檢查是否在運行apt,apt-get相關的進程：

ps aux | grep -i apt

如果存在與apt相關的正在運行的進程，kill掉進程：

sudo kill -9 <process id>

繼續上一次的配置：

sudo dpkg --configure -a

或者直接簡單粗暴的：

sudo killall apt apt-get

之后可以新的apt操作

人臉識別

流程圖

情感檢測API

百度AI平臺：百度智能云控制臺-管理中心

原創內容，轉載請注明來源！

總結

以上是生活随笔為你收集整理的基于树莓派的智能魔镜，支持人脸识别、情感监测、热词唤醒、语音交互，以及与手机APP交互、温湿度/新闻热点/日期显示等的全部內容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網站內容還不錯，歡迎將生活随笔推薦給好友。

上一篇： java代理通俗简单解析
下一篇：深度学习之Batch Normaliza