上傳文件、異步、初始化腳本

面試題： 項(xiàng)目中的靜態(tài)文件處理（JS/CSS/image） 自己在機(jī)房?jī)?nèi)優(yōu)化的方法：1. Nginx/lighttpd(lighty-douban)：Nginx 處理靜態(tài)資源速度非常快，并且自身還帶有緩存。2. 80: Nginx -> {server config} -> django:8080 -> Static : folders -> 云存儲(chǔ)你了解CDN嗎？能講講原理么？擴(kuò)展：如何更換CDN上的圖片？改名大法1. 請(qǐng)求加參數(shù)：1. abc.jpg2. abc.jpg?20191011111042asdflj23. abc.jpg?201910111110432. 改名1. abc_201910111042.jpg2. abc_md5.jpg

七牛云接入

注冊(cè)七牛云賬號(hào)

創(chuàng)建存儲(chǔ)空間：Bucket -> 有獨(dú)立的域名，可以訪問

獲取相關(guān)配置

• AccessKey：從個(gè)人中心-密鑰管理里獲得
• SecretKey：從個(gè)人中心-密鑰管理里獲得
• Bucket_name：我們自己新建的存儲(chǔ)空間的名字
• Bucket_URL：建好的新存儲(chǔ)空間的訪問url

安裝 qiniu SDK：pip install qiniu

根據(jù)接口文檔進(jìn)行接口封裝

按照需要將上傳、下載接口封裝成異步任務(wù)

程序處理流程

服務(wù)端上傳方式

用戶圖片先上傳到我們的服務(wù)器上

然后，我們的程序再調(diào)用七牛云的api，將圖片上傳到七牛云

上傳成功后，拼接 avatar 的圖片 url 地址：

七牛云的Bucket_URL/filename，將 avatar 的圖片 url 存入數(shù)據(jù)庫(kù)

客戶端直傳

客戶端圖片直接上傳到云服務(wù)

客戶端將圖片地址告訴服務(wù)端，服務(wù)端更新數(shù)據(jù)庫(kù)

其實(shí)存在一個(gè)安全隱患

客戶端先從服務(wù)端獲取token，再上傳

代碼示例 使用了celery

#上傳圖片 def user_avatar(request):#1.存下來# 定義上傳后保存的文件名file_name =f'avatar-{request.user.id}.jpg'# 上傳后保存的路徑file_path = f'{settings.BASE_DIR}/static/{file_name}'#接收上傳文件內(nèi)容f = request.FILES['avatar']with open(file_path,'wb+') as destination:for chunk in f.chunks():destination.write(chunk)print('save local ok.')user_id = request.user.id#delay很重要！！！upload_qiniu.delay(file_name, file_path, user_id)return render_json('已經(jīng)放入celery-redis隊(duì)列中')#這一步用異步celery @celery_app.task def upload_qiniu(file_name, file_path, user_id):# 2.調(diào)用七牛云sdk上傳# 需要填寫你的 Access Key 和 Secret Key 需要修改 access_key = 'KXfx2ZiBP311HkZZ8l8JHCmqlqPTJCK2sraihexx'secret_key = 'pe5svTTUAJQoUPhppsf0Gg9wbEJiYahnRMAy1rxx'# 要上傳的空間bucket_name = 'liu'# 要上傳的域名bucket_domain = ' liu.s3-cn-south-1.qiniucs.com'# 構(gòu)建鑒權(quán)對(duì)象q = Auth(access_key, secret_key, )token = q.upload_token(bucket_name, file_name, 3600)ret, info = put_file(token, file_name, file_path)print(info)#斷言assert ret['key'] == file_nameassert ret['hash'] == etag(file_path)print('save qiniu ok.')avatar_url = f'{bucket_domain}/{file_name}'# 3.更新用戶的avataruser = User.objects.get(id=user_id)# user = request.user # request 無法傳 所以改為user_iduser.avatar = avatar_urluser.save()return True

異步任務(wù)

Celery 及異步任務(wù)的處理

通用的異步框架的原理

核心隊(duì)列：消息隊(duì)列

客戶端：異步端

生產(chǎn)者：消費(fèi)者

發(fā)布者：訂閱者

發(fā)送者：接收者

[外鏈圖片轉(zhuǎn)存失敗,源站可能有防盜鏈機(jī)制,建議將圖片保存下來直接上傳(img-YFOxnBJs-1577967577874)(/Users/zebin/Pictures/markdown_assets/image-20200102152154116.png)]

• 任務(wù)模塊 Task：包含異步任務(wù)和定時(shí)任務(wù). 其中, 異步任務(wù)通常在業(yè)務(wù)邏輯中被觸發(fā)并發(fā)往任務(wù)隊(duì)列, 而定時(shí)任務(wù)由 Celery Beat 進(jìn)程周期性地將任務(wù)發(fā)往任務(wù)隊(duì)列.

• 消息中間件 Broker：代理Broker, 即為任務(wù)調(diào)度隊(duì)列, 接收任務(wù)生產(chǎn)者發(fā)來的消息（即任務(wù)）更重要的智能是把海量的的消息緩沖住, 將任務(wù)存入隊(duì)列。Celery 本身不提供隊(duì)列服務(wù), 官方推薦使用 RabbitMQ 和 Redis 等，或者干脆用云服務(wù)的消息隊(duì)列服務(wù)：SQS

• 任務(wù)執(zhí)行單元 Worker：Worker 是執(zhí)行任務(wù)的處理單元, 它實(shí)時(shí)監(jiān)控消息隊(duì)列, 獲取隊(duì)列中調(diào)度的任務(wù), 并執(zhí)行它.

• 任務(wù)結(jié)果存儲(chǔ) Backend：Backend 用于存儲(chǔ)任務(wù)的執(zhí)行結(jié)果, 以供查詢. 同消息中間件一樣, 存儲(chǔ)也可使用 RabbitMQ, Redis 和 MongoDB 等.

消息隊(duì)列：

MQ：Message Queue，（與服務(wù)器、存儲(chǔ)、緩存、數(shù)據(jù)庫(kù)同等重要，是現(xiàn)代互聯(lián)網(wǎng)后臺(tái)架構(gòu)的基礎(chǔ)組件）

作用：

異步：把沒必要同步執(zhí)行的程序，用消息隊(duì)列暫存，然后用其他程序去異步執(zhí)行，做到跨機(jī)器分散任務(wù)

解耦：有依賴關(guān)系的應(yīng)用之間，用消息隊(duì)列解除耦合

A 和 B 兩個(gè)業(yè)務(wù)有強(qiáng)耦合

A B

削峰：把互聯(lián)網(wǎng)的高峰請(qǐng)求，先緩沖下來，然后再慢慢的逐個(gè)處理

秒殺、團(tuán)購(gòu)的場(chǎng)景，用這種方式降低峰值請(qǐng)求

限流：

1000，每進(jìn)來一個(gè)人 -1，每離開一個(gè)人 +1，

減到 0 ，就告訴后來者：人滿了。

常見的消息隊(duì)列：

Redis，最簡(jiǎn)單

Kafka，最適合做日志處理，單機(jī)幾十萬(wàn)并發(fā)（每秒鐘的請(qǐng)求）

RabbitMQ，符合 MQ 標(biāo)準(zhǔn)的消息隊(duì)列（每秒鐘幾萬(wàn)）

RocketMQ，符合 MQ 標(biāo)準(zhǔn)的消息隊(duì)列（每秒鐘十幾萬(wàn)）

安裝 注意win10不支持celery4.3！！！！！！！！！！
所以需要額外安裝

pip install celery[redis]

創(chuàng)建實(shí)例

import os from celery import Celeryfrom social import settings from worker import configos.environ.setdefault("DJANGO_SETTINGS_MODULE", "social.settings")celery_app = Celery('social') celery_app.config_from_object(config) celery_app.autodiscover_tasks()

常規(guī)配置

broker_url = 'redis://127.0.0.1:6379/0' broker_pool_limit = 1000 # Borker 連接池, 默認(rèn)是10timezone = 'Asia/Shanghai' accept_content = ['pickle', 'json']task_serializer = 'pickle' result_expires = 3600 # 任務(wù)過期時(shí)間result_backend = 'redis://127.0.0.1:6379/1' result_serializer = 'pickle' result_cache_max = 10000 # 任務(wù)結(jié)果最大緩存數(shù)量worker_redirect_stdouts_level = 'INFO'

啟動(dòng) Worker

Linux / mac下：
celery worker -A worker --loglevel=info

win：
celery worker -A worker --loglevel=info -P eventlet

總結(jié)

以上是生活随笔為你收集整理的【Django】文件上传以及celery的使用的全部?jī)?nèi)容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網(wǎng)站內(nèi)容還不錯(cuò)，歡迎將生活随笔推薦給好友。