python分片上传_python上传文件到oss
基礎環境
# +++++ 阿里云OSS開發指南里都有詳細的步驟,在這里整理了一下自己需要的東西
# 確定開發環境,centOS默認安裝了python2.7
# python -V
# 安裝python開發包
# yum install -y python-devel
# 安裝OSS的sdk
# yum install -y python-pip
# pip2.7 install oss2
# 驗證oss2是否安裝正確
'''
>>> import oss2
>>> oss2.__version__
'2.6.0'
'''
# 驗證OSS擴展庫crcmod是否安裝
'''
在python環境中,輸入一下內容,如果有錯誤信息,則說明擴展庫安裝不成功,默認安裝oss2的時候會安裝擴展庫
>>> import crcmod._crcfunext
如果出現安裝不成功,則按一下步驟安裝:
1、執行以下命令卸載crcmod
# pip uninstall crcmod
2、安裝python-devel
3、執行以下命令重新安裝crcmod
# pip install crcmod
'''
小文件上傳
#!/usr/bin/env python
# -*- coding: utf-8 -*-
import oss2
import os
# 阿里云主賬號AccessKey擁有所有API的訪問權限,風險很高。強烈建議您創建并使用RAM賬號進行API訪問或日常運維,請登錄 https://ram.console.aliyun.com 創建RAM賬號。
auth = oss2.Auth('', '')
# Endpoint以杭州為例,其它Region請按實際情況填寫。
bucket = oss2.Bucket(auth, 'http://oss-cn-hangzhou.aliyuncs.com', '')
# 必須以二進制的方式打開文件,因為需要知道文件包含的字節數。with open('', 'rb') as fileobj:
# Seek方法用于指定從第1000個字節位置開始讀寫。上傳時會從您指定的第1000個字節位置開始上傳,直到文件結束。
fileobj.seek(1000, os.SEEK_SET)
# Tell方法用于返回當前位置。
current = fileobj.tell()
bucket.put_object('', fileobj)
分片上傳
# -*- coding: utf-8 -*-import os
from oss2 import SizedFileAdapter, determine_part_size
from oss2.models import PartInfo
import oss2
# 阿里云主賬號AccessKey擁有所有API的訪問權限,風險很高。強烈建議您創建并使用RAM賬號進行API訪問或日常運維,請登錄 https://ram.console.aliyun.com 創建RAM賬號。
auth = oss2.Auth('', '')
# Endpoint以杭州為例,其它Region請按實際情況填寫。
bucket = oss2.Bucket(auth, 'http://oss-cn-hangzhou.aliyuncs.com', '')
key = ''
filename = ''
total_size = os.path.getsize(filename)
# determine_part_size方法用來確定分片大小。
part_size = determine_part_size(total_size, preferred_size=100 * 1024)
# 初始化分片。
upload_id = bucket.init_multipart_upload(key).upload_id
parts = []
# 逐個上傳分片。with open(filename, 'rb') as fileobj:
part_number = 1
offset = 0
while offset < total_size:
num_to_upload = min(part_size, total_size - offset)
# SizedFileAdapter(fileobj, size)方法會生成一個新的文件對象,重新計算起始追加位置。
result = bucket.upload_part(key, upload_id, part_number,
SizedFileAdapter(fileobj, num_to_upload))
parts.append(PartInfo(part_number, result.etag))
offset += num_to_upload
part_number += 1
# 完成分片上傳。
bucket.complete_multipart_upload(key, upload_id, parts)
# 驗證分片上傳。with open(filename, 'rb') as fileobj:
assert bucket.get_object(key).read() == fileobj.read()
總結
以上是生活随笔為你收集整理的python分片上传_python上传文件到oss的全部內容,希望文章能夠幫你解決所遇到的問題。
- 上一篇: 可控硅失效现象_可控硅坏的原因有哪些
- 下一篇: 开封关于启动重污染天气黄色预警Ⅲ级响应的