python: BytesIO 中 read 用法

在用 Flask 寫一個專案，后臺管理用的插件暫時是 flask-admin，想實作的效果：在后臺管理頁面中，把提交到后端的圖片不保存在 static 檔案夾下面，而是通過后端代碼把這個檔案物件上傳到 AWS 的 S3中存盤，

通過flask-admin 上傳到后端的檔案物件的型別是：

FileStorage    # werkzeug.datastructures.FileStorage

# flask 中的 request.files 獲取到的型別也是 FileStorage

所以先從提交到后端的 form 表單中獲取到該檔案物件，例如為： img_obj， 現在剛需要把型別為 FileStorage 的 img_obj 轉化為 file-like object （AWS S3 boto3 中的 upload_fileobj 介面需要這樣的引數），轉化的程序用到了 shutil 的copyfileobj 和 BytesIO， 如下：

from shutil import copyfileobj

temp_file = BytesIO()

copyfileobj(img_obj.stream, temp_file)    # img_obj.stream 應該是能獲取到物件中的資料流； 然后把 imb_obj 中的資料流copy到 temp_file 中

然后，問題來了， 利用下面的 S3 upload_fileobj介面把檔案上傳到 S3后，對應的檔案一直都是 0 位元，

代碼如下：

from shutil import copyfileobj

temp_file = BytesIO()

copyfileobj(img_obj.stream, temp_file)

client.upload_fileobj(temp_file, "bucket-name", Key="static/%s" % img_obj.filename)        # 利用這個介面把檔案上傳到服務器后一直都是0位元

查詢資料發現原因，

我們先來看下 shutil.copyfileobj 的原始碼：

'''
學習中遇到問題沒人解答？
小編創建了一個Python學習交流群：711312441
'''
def copyfileobj(fsrc, fdst, length=16*1024):
    """copy data from file-like object fsrc to file-like object fdst"""
    while 1:
        buf = fsrc.read(length)
        if not buf:
            break
        fdst.write(buf)

"""
從上述代碼的最后一行看，fdst.write(buf) ，此時寫“檔案”的游標已經到“檔案”的最后
"""

我們再來看下面有關 BytesIO 的的一些用法：

In [1]: from io import BytesIO                                                                                                                                

In [2]: f = BytesIO()                                                                                                                                         

In [3]: f.write(b'abc')         # 把byte 寫入到 f 中，此時 游標已經到f的最后位置                                                                                                                             
Out[3]: 3

In [4]: f.read()     # 由于此時游標是從f 的 最后的位置開始 read，那么后面的內容肯定是空                                                                                                                                        
Out[4]: b''

In [5]: f.tell()                                                                                                                                           
Out[5]: 3             # 說明游標是在f最后的位置 

In [6]: f.seek(0)        # 利用 seek(0) 把游標的位置放到f的 0 位置處                                                                                                                                
Out[6]: 0

In [7]: f.read()      # 此時再 read 就能看到全部內容                                                                                                                                        
Out[7]: b'abc'
 
"""
getvalue() 是獲取全部內容；
read() 是從游標的當前位置往后讀
"""

所以上面問題的原因也是：

copyfileobj 中的 fdst.write(buf) 寫完后，此時游標在“檔案”最后一個位置；而由于 S3 的 upload_fileobj 介面中的第一個引數是file-like object, 而且upload_fileobj會呼叫 這個 file-like object 的 read() 方法，read 出來的內容會上傳到 S3 上， 所以，解決辦法就是利用 seek(0) 把游標位置再次放到 0 處

正確代碼如下：

from shutil import copyfileobj

temp_file = BytesIO()

copyfileobj(img_obj.stream, temp_file)

temp_file.seek(0)    # 讓游標回到0處

client.upload_fileobj(temp_file, "bucket-name", Key="static/%s" % img_obj.filename)       

或者直接把利用 FileStorage 的 stream 屬性把檔案上傳到 S3，代碼如下：

client.upload_fileobj(img_obj.stream, "bucket-name", Key="static/%s" % img_obj.filename)     

標籤：Python

上一篇：python中行程的幾種創建方式

下一篇：返回列表