哈嘍兄弟們
我們平常需要下載檔案的時候，是不是發現，要么不能下載，要么不能復制，就能難受，
常見的檔案網站很多，但是這里就不一一說名字了，emmm
那么我們今天來分享一下，如何用Python將這些不給下載的檔案給批量下載下來，
你需要準備
開發環境
python 3.8
pycharm
模塊使用
兩個需要安裝的第三方模塊，安裝命令也寫出來了，
requests --> pip install requests
re
base64
docx --> pip install python-docx
本文實作思路
一、資料來源分析
- 明確需求
明確采集網址以及資料內容是什么?
網址: https://www.docin.com/p-3282300896.html
資料: 檔案內容 - 抓包分析, 我們需要資料內容是可以請求那個鏈接能夠得到
檔案形式: 圖片樣式
通過瀏覽器自帶工具: 開發者工具抓包
打開開發者工具: F12 / 右鍵點擊檢查選擇network
重繪網頁
開發者工具搜索: docinpic
檔案圖片資料
鏈接: http://221.122.117.73/docinpic.jsp
sid: P1ekRarOT5ID*deCCfQPHapgA9Z5X3NNn0xfBxPIDApUnSY9yIVtfuxey1BsO1BG <獲取>
file: 檔案ID <可以自己獲取>
width: 圖片解析度
pageno: 頁碼 <可以用for回圈>
二、代碼實作步驟
- 發送請求, 模擬瀏覽器對于 檔案頁面url地址 發送請求
請求鏈接: https://www.docin.com/p-3282300896.html - 獲取資料, 獲取服務器回傳回應資料
- 決議資料, 提取我們需要的內容:
sid引數 / 檔案頁數 / 檔案名稱
構建檔案圖片鏈接 - 保存資料, 把檔案圖片內容保存下來
通過文字識別, 把圖片里面文字識別出來, 保存檔案里面就可以了
會使用百度云API介面:
1. 注冊登陸百度云API
2. 選擇文字識別, 創建應用, 領取免費資源, 點擊技術檔案
3. 先獲取token值
4. API呼叫的檔案代碼
代碼展示
文字識別
doc = Document() def Content(content): url = "https://aip.baidubce.com/oauth/2.0/token?grant_type=client_credentials&client_id=xxxx&client_secret=xxxx" payload = "" headers = { 'Content-Type': 'application/json', 'Accept': 'application/json' } response = requests.request("POST", url, headers=headers, data=https://www.cnblogs.com/hahaa/archive/2023/07/11/payload) access_token = response.json()['access_token'] request_url = "https://aip.baidubce.com/rest/2.0/ocr/v1/accurate_basic" # 二進制方式打開圖片檔案 # 完整原始碼和視頻講解都打包好 # 放在這個Q裙了：708525271 # f = open('img\\1 計算機概述1.jpg', 'rb') img = base64.b64encode(content) params = {"image":img} request_url = request_url + "?access_token=" + access_token headers = {'content-type': 'application/x-www-form-urlencoded'} json_data = requests.post(request_url, data=https://www.cnblogs.com/hahaa/archive/2023/07/11/params, headers=headers).json() words_result = '\n'.join([i['words'] for i in json_data['words_result']]) print(words_result)
發送請求
# 模擬瀏覽器 --> 字典資料型別 --> 鍵:值 headers = { # User-Agent 用戶代理 表示瀏覽器基本身份資訊 'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/114.0.0.0 Safari/537.36' } # 請求鏈接 url = 'https://www.docin.com/p-3282300896.html' # 發送請求 response = requests.get(url=url, headers=headers)
獲取資料、決議資料
# 獲取網頁資料 html_data =https://www.cnblogs.com/hahaa/archive/2023/07/11/ response.text # 提取sid引數 sid = re.findall('flash_param_hzq:"(.*?)",', html_data)[0] # 提取名字 name = re.findall('productName:"(.*?)",', html_data)[0] # 提取頁碼 num = re.findall('<em>(\d+)</em>頁</span>', html_data)[0] # 構建完整圖片鏈接 content_list = [] for page in range(1, int(num)+1): # 字串格式化方法 img = f'http://221.122.117.73/docinpic.jsp?sid={sid}&file=3282300896&width=942&pageno={page}'
保存資料, 把檔案圖片內容保存下來
# 發送請求, 獲取二進制資料<圖片內容> img_content = requests.get(url=img, headers=headers).content words = Content(img_content) doc.add_paragraph(words)
完整代碼+視頻步驟詳解全部都打包好了，文末名片自己拿哦！
好了，今天的分享就到這結束了，下次見！
轉載請註明出處，本文鏈接：https://www.uj5u.com/houduan/557013.html
標籤：其他
上一篇：介面和抽象類的區別是什么？
下一篇：返回列表