目錄
- 一、爬取目標
- 二、撰寫爬蟲代碼
- 三、同步視頻講解
- 四、完整原始碼
一、爬取目標
您好，我是@馬哥python說，一名10年程式猿，
本次爬取的目標是：百度熱搜榜
分別爬取每條熱搜的：
熱搜標題、熱搜排名、熱搜指數、描述、鏈接地址，
下面，對頁面進行分析，
經過分析，此頁面有XHR鏈接，可以針對介面進行爬取，
打開Chrome瀏覽器，按F12進入開發者模式，依次點擊：
- 點擊Network，選擇網路
- 點擊XHR，選擇XHR請求
- 選擇目標鏈接地址
- 擊Preview，選擇預覽
- 查看回傳資料
操作程序，如下圖所示：
二、撰寫爬蟲代碼
首先，匯入需要用到的庫：
import requests # 發送請求
import pandas as pd # 存入excel資料
定義一個百度熱搜榜介面地址：
# 百度熱搜榜地址
url = 'https://top.baidu.com/api/board?platform=wise&tab=realtime'
構造一個請求頭，偽裝爬蟲：
# 構造請求頭
header = {
'User-Agent': 'Mozilla/5.0 (Linux; Android 6.0; Nexus 5 Build/MRA58N) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/99.0.4844.51 Mobile Safari/537.36',
'Host': 'top.baidu.com',
'Accept': 'application/json, text/plain, */*',
'Accept-Language': 'zh-CN,zh;q=0.9,en-US;q=0.8,en;q=0.7',
'Accept-Encoding': 'gzip, deflate, br',
'Referer': 'https://top.baidu.com/board?tab=novel',
}
向百度頁面發送requests請求：
# 發送請求
r = requests.get(url, header)
回傳的資料是json格式的，直接用r.json()接收：
# 用json格式接收請求資料
json_data = https://www.cnblogs.com/mashukui/archive/2023/07/11/r.json()
這里，需要注意的是，頁面上有2種熱搜：
百度熱搜榜最上面一條是置頂熱搜，下面從1到30是普通熱搜，介面回傳的資料也是區分開的：
所以，爬蟲代碼需要分開處理邏輯：
置頂熱搜：
# 爬取置頂熱搜
top_content_list = json_data['data']['cards'][0]['topContent']
普通熱搜：
# 爬取普通熱搜
content_list = json_data['data']['cards'][0]['content']
然后再分別進行json決議，對應的欄位（標題、排名、熱搜指數、描述、鏈接地址），
最后，保存結果資料到excel即可，
df = pd.DataFrame( # 拼裝爬取到的資料為DataFrame
{
'熱搜標題': title_list,
'熱搜排名': order_list,
'熱搜指數': score_list,
'描述': desc_list,
'鏈接地址': url_list
}
)
df.to_excel('百度熱搜榜.xlsx', index=False) # 保存結果資料
最后，查看一下爬取到的資料：
一共31條資料（1條置頂熱搜+30條普通熱搜），
每條資料包含：熱搜標題、熱搜排名、熱搜指數、描述、鏈接地址，
三、同步視頻講解
講解視頻：https://www.zhihu.com/zvideo/1490668062617161728
四、完整原始碼
get完整原始碼：【爬蟲案例】用Python爬取百度熱搜榜資料！
我是@馬哥python說，持續分享python原始碼干貨中！
轉載請註明出處，本文鏈接：https://www.uj5u.com/houduan/557020.html
標籤：其他
下一篇：返回列表