一、爬取目標
二、撰寫爬蟲代碼
- 2.1 前戲
- 2.2 獲取cookie
- 2.3 請求頁面
- 2.4 決議頁面
- 2.5 轉換熱搜類別
- 2.6 保存結果
- 2.7 查看結果資料
三、獲取完整原始碼

一、爬取目標

您好，我是@馬哥python說，一名10年程式猿，

本次爬取的目標是: 微博熱搜榜
? 微博熱搜榜頁面

分別爬取每條熱搜的：

熱搜標題、熱搜排名、熱搜類別、熱度、鏈接地址，

下面，對頁面進行分析，

經過分析，此頁面沒有XHR鏈接通過，也就是說，沒有采用AJAX異步技術，

所以，只能針對原頁面進行爬取，

二、撰寫爬蟲代碼

2.1 前戲

首先，匯入需要用到的庫：

import pandas as pd  # 存入excel資料
import requests  # 向頁面發送請求
from bs4 import BeautifulSoup as BS  # 決議頁面

定義一個爬取目標地址：

# 目標地址
url = 'https://s.weibo.com/top/summary?cate=realtimehot'

定義一個請求頭：

# 請求頭
header = {
	'User-Agent': 'Mozilla/5.0 (Linux; Android 6.0; Nexus 5 Build/MRA58N) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/99.0.4844.51 Mobile Safari/537.36',
	'Host': 's.weibo.com',
	'Accept': 'text/html,application/xhtml+xml,application/xml;q=0.9,*/*;q=0.8',
	'Accept-Language': 'zh-CN,zh-Hans;q=0.9',
	'Accept-Encoding': 'gzip, deflate, br',
	# 定期更換Cookie
	'Cookie': '換成自己的Cookie值'
}

其中，Cookie需要換成自己的Cookie值，

2.2 獲取cookie

怎么查看自己的Cookie？

Chrome瀏覽器，按F12打開開發者模式，按照以下步驟操作：
? 開發者模式下，查看cookie

選擇網路：Network
選擇所有網路：All
選擇目標鏈接地址
選擇頭：Headers
選擇請求頭：Request Headers
查看cookie值

2.3 請求頁面

下面，向頁面發送請求：

r = requests.get(url, headers=header)  # 發送請求

2.4 決議頁面

接下來，決議回傳的頁面：

soup = BS(r.text, 'html.parser')
?```
![](https://img2023.cnblogs.com/blog/2864563/202307/2864563-20230711213330436-846402627.png)

根據頁面分析，每條熱搜都放在了標簽為section的、class值為list的資料里，里面每條熱搜，又是一個a標簽，

所以，根據這個邏輯，決議頁面，以獲取鏈接地址為例：
```python
items = soup.find('section', {'class': 'list'})
for li in items.find_all('li'):
	# 鏈接地址
	href = https://www.cnblogs.com/mashukui/p/li.find('a').get('href')
	href_list.append('https://s.weibo.com' + href)

頁面其他元素，熱搜標題、排名、熱度、類別等獲取代碼，不再一一贅述，

2.5 轉換熱搜類別

其中，熱搜類別這個元素需要注意，在頁面上是一個個圖示，背后對應的是class值，是個英文字串，需要轉換成對應的中文含義，定義以下函式進行轉換：

def trans_icon(v_str):
	"""轉換熱搜類別"""
	if v_str == 'icon_new':
		return '新'
	elif v_str == 'icon_hot':
		return '熱'
	elif v_str == 'icon_boil':
		return '沸'
	elif v_str == 'icon_recommend':
		return '商'
	else:
		return '未知'

目前的轉換函式包括了"新"、"熱"、"沸"、"商"等類別，

我記得，微博熱搜類別，是有個"爆"的，就是熱度最高的那種，突然躥升的最熱的熱點，爆炸性的，但是現在沒有爆炸性新聞，所以我看不到"爆"背后的class值是什么，

后續如果有爆炸性熱點，可以按照代碼的邏輯，加到這個轉換函式里來，

2.6 保存結果

依然采用我最順手的to_excel方式，存入爬取的資料：

df = pd.DataFrame(  # 拼裝爬取到的資料為DataFrame
		{
			'熱搜標題': text_list,
			'熱搜排名': order_list,
			'熱搜類別': type_list,
			'熱度': view_count_list,
			'鏈接地址': href_list
		}
	)
df.to_excel('微博熱搜榜.xlsx', index=False)  # 保存結果資料

至此，整個爬取程序完畢，

2.7 查看結果資料

查看一下，保存到excel里的資料：
? 結果資料

其中，第一條是置頂熱搜，所以一共是（1+50=51）條資料，

演示視頻：https://www.zhihu.com/zvideo/1488901467788070912
?

三、獲取完整原始碼

get完整代碼：【最新爬蟲案例】用Python爬取微博熱搜榜！

我是@馬哥python說，持續分享python原始碼干貨中！

轉載請註明出處，本文鏈接：https://www.uj5u.com/houduan/557003.html

標籤：Python

上一篇：【調制解調】DSB 雙邊帶調幅

下一篇：返回列表

【經典爬蟲案例】用Python爬取微博熱搜榜！