Python爬虫+数据可视化：分析唯品会商品数据

**Python爬虫+数据可视化：分析唯品会商品数据**

在这个项目中，我们将使用Python语言来实现一个爬虫，爬取唯品会的商品数据，然后利用数据可视化工具来分析这些数据。

### **爬虫部分**

首先，我们需要安装必要的库：

pip install requests beautifulsoup4 pandas matplotlib

import requestsfrom bs4 import BeautifulSoupimport pandas as pd# 设置请求头，伪装成浏览器headers = {
 'User-Agent': 'Mozilla/5.0 (Windows NT10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/74.0.3729.169 Safari/537.3'
}

# 发送请求，获取网页源代码url = " # 唯品会首页response = requests.get(url, headers=headers)

# 解析网页源代码soup = BeautifulSoup(response.text, 'html.parser')

# 找到商品列表的div标签goods_list_div = soup.find('div', class_='goods-list')

# 找到商品列表中的每个商品goods_list = goods_list_div.find_all('li', class_='goods-item')

# 初始化一个空列表，存储商品信息goods_info = []

# 遍历每个商品，获取其信息for good in goods_list:
 # 获取商品名称 name = good.find('h3').text # 获取商品价格 price = good.find('span', class_='price').text # 获取商品图片 img_url = good.find('img')['src']
 # 将商品信息添加到列表中 goods_info.append({
 'name': name,
 'price': price,
 'img_url': img_url })

# 将商品信息转换为DataFrame，方便数据可视化df = pd.DataFrame(goods_info)

#保存DataFrame到CSV文件中df.to_csv('goods_info.csv', index=False)

import matplotlib.pyplot as plt# 从CSV文件中读取数据df = pd.read_csv('goods_info.csv')

# 绘制商品价格分布图plt.figure(figsize=(10,6))
plt.hist(df['price'], bins=50)
plt.title('Goods Price Distribution')
plt.xlabel('Price (￥)')
plt.ylabel('Frequency')
plt.show()

# 绘制商品名称频率图plt.figure(figsize=(10,6))
df['name'].value_counts().plot(kind='bar')
plt.title('Goods Name Frequency')
plt.xlabel('Name')
plt.ylabel('Frequency')
plt.show()