Python爬虫抓取网页

Python爬虫是一种自动化程序，用于从网页上抓取数据。在这篇文章中，我将介绍如何使用Python编写一个简单的爬虫程序来抓取网页上的数据。

首先，我们需要安装一个Python库，用于发送HTTP请求和解析HTML页面。在这里，我将使用requests和BeautifulSoup库。你可以使用以下命令来安装这两个库：

pip install requestspip install beautifulsoup4

import requestsfrom bs4 import BeautifulSoup# 发送HTTP请求获取网页内容url = ' />response = requests.get(url)

# 使用BeautifulSoup解析HTML页面soup = BeautifulSoup(response.text, 'html.parser')

# 获取网页标题title = soup.title.stringprint('网页标题:', title)

# 获取所有链接links = soup.find_all('a')
for link in links:
 print('链接:', link.get('href'))