当前位置:实例文章 » 其他实例» [文章]通过使用Python的Requests和BeautifulSoup库,编写爬虫程序来抓取古诗词并将其保存在文本文件中

通过使用Python的Requests和BeautifulSoup库,编写爬虫程序来抓取古诗词并将其保存在文本文件中

发布人:shili8 发布时间:2024-11-15 21:56 阅读次数:0

**古诗词爬虫程序**

###介绍本程序使用Python的Requests和BeautifulSoup库,爬取古诗词网上的古诗,并将其保存在文本文件中。

### 环境准备* Python3.x* Requests库(pip install requests)
* BeautifulSoup库(pip install beautifulsoup4)

### 爬虫程序代码

import requestsfrom bs4 import BeautifulSoupimport os# 定义爬取的URL和保存文件路径url = " />save_path = "./poems.txt"

# 发送请求并获取网页内容response = requests.get(url)
soup = BeautifulSoup(response.text, 'html.parser')

# 找到所有古诗列表中的诗句poem_list = soup.find_all('div', class_='son-line')

# 初始化文本文件if not os.path.exists(save_path):
 with open(save_path, 'w') as f:
 pass# 开始爬取和保存古诗for poem in poem_list:
 # 找到每首诗的标题和内容 title = poem.find('a').text.strip()
 content = poem.text.strip()

 #保存到文本文件中 with open(save_path, 'a') as f:
 f.write(title + '
')
 f.write(content + '

')

print("爬取完成!")


### 使用说明1. 安装Requests和BeautifulSoup库。
2. 将保存路径修改为你想要的位置。
3. 运行程序,开始爬取古诗词。

### 注意事项* 本程序仅用于学习和个人使用,不得用于商业目的或违法活动。
* 爬取网页内容时,请遵守相关法律法规和网站政策。
* 如果你发现任何问题或需要改进,欢迎反馈!

相关标签:爬虫python开发语言
其他信息

其他资源

Top