通过使用Python的Requests和BeautifulSoup库,编写爬虫程序来抓取古诗词并将其保存在文本文件中
发布人:shili8
发布时间:2024-11-15 21:56
阅读次数:0
**古诗词爬虫程序**
###介绍本程序使用Python的Requests和BeautifulSoup库,爬取古诗词网上的古诗,并将其保存在文本文件中。
### 环境准备* Python3.x* Requests库(pip install requests)
* BeautifulSoup库(pip install beautifulsoup4)
### 爬虫程序代码
import requestsfrom bs4 import BeautifulSoupimport os# 定义爬取的URL和保存文件路径url = " />save_path = "./poems.txt" # 发送请求并获取网页内容response = requests.get(url) soup = BeautifulSoup(response.text, 'html.parser') # 找到所有古诗列表中的诗句poem_list = soup.find_all('div', class_='son-line') # 初始化文本文件if not os.path.exists(save_path): with open(save_path, 'w') as f: pass# 开始爬取和保存古诗for poem in poem_list: # 找到每首诗的标题和内容 title = poem.find('a').text.strip() content = poem.text.strip() #保存到文本文件中 with open(save_path, 'a') as f: f.write(title + ' ') f.write(content + ' ') print("爬取完成!")
### 使用说明1. 安装Requests和BeautifulSoup库。
2. 将保存路径修改为你想要的位置。
3. 运行程序,开始爬取古诗词。
### 注意事项* 本程序仅用于学习和个人使用,不得用于商业目的或违法活动。
* 爬取网页内容时,请遵守相关法律法规和网站政策。
* 如果你发现任何问题或需要改进,欢迎反馈!