爬取88小说网小说的源代码

站长 • 2024-08-15 13:13 • 65 次点击 • 技术教程

简单的网站小说爬取程序（通过直接模拟点击下一章、下一页等元素获取相应链接，简单修改就可以下载别的网站的小说），运行后打开网站，选取你喜欢的小说，打开小说的开始页面（小说内容页），复制网址（如：https://www.88xiaoshuo.net/Partlist/80415/60635 846.shtml）后粘贴到输入提示窗口回车即可。

[Python] 纯文本查看 复制代码

#coding=utf-8

import requests
from lxml import etree
import time
import re

headers = {
    'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/70.0.3538.102 Safari/537.36 Edge/18.18363'
}

def get_chaptercontent(chapterurl=''):  # 获取每个章节的内容并保存
    markbook = ''
    while True:
        try:
            chaptercontent = ''
            response = requests.get(chapterurl, headers=headers, timeout=10)
            html=response.content.decode(response.apparent_encoding)
            selector = etree.HTML(html)
            bookname = selector.xpath('//a[@id="bookname"]/strong/text()')[0]
            chaptername = selector.xpath('//div[@class="zhangjieming"]/h1/text()')[0]  # 章节名称
            chaptername = re.sub(r'\d{1,5}\.', '', chaptername)  # 去掉里面数字开头，点号结尾的数字
            # mainurl=selector.xpath('//a[text()="章节目录"]/@href')[0]
            mainurl=f'{url[:-1]}'
            try:
                ###mark用于判断是否是要写章节名称，如果值是上一章，表示换章节要写章节名称，nexturl配合mainurl用于判断是否是最后页
                markchapter = selector.xpath('//a[text()="上一章" or text()="上一页"]/text()')[0]  # 注意空格
            except:
                markchapter = '上一章'  # 出现异常，即不存在上一章，赋值为目录页的网址供后面检测为最后的章节  # 注意空格
            try:
                nexturl = selector.xpath('//a[text()="下一章" or text()="下一页"]/@href')[0]  # 注意空格
                nexturl=f'{mainurl}{nexturl}'
            except:
                nexturl = mainurl  # 出现异常，即不存在下一章，赋值为目录页的网址供后面检测为最后的章节
            contents = selector.xpath('//div[@id="content"]/p/text()')
            for content in contents:  # 把每一段内容连接起来
                chaptercontent = chaptercontent + '\n  ' + str(content).strip()
            chaptercontent = "".join([s for s in chaptercontent.splitlines(True) if s.strip()])  # 去除字符串中的空行
            # print(chaptercontent)
            if markbook == '':  # 判断是否是下载的第一章，如果是则写入书名，实际上同时把书名更改为非空，之后不写书名
                markbook = bookname
                print(f'\n正在爬取小说...{bookname}\n')
                with open(bookname + '.txt', 'w', encoding='utf-8') as f:
                    f.write(f'\n\n书名：{bookname}')
                    f.write(f'\n\n网址：{chapterurl}\n\n\n')
            if len(chaptername) != 0 and len(chaptercontent) != 0:
                if markchapter == '上一章':  # 注意空格
                    print(f'\t正在爬取...{chaptername}')
                    with open(bookname + '.txt', 'a+', encoding='utf-8') as f:
                        f.write(f'\n\n{chaptername}\n\n')
                with open(bookname + '.txt', 'a+', encoding='utf-8') as f:
                    f.write(chaptercontent)
                if nexturl[-10:] != 'index.html':  # 判断是否是最后一页，按需修改
                    chapterurl = nexturl
                    # time.sleep(0.2)  # 可能有反爬，如果不延迟，部分章节取不到内容
                    continue
                else:
                    print('\n下载完成！\n')
                    break
        except:
            print('  ######异常，重试######')
        print('  ######出错，重试######')

url='https://www.88xiaoshuo.net/'
chapturl = input(f"请输入网站({url})内选定小说开始章节内容所在页网址：")
if chapturl == '':
    chapturl='https://www.88xiaoshuo.net/Partlist/47835/170601831.shtml'
start_time = time.time()
get_chaptercontent(chapterurl=chapturl)
end_time = time.time()
print(f'总耗时：{end_time-start_time:.2f}秒')