python小说爬虫工具,小说搜索下载软件附源码
看小说的朋友们一定要试试哦,很方便,直接下载小说,连小说网站都不用打开
同时也把python的源码也放上了,懂的可以自己添加源网站
5.15更新
加了一个换源,功能是实现了但是代码冗余,抽取基类做继承的话就增加耦合,后续有时间再更新代码吧(市面上那些追更小说一下子几十上百的换源是怎么实现的?????)
给小说爬取加了超时抛出异常,毕竟不是每个源都是那么稳定
搜索换成线程,因为发现搜索结果较大的时候界面又卡住了….
细节修改,增加代码健壮性
5.13更新:
更新了一下软件,把遗留问题解决一下,并看看后续还有啥能更新的解决的问题
解决开始下载之后会出现无响应
弹窗太烦去掉了,改成一个console看进度
目前尝试过程中发现不用太担心反爬,重试机制最终还是会下载完所有章节,尝试过1800+章节小说下载不到1分钟
后续修改目标
尝试增加换源功能
目前由于下载保存的都是utf8导致整合文件过大,后续尝试使用gbk
5.12版本:
1. 使用python的asyncio,爬取的速度挺快
2. 整理了一下页面的格式,放到手机上看还是不错的
3. 由于爬取速度过快,可能会爬取失败,内部加了重试逻辑,只要最后能生成txt应该就是全部章节
4. 自助搜索功能
下载学习说明:
1.本站用户上传的虚拟资源产品均不提供相关技术服务。
2.如果地址失效、链接失效请上传用户或联系QQ邮箱:3391595187@qq.com 更新。
3.本站用户上传的所有虚拟资源产品仅用于学习及研究使用,请必须在24小时内删除所下载资源,切勿用于商业用途,否则由此引发的法律纠纷及连带责任本站和发布者概不承担。如侵权请联系本站下架删除!
4.本站不能保证源码等资源的准确性、安全性和完整性,用户下载前请自行斟酌,我们以交流学习研究为目的,并不是所有的源码都不是100%无错或无bug。
5.本站提供免费网站后门木马查杀软件下载:https://www.58soho.cn/4508/
6.本站所有虚拟资源具有复制性,一旦购买积分兑换均不退款,会员开通也均不退款。
7.请您认真阅读上述内容,下载或开通会员即确定您同意上述内容。
软希网58soho.cn-资源下载平台 » python小说爬虫工具,小说搜索下载软件附源码
1.本站用户上传的虚拟资源产品均不提供相关技术服务。
2.如果地址失效、链接失效请上传用户或联系QQ邮箱:3391595187@qq.com 更新。
3.本站用户上传的所有虚拟资源产品仅用于学习及研究使用,请必须在24小时内删除所下载资源,切勿用于商业用途,否则由此引发的法律纠纷及连带责任本站和发布者概不承担。如侵权请联系本站下架删除!
4.本站不能保证源码等资源的准确性、安全性和完整性,用户下载前请自行斟酌,我们以交流学习研究为目的,并不是所有的源码都不是100%无错或无bug。
5.本站提供免费网站后门木马查杀软件下载:https://www.58soho.cn/4508/
6.本站所有虚拟资源具有复制性,一旦购买积分兑换均不退款,会员开通也均不退款。
7.请您认真阅读上述内容,下载或开通会员即确定您同意上述内容。
软希网58soho.cn-资源下载平台 » python小说爬虫工具,小说搜索下载软件附源码