稻草人書屋小說站批量下載器,用python寫,使用pyinstaller將代碼打包成了windows和mac、Linux可直接運(yùn)行的文件,分為單作者版和全站版,個人使用推薦單作者版!
使用方法
確定好你要保存文件的根目錄,比如
windows(兩個杠): F:\\books\\
mac/Linux(別少最后的杠):/Users/bob/book/
小說介紹界面(最后無杠): https://www.daocaorenshuwu.com/txt/10182.html
如果后續(xù)下載驗(yàn)證碼源站更改了,你們自行獲取,我不多說了
對于Mac用戶請給予可執(zhí)行權(quán)限,打開終端 chmod +x /path/to/novel_spider
Linux請用pip3 install requests beautifulsoup4,在 python3 運(yùn)行即可
全站版可能的錯誤
AttributeError: 'NoneType' object has no attribute 'get'
重新執(zhí)行程序即可,這個錯誤是由于網(wǎng)絡(luò)原因,某個頁面沒有爬取成功或爬取不完整導(dǎo)致無法解析到那個元素,從而返回空報錯
也有可能你的ip被限制了,觸發(fā)了原站的某些機(jī)制,請過會兒再爬!
像我爬得太猛了,被封了
requests.exceptions.ConnectionError: ('Connection aborted.', RemoteDisconn ected('Remote end closed connection without response',)
解壓出現(xiàn)亂碼問題
[font=宋體]因?yàn)?,壓縮包是直接通過命名的方式用open()函數(shù)創(chuàng)建的,因?yàn)楹竺嬉4娑M(jìn)制數(shù)據(jù),不能指定編碼,因此解壓后得到的文件名可能會亂碼。
對于MacOS請使用GUI版 The Unarchiver或者命令行版 Unar 進(jìn)行解壓,不會出現(xiàn)亂碼。
對于Linux已經(jīng)內(nèi)置了Unar,直接 unar filename.zip即可[/font]