小王子工具箱包含多種工具集合,包含基本工具、轉(zhuǎn)換工具、論壇助手、圖片下載器、網(wǎng)絡(luò)調(diào)試助手、代碼統(tǒng)計(jì)等功能,所有工具都以多線程形式運(yùn)行,工具之間互不影響!
開發(fā)介紹
前段時間用C#寫了個網(wǎng)絡(luò)圖片爬蟲,反響效果不錯,只是有部分人的需求可能無法滿足,畢竟不是所有網(wǎng)站的圖片都那么容易下載的。
基于興趣,我又寫了一個工具集合,主要是一些我日常用得到的工具,獨(dú)樂樂不如眾樂樂,分享給大家,工具不是所有人都用得到,主要是碼農(nóng)用的多。
功能介紹
工具箱主要有6個板塊,分別是
1、基本工具,包括ping測試,獲取本機(jī)ip和公網(wǎng)ip,文件md5計(jì)算,crc16計(jì)算,端口開放掃描
2、轉(zhuǎn)換工具,包括時間戳跟日期互轉(zhuǎn),英漢互譯,進(jìn)制轉(zhuǎn)換,隨機(jī)數(shù)生成
3、論壇助手,主要是一些論壇網(wǎng)站帖子的爬取,包括吾愛破解,威鋒網(wǎng),IT之家,v2ex,知乎,還有某站的技術(shù)討論區(qū)(需要代{過}{濾}理)
4、圖片下載器,是之前那個下載器,集成進(jìn)來,修復(fù)了一下bug和細(xì)節(jié)問題
5、網(wǎng)絡(luò)調(diào)試助手,主要是收發(fā)16進(jìn)制數(shù)據(jù),工作所需
6、代碼統(tǒng)計(jì),統(tǒng)計(jì)項(xiàng)目下代碼行數(shù)
注意事項(xiàng)
所有工具都以多線程形式運(yùn)行,工具之間互不影響,其中端口開放掃描下線程數(shù)可以自定義,最大1000,取決于cpu,我本機(jī)測試線程在350個左右,掃描完1-65535需要4分鐘左右,取決網(wǎng)速。
各位用的比較多估計(jì)還是圖片下載器,用的時候,一定要設(shè)置好深度,圖片大小,代{過}{濾}理,cookie,前綴等,按需設(shè)置,不要亂設(shè)置,也不能少設(shè)置
一些需要登錄的網(wǎng)站,尤其是需要付費(fèi)的網(wǎng)站,圖片基本是很難爬的,一些大網(wǎng)站,像阿里,微博,反爬蟲技術(shù)很牛逼。