發(fā)簡信
IP屬地：江西
-
命令行：Window cmd 遠(yuǎn)程關(guān)閉服務(wù)器
wmic /node:10.8.154.63 /user:administrator /password:password process ca...
-
(l = buffer.readLine()) != null堵塞不釋放問題網(wǎng)絡(luò)請(qǐng)求數(shù)據(jù)過程中偶發(fā)遇到readline（）一直不結(jié)束問題： jps & jstack -l pid： 定位之后發(fā)現(xiàn)只這行：while ((l...
-
代理iP賬密請(qǐng)求https時(shí)報(bào)錯(cuò)Proxy returns "HTTP/1.0 407 Proxy Authentication Required"
從公司的私有云機(jī)房遷到公有云機(jī)房后，對(duì)外是五個(gè)公網(wǎng)IP隨機(jī)呈現(xiàn)，購買的代理IP供應(yīng)商只能綁定一個(gè)授權(quán)公網(wǎng)IP，因此只能采取帳密方式。針對(duì)http...
-
抓取大眾點(diǎn)評(píng)商戶數(shù)據(jù)大眾點(diǎn)評(píng)商戶數(shù)據(jù)還是有難度的，特別是美食類的，字體做了加密，網(wǎng)上很多資料自己看下即可。 之前是實(shí)時(shí)搜索抓取，需要登錄賬號(hào)，而后干脆抓全量好了，全...
-
抓取微信公眾號(hào)思路就是：首先破解獲取公眾號(hào)的鏈接地址，注意鏈接地址是隨時(shí)變的， 然后自動(dòng)翻頁，翻頁數(shù)自定義，最后解析即可~
-
多任務(wù)分布式調(diào)度算法——合理分配任務(wù)資源問題：A網(wǎng)站抓取需要8個(gè)小時(shí)，B網(wǎng)站需要半個(gè)小時(shí)，如果A網(wǎng)站先開始那么B網(wǎng)站需要8個(gè)小時(shí)候才能執(zhí)行到。如果A網(wǎng)站的緊迫性沒那么高，只期望能慢慢的...
-
Java將方法作為參數(shù)傳遞最近在用Java寫一套自研爬蟲框架，該框架可以通過簡單的配置就可以實(shí)現(xiàn)目標(biāo)網(wǎng)站的抓取，不再需要研發(fā)人員做開發(fā)，業(yè)務(wù)人員也能抓目標(biāo)網(wǎng)站哦，有興趣可...
-
屏蔽K8S中的POD訪問特定網(wǎng)址最近在看點(diǎn)評(píng)網(wǎng)站： 感覺里面防爬做的蠻好：驗(yàn)證方面采用隨機(jī)驗(yàn)證類型（滑塊、極驗(yàn)、連連看等等還有其他）；而且網(wǎng)頁間的上下層級(jí)關(guān)聯(lián)性做的特別好，如果...
-
Sikulix運(yùn)行win2012報(bào)錯(cuò)：[error] RunTime:loadLib: opencv_java342.dll (failed) probably dependent libs m...
Sikulix運(yùn)行在win7上面是好好的，想要移植到win server 2012報(bào)錯(cuò)： 進(jìn)入彈出的：https://github.com/Ra...