介紹
平臺以流程圖的方式定義爬蟲,是一個高度靈活可配置的爬蟲平臺
特性
- 支持Xpath/JsonPath/css選擇器/正則提取/混搭提取
- 支持JSON/XML/二進制格式
- 支持多數據源、SQL select/selectInt/selectOne/insert/update/delete
- 支持爬取JS動態渲染(或ajax)的頁面
- 支持代理
- 支持自動保存至數據庫/文件
- 常用字符串、日期、文件、加解密等函數
- 支持插件擴展(自定義執行器，自定義方法）
- 任務監控,任務日志
- 支持HTTP接口
- 支持Cookie自動管理
- 支持自定義函數
插件
- Selenium插件
- Redis插件
- OSS插件
- Mongodb插件
- IP代理池插件
- OCR識別插件
- 電子郵箱插件
項目部分截圖
爬蟲列表
爬蟲測試
Debug
日志
免責聲明
請勿將spider-flow應用到任何可能會違反法律規定和道德約束的工作中,請友善使用spider-flow，遵守蜘蛛協議，不要將spider-flow用于任何非法用途。
如您選擇使用spider-flow即代表您遵守此協議，作者不承擔任何由于您違反此協議帶來任何的法律風險和損失，一切后果由您承擔。
