一. 工具介紹
URLFinder是一款用于快速提取檢測頁面中JS與URL的工具
功能類似于JSFinder,開發由來就是使用它的時候經常返回空或鏈接不全,作者還不更新修bug,那就自己來咯
URLFinder更專注于提取頁面中的JS與URL鏈接,提取的數據更完善且可查看狀態碼、內容大小、標題等
基于golang的多線程特性,幾千個鏈接也能幾秒內出狀態檢測結果
有什么需求或bug歡迎各位師傅提交lssues
二. 功能說明
1.提取頁面與JS中的JS及URL鏈接(頁面URL最多深入一層,防止抓偏)
2.提取到的鏈接會顯示狀態碼、響應大小、標題等(帶cookie操作時請使用-m 3 安全模式,防止誤操作)
3.支持配置Headers請求頭
4.支持提取批量URL
5.支持結果導出到csv文件
6.支持指定抓取域名
7.記錄抓取來源,便于手動分析
結果會優先顯示輸入的url頂級域名,其他域名不做區分顯示在 other
結果會優先顯示200,按從小到大排序(輸入的域名最優先,就算是404也會排序在其他子域名的200前面)
三. 使用截圖
單url截圖(舊版截圖)
批量url截圖 (舊版截圖)
四. 使用教程
單url時使用
URLFinder.exe -u http://www.baidu.com -s all -m 2 URLFinder.exe -u http://www.baidu.com -s 200,403 -m 2
批量url時使用
URLFinder.exe -s all -m 2 -f url.txt -o d:/
參數:
編譯
以下是在windows環境下,編譯出各平臺可執行文件的命令
windows #64位 SET CGO_ENABLED=0 SET GOOS=windows SET GOARCH=amd64 go build -ldflags "-s -w" -o URLFinder-windows64.exe main.go #32位 SET CGO_ENABLED=0 SET GOOS=windows SET GOARCH=386 go build -ldflags "-s -w" -o URLFinder-windows32.exe main.go linux #64位 SET CGO_ENABLED=0 SET GOOS=linux SET GOARCH=amd64 go build -ldflags "-s -w" -o URLFinder-linux64 main.go #32位 SET CGO_ENABLED=0 SET GOOS=linux SET GOARCH=386 go build -ldflags "-s -w" -o URLFinder-linux32 main.go macos #64位 SET CGO_ENABLED=0 SET GOOS=darwin SET GOARCH=amd64 go build -ldflags "-s -w" -o URLFinder-macos64 main.go #32位 SET CGO_ENABLED=0 SET GOOS=darwin SET GOARCH=386 go build -ldflags "-s -w" -o URLFinder-macos32 main.go
GOBY可以直接加載
審核編輯:劉清
-
URL
+關注
關注
0文章
139瀏覽量
15312 -
API接口
+關注
關注
1文章
82瀏覽量
10430
原文標題:一款用GO語言編寫的JS爬取工具
文章出處:【微信號:菜鳥學信安,微信公眾號:菜鳥學信安】歡迎添加關注!文章轉載請注明出處。
發布評論請先 登錄
相關推薦
評論