精品国产人成在线_亚洲高清无码在线观看_国产在线视频国产永久2021_国产AV综合第一页一个的一区免费影院黑人_最近中文字幕MV高清在线视频

0
  • 聊天消息
  • 系統消息
  • 評論與回復
登錄后你可以
  • 下載海量資料
  • 學習在線課程
  • 觀看技術視頻
  • 寫文章/發帖/加入社區
會員中心
創作中心

完善資料讓更多小伙伴認識你,還能領取20積分哦,立即完善>

3天內不再提示

分享一個自己在實戰過程中用的比較順手的JS爬取工具

jf_Fo0qk3ln ? 來源:github ? 作者:pingc0y ? 2022-11-18 09:12 ? 次閱讀

一. 工具介紹

URLFinder是一款用于快速提取檢測頁面中JS與URL的工具

通常用于快速查找隱藏在頁面或js中的敏感或未授權api接口

功能類似于JSFinder,開發由來就是使用它的時候經常返回空或鏈接不全,作者還不更新修bug,那就自己來咯

URLFinder更專注于提取頁面中的JS與URL鏈接,提取的數據更完善且可查看狀態碼、內容大小、標題等

基于golang的多線程特性,幾千個鏈接也能幾秒內出狀態檢測結果

有什么需求或bug歡迎各位師傅提交lssues

二. 功能說明

1.提取頁面與JS中的JS及URL鏈接(頁面URL最多深入一層,防止抓偏)
2.提取到的鏈接會顯示狀態碼、響應大小、標題等(帶cookie操作時請使用-m 3 安全模式,防止誤操作)
3.支持配置Headers請求頭
4.支持提取批量URL
5.支持結果導出到csv文件
6.支持指定抓取域名
7.記錄抓取來源,便于手動分析

結果會優先顯示輸入的url頂級域名,其他域名不做區分顯示在 other

結果會優先顯示200,按從小到大排序(輸入的域名最優先,就算是404也會排序在其他子域名的200前面)

三. 使用截圖

單url截圖(舊版截圖)

fc044310-66d8-11ed-8abf-dac502259ad0.png

批量url截圖 (舊版截圖)

fc2c2c90-66d8-11ed-8abf-dac502259ad0.png

fc3b2c7c-66d8-11ed-8abf-dac502259ad0.png

四. 使用教程

單url時使用

URLFinder.exe -u http://www.baidu.com -s all -m 2 URLFinder.exe -u http://www.baidu.com -s 200,403 -m 2

批量url時使用

URLFinder.exe -s all -m 2 -f url.txt -o d:/

參數


poYBAGN23J-AXl8PAAEVlMi2cTQ243.jpg

編譯

以下是在windows環境下,編譯出各平臺可執行文件的命令

windows
#64位
SET CGO_ENABLED=0
SET GOOS=windows
SET GOARCH=amd64
go build -ldflags "-s -w" -o URLFinder-windows64.exe main.go
#32位
SET CGO_ENABLED=0
SET GOOS=windows
SET GOARCH=386
go build -ldflags "-s -w"  -o URLFinder-windows32.exe main.go
linux
#64位
SET CGO_ENABLED=0
SET GOOS=linux
SET GOARCH=amd64
go build -ldflags "-s -w" -o URLFinder-linux64 main.go
#32位
SET CGO_ENABLED=0
SET GOOS=linux
SET GOARCH=386
go build -ldflags "-s -w" -o URLFinder-linux32 main.go
macos
#64位
SET CGO_ENABLED=0
SET GOOS=darwin
SET GOARCH=amd64
go build -ldflags "-s -w" -o URLFinder-macos64 main.go
#32位
SET CGO_ENABLED=0
SET GOOS=darwin
SET GOARCH=386
go build -ldflags "-s -w" -o URLFinder-macos32 main.go

GOBY可以直接加載

fc856332-66d8-11ed-8abf-dac502259ad0.png







審核編輯:劉清

聲明:本文內容及配圖由入駐作者撰寫或者入駐合作網站授權轉載。文章觀點僅代表作者本人,不代表電子發燒友網立場。文章及其配圖僅供工程師學習之用,如有內容侵權或者其他違規問題,請聯系本站處理。 舉報投訴
  • URL
    URL
    +關注

    關注

    0

    文章

    139

    瀏覽量

    15312
  • API接口
    +關注

    關注

    1

    文章

    82

    瀏覽量

    10430

原文標題:一款用GO語言編寫的JS爬取工具

文章出處:【微信號:菜鳥學信安,微信公眾號:菜鳥學信安】歡迎添加關注!文章轉載請注明出處。

收藏 人收藏

    評論

    相關推薦

    采用xpath網站內容

    xpathmooc網課程
    發表于 04-11 12:01

    python音頻文件的步驟

    python爬蟲音頻文件
    發表于 08-22 14:23

    0基礎入門Python爬蟲實戰

    大數據時代,有兩種技能可以給自己增加競爭優勢。種是數據分析,旨在挖掘數據的價值,做出最佳決策;另種是數據獲取,即爬蟲。學會它,相當于在數據時代掌握了攫取能源的最有效方式。谷歌百度等搜索引擎的崛起
    發表于 07-25 09:28

    豆瓣電影Top250信息

    通過本案例[豆瓣電影Top250信息]鍛煉除正則表達式之外兩種信息解析方式:Xpath和PyQuery。url地址:https://movie.douban.com/top25
    發表于 03-23 15:47

    語音交互的過程中用戶語音的關鍵字可以獲取到嗎?

    語音交互的過程中用戶語音的關鍵字可以獲取到嗎?
    發表于 03-10 08:50

    PCB板組裝過程中過波峰焊時孔錫不良的原因都有哪些?

    PCB板組裝過程中過波峰焊時孔錫不良的原因都有哪些?孔銅錫不好是啥原因?
    發表于 04-11 16:55

    Python CSDN的極客頭條

    Python 如何CSDN的極客頭條呢?
    的頭像 發表于 03-21 14:58 ?4799次閱讀
    Python <b class='flag-5'>爬</b><b class='flag-5'>取</b>CSDN的極客頭條

    比較轉換過程中為什么會存在振蕩

    比較器是簡單的概念-輸入端對兩電壓進行比較。輸出為高或者低。因此,
    發表于 08-27 13:51 ?4587次閱讀
    <b class='flag-5'>比較</b>器<b class='flag-5'>在</b>轉換<b class='flag-5'>過程中</b>為什么會存在振蕩

    電影網最新電影資源鏈接地址[1]

    www.ygdy8電影資源的過程電影網電影資源鏈接,代碼段:# -*- codin
    發表于 01-10 13:36 ?0次下載
    <b class='flag-5'>爬</b><b class='flag-5'>取</b>電影網最新電影資源鏈接地址[1]

    如何用python抖音app數據

    記錄下如何用pythonapp數據,本文以抖音視頻app為例。
    的頭像 發表于 03-16 09:07 ?5262次閱讀

    使用Keil過程中些不順手的地方

    首先聲明本人并非Keil黑,本期純吐槽下在使用Keil過程中些不順手的地方,也極有可能講的并不全面,不客觀,望見諒,輕拍,也歡迎評論區討論。
    的頭像 發表于 05-26 10:53 ?1307次閱讀

    Python怎么玩轉JS腳本

    本項目旨在讓大家了解如何用Python來執行JS腳本,其主要目的是進行數據 分析時,需要利用爬蟲獲取數據,有時會遇到JS混淆加密反
    的頭像 發表于 02-23 16:26 ?1073次閱讀
    Python怎么玩轉<b class='flag-5'>JS</b>腳本

    Scrapy怎么Python文件

    我們介紹了Scrapy框架運行基本原理,緊接著我們介紹了如何利用Scrapy文本數據
    的頭像 發表于 02-24 15:16 ?560次閱讀
    Scrapy怎么<b class='flag-5'>爬</b><b class='flag-5'>取</b>Python文件

    node.js實戰源碼

    node.js實戰源碼
    發表于 05-16 18:06 ?1次下載

    使用Keil過程中些不順手的地方

    首先聲明本人并非Keil黑,本期純吐槽下在使用Keil過程中些不順手的地方,也極有可能講的并不全面,不客觀,望見諒,輕拍,也歡迎評論區討論。
    的頭像 發表于 05-23 09:14 ?1000次閱讀
    <b class='flag-5'>在</b>使用Keil<b class='flag-5'>過程中</b>的<b class='flag-5'>一</b>些不<b class='flag-5'>順手</b>的地方