精品国产人成在线_亚洲高清无码在线观看_国产在线视频国产永久2021_国产AV综合第一页一个的一区免费影院黑人_最近中文字幕MV高清在线视频

0
  • 聊天消息
  • 系統消息
  • 評論與回復
登錄后你可以
  • 下載海量資料
  • 學習在線課程
  • 觀看技術視頻
  • 寫文章/發帖/加入社區
會員中心
創作中心

完善資料讓更多小伙伴認識你,還能領取20積分哦,立即完善>

3天內不再提示

Photon情報搜集爬蟲的主要功能與安裝使用說明

python爬蟲知識分享 ? 來源:python爬蟲知識分享 ? 作者:python爬蟲知識分享 ? 2022-06-23 16:35 ? 次閱讀

Photon是一個由s0md3v開源的情報搜集爬蟲,其主要功能有:

1.爬取鏈接(內鏈、外鏈)。
2.爬取帶參數的鏈接,如(pythondict.com/test?id=2)。
3.文件(pdf, png, xml)。
4.密鑰(在前端代碼中不小心被釋放出來的)。
5.js文件和Endpoint(spring中比較重要的監視器)
6.匹配自定義正則表達式的字符串。
7.子域名和DNS相關數據。

你可以用它來干很多事,比如爬圖片、找漏洞、找子域名、爬數據等等。

不僅如此,它甚至支持json格式 ,僅需要在輸入命令的時候加上json參數:

python photon.py -u "http://example.com" --export=json

1、下載安裝

https://github.com/s0md3v/Photon/archive/refs/heads/master.zip

2、簡單使用

注意,使用的時候要在Photon文件夾下。比如我們隨便提取一個網站的URL試一下,在終端輸入以下命令:

python photon.py -u https://bk.tencent.com/

它會在當前目錄下產生一個你測試的域名的文件夾,比如在我這里是 bk.tencent.com:

結果如下:

pYYBAGK0JCWAGbHpAABO34wJ3lQ540.png

嘻嘻,讓我們看看里面有什么東西,有沒有程序員留下的小彩蛋,打開external.txt,這是該網站的外鏈的存放位置。可以看到,這里不僅僅是只有網站頁面,連CDN文件地址都會放在這里,所以external可能是個藏寶庫哦。


3、擴展

這個項目的價值,不僅在于能夠快速拉取你想要得到的數據,還在于能夠構建一個牛逼轟轟的情報系統(如果你技術夠強的話)。因為它是能不斷延伸下去的,比如從外鏈出發,你能找到很多和這個網站相關的訊息。

相比于搜索引擎搜索的結果,實際上這些信息更符合情報的要求。因為存在禁止搜索引擎爬取的 robot.txt, 所以不是網站的所有信息都能在搜索引擎搜索得到,而通過這個Photon,你可以順藤摸瓜找到那些隱藏在互聯網世界的它們。

審核編輯:湯梓紅

聲明:本文內容及配圖由入駐作者撰寫或者入駐合作網站授權轉載。文章觀點僅代表作者本人,不代表電子發燒友網立場。文章及其配圖僅供工程師學習之用,如有內容侵權或者其他違規問題,請聯系本站處理。 舉報投訴
  • 開源
    +關注

    關注

    3

    文章

    3251

    瀏覽量

    42406
  • python
    +關注

    關注

    56

    文章

    4782

    瀏覽量

    84453
  • 爬蟲
    +關注

    關注

    0

    文章

    82

    瀏覽量

    6840
  • photon
    +關注

    關注

    0

    文章

    32

    瀏覽量

    3675
收藏 人收藏

    評論

    相關推薦

    數字化智能工廠的主要功能組成

    數字化智能工廠是一種基于數字化技術和智能化系統的現代制造工廠,主要功能包括自動化生產設備、信息技術基礎設施、數據采集與分析系統、互聯互通技術、人工智能與機器學習、虛擬現實與增強現實、安全防護體系和綠色制造。
    的頭像 發表于 10-08 11:40 ?275次閱讀
    數字化智能工廠的<b class='flag-5'>主要功能</b>組成

    FPD link主要功能模塊

    電子發燒友網站提供《FPD link主要功能模塊.pdf》資料免費下載
    發表于 09-27 11:38 ?0次下載
    FPD link<b class='flag-5'>主要功能</b>模塊

    電子地圖的主要功能與應用

    電子地圖,即數字地圖,是利用計算機技術,以數字方式存儲和查閱的地圖。它不僅繼承了傳統紙質地圖的基本功能,還通過現代科技手段實現了諸多創新應用。以下是電子地圖的主要功能與應用: 一、主要功能 快速存取
    的頭像 發表于 09-12 11:18 ?1590次閱讀
    電子地圖的<b class='flag-5'>主要功能與</b>應用

    GUTOR不間斷電源的主要功能是什么?

    GUTOR不間斷電源的主要功能是什么?
    發表于 09-06 17:44

    微處理器的主要功能是什么

    微處理器(Microprocessor),作為計算機系統的核心部件,其主要功能對于整個計算機系統的運行至關重要。
    的頭像 發表于 08-22 11:48 ?1587次閱讀

    RFID天線的工作原理和主要功能

    RFID(Radio Frequency Identification,無線射頻識別)天線作為RFID系統中的關鍵組件,其工作原理和主要功能對于整個系統的性能和穩定性至關重要。以下是對RFID天線工作原理和主要功能的詳細闡述。
    的頭像 發表于 08-09 15:38 ?1024次閱讀

    連接器的主要功能是什么

    連接器的主要功能是實現電子設備之間的電氣連接和信號傳輸。連接器的種類繁多,應用領域廣泛,其主要功能可以歸納為以下幾點: 電氣連接:連接器的主要功能是實現電子設備之間的電氣連接。連接器通過其金屬接觸件
    的頭像 發表于 06-20 09:22 ?886次閱讀

    傳感器的主要功能是什么

    傳感器是一種能夠感知外界環境并將這些信息轉化為可用信號的裝置。它們在各行各業和領域中起到關鍵作用,被廣泛應用于科學研究、醫療診斷、工業控制、農業生產等眾多領域。傳感器的主要功能包括測量和監測、控制和反饋、安全和監控、診斷和檢測以及位置和導航,本文將詳細介紹傳感器的主要功能
    的頭像 發表于 01-27 17:10 ?2892次閱讀
    傳感器的<b class='flag-5'>主要功能</b>是什么

    濾波器的主要功能和作用科普

    濾波器是一種用于處理信號的電路或系統,其主要功能和作用包括
    的頭像 發表于 01-25 18:10 ?7369次閱讀

    bms主要功能有哪些

    、儲能系統等新能源領域的關鍵部件,其主要功能是對電池組進行實時監控、保護和管理,以保證電池組的安全、穩定和高效運行。本文將對BMS的主要功能進行詳細介紹。 數據采集:BMS通過傳感器對電池組的電壓、電流、溫度等關鍵參數進行實時采集,以便對電池組的工作狀態進行全面了解。這些
    的頭像 發表于 01-05 18:09 ?7883次閱讀
    bms<b class='flag-5'>主要功能</b>有哪些

    集成放大電路中輸出級的主要功能

    主要功能,并探討其工作原理、應用和性能優化。 一、輸出級的主要功能 集成放大電路輸出級的主要功能是放大輸入信號,并將其輸出到外部負載上。具體來說,它需要完成以下幾個任務: 放大信號:輸出級的核心任務是將輸入信號放
    的頭像 發表于 12-29 10:34 ?1304次閱讀

    電源濾波器的主要功能和作用

    電源濾波器是電子設備中非常重要的一部分,其主要功能是過濾電源中的雜波和干擾信號。
    的頭像 發表于 12-25 18:19 ?1571次閱讀

    EMI濾波器有哪些應用與主要功能

    EMI濾波器有哪些應用與主要功能?相信不少人是有疑問的,今天深圳市比創達電子科技有限公司就跟大家解答一下!
    的頭像 發表于 11-29 10:40 ?848次閱讀
    EMI濾波器有哪些應用與<b class='flag-5'>主要功能</b>?

    DHCP的主要功能

    DHCP,即動態主機配置協議(Dynamic Host Configuration Protocol),是一種使計算機網絡管理更加方便和自動化的協議。它的主要功能是自動分配IP地址、子網掩碼、默認
    的頭像 發表于 11-27 15:04 ?1502次閱讀

    AMI網絡的主要功能

    電子發燒友網站提供《AMI網絡的主要功能.pdf》資料免費下載
    發表于 11-27 11:56 ?0次下載
    AMI網絡的<b class='flag-5'>主要功能</b>