精品国产人成在线_亚洲高清无码在线观看_国产在线视频国产永久2021_国产AV综合第一页一个的一区免费影院黑人_最近中文字幕MV高清在线视频

0
  • 聊天消息
  • 系統消息
  • 評論與回復
登錄后你可以
  • 下載海量資料
  • 學習在線課程
  • 觀看技術視頻
  • 寫文章/發帖/加入社區
會員中心
創作中心

完善資料讓更多小伙伴認識你,還能領取20積分哦,立即完善>

3天內不再提示

Photon:一個超快的公共情報搜集爬蟲

科技綠洲 ? 來源:Python實用寶典 ? 作者:Python實用寶典 ? 2023-10-31 15:17 ? 次閱讀

Photon是一個由s0md3v開源的情報搜集爬蟲,其主要功能有:

1.爬取鏈接(內鏈、外鏈)。
2.爬取帶參數的鏈接,如(pythondict.com/test?id=2)。
3.文件(pdf, png, xml)。
4.密鑰(在前端代碼中不小心被釋放出來的)。
5.js文件和Endpoint(spring中比較重要的監視器)
6.匹配自定義正則表達式的字符串。
7.子域名和DNS相關數據。

你可以用它來干很多事,比如爬圖片、找漏洞、找子域名、爬數據等等。而且提取出來的數據格式非常整潔:

圖片

不僅如此,它甚至支持json格式 ,僅需要在輸入命令的時候加上json參數:

python photon.py -u "http://example.com" --export=json

為什么能用來做情報搜集呢?耐心往后看哦。

1.下載安裝

你可以上photon的github下載完整項目:
https://github.com/s0md3v/Photon

或者關注下方Python實用寶典公眾號在后臺回復photon獲得國內網盤下載地址。下載后解壓到你想要使用的地方。如果你還沒有安裝Python,建議閱讀這篇文章:超詳細Python安裝指南,進行Python的安裝。

安裝完Python后,打開CMD(windows)/Terminal(macOS),下面簡稱為終端,進入你剛解壓的文件夾,然后輸入以下命令安裝Photon的依賴:

pip install -r requirements.txt

如圖所示:

圖片

2.簡單使用

注意,使用的時候要在Photon文件夾下。比如我們隨便提取一個網站的URL試一下,在終端輸入以下命令:

python photon.py -u https://bk.tencent.com/

結果如下:

圖片

它會在當前目錄下產生一個你測試的域名的文件夾,比如在我這里是 bk.tencent.com:

圖片

嘻嘻,讓我們看看里面有什么東西,有沒有程序員留下的小彩蛋,打開external.txt,這是該網站的外鏈的存放位置。可以看到,這里不僅僅是只有網站頁面,連CDN文件地址都會放在這里,所以external可能是個藏寶庫哦。

圖片

還能一下找出該網站上鏈接的全部開源項目:

圖片

3.擴展

這個項目的價值,不僅在于能夠快速拉取你想要得到的數據,還在于能夠構建一個牛逼轟轟的 情報系統 (如果你技術夠強的話)。因為它是能不斷延伸下去的,比如從外鏈出發,你能找到很多和這個網站相關的訊息:

圖片

相比于搜索引擎搜索的結果,實際上這些信息更符合情報的要求。因為存在禁止搜索引擎爬取的 robot.txt, 所以 不是網站的所有信息都能在搜索引擎搜索得到 ,而通過這個Photon,你可以順藤摸瓜找到那些隱藏在互聯網世界的它們。

試想一下,如果你搜集了很多這樣的網站...然后用正則表達式搭建一個屬于你自己的搜索引擎,這樣的感覺是不是很棒?

聲明:本文內容及配圖由入駐作者撰寫或者入駐合作網站授權轉載。文章觀點僅代表作者本人,不代表電子發燒友網立場。文章及其配圖僅供工程師學習之用,如有內容侵權或者其他違規問題,請聯系本站處理。 舉報投訴
  • 參數
    +關注

    關注

    11

    文章

    1785

    瀏覽量

    32086
  • 開源
    +關注

    關注

    3

    文章

    3251

    瀏覽量

    42406
  • 漏洞
    +關注

    關注

    0

    文章

    204

    瀏覽量

    15358
  • 爬蟲
    +關注

    關注

    0

    文章

    82

    瀏覽量

    6840
  • photon
    +關注

    關注

    0

    文章

    32

    瀏覽量

    3675
收藏 人收藏

    評論

    相關推薦

    識別網絡爬蟲的策略分析

    的網絡資源。由爬蟲產生的網絡流量占總流量的37.2%,其中由惡意爬蟲產生的流量約占65%[1]。如何在網絡流量中識別爬蟲,是判斷爬蟲行為意圖的前提,常見的使用
    的頭像 發表于 09-14 09:08 ?1511次閱讀
    識別網絡<b class='flag-5'>爬蟲</b>的策略分析

    項目管理部經理/項目管理課課長/項目管理師-上海

    性電子產品工作經歷尤佳項目管理課課長-上海工作職責:1. 項目開發進程內部各單位之溝通協調2. 項目開發進程外部單位及客戶之溝通協調3. 產業及客戶訊息情報搜集及分析4. 金屬產品制程及成本結構掌握
    發表于 01-20 11:43

    Python爬蟲與Web開發庫盤點

    ,高層次的web抓取網頁,并從web站點的頁面中提取結構化的數據Scrapy用途廣泛,可以用于數據挖掘、監測和自動化測試。最爽的就是它是框架,任何人都可以根據需求方便的修改,里面有很多類型爬蟲的基
    發表于 05-10 15:21

    物聯網網關系統設計是怎么樣的?

    、監控和管理的種網絡。物聯網是具有全面感知、可靠傳輸、智能處理特征的連接物理世界的網絡。物聯網用途廣泛,遍及智能交通、環境保護、***工作、公共安全、平安家居、智能消防、工業監測、老人護理、個人健康、*卉栽培、水系監測、食品溯源、敵情偵查和
    發表于 08-08 07:50

    Python 公共情報搜集爬蟲——Photon

    Photon由s0md3v開源的情報搜集爬蟲,其主要功能有:1.爬取鏈接(內鏈、外鏈)。2.爬取帶參數的鏈接,如(pythondict
    發表于 06-23 16:35

    基于SVM的主體爬蟲采集方法

    為了準確高效采集航天領域內的競爭情報,提出了基于SVM的主題爬蟲采集方法。設計了航天領域情報采集總體框架,采用支持向量機分類算法,利用適量已有航天情報信息,強化特定領域特征權重,訓練航
    發表于 11-13 11:26 ?13次下載
    基于SVM的主體<b class='flag-5'>爬蟲</b>采集方法

    物聯網給人們帶來什么變化?

    物聯網用途廣泛遍及智能交通、環境保護、政府工作、公共安全、平安家居、智能消防、工業監測、環境監測、老人護理、個人健康、花卉栽培、水系監測、食品溯源、敵情偵查和情報搜集等多個領域。
    的頭像 發表于 05-04 14:05 ?6099次閱讀

    Python爬蟲速成指南讓你快速的學會寫最簡單的爬蟲

    本文主要內容:以最短的時間寫最簡單的爬蟲,可以抓取論壇的帖子標題和帖子內容。 本文受眾:沒寫過爬蟲的萌新。
    的頭像 發表于 06-10 09:57 ?7075次閱讀
    Python<b class='flag-5'>爬蟲</b>速成指南讓你快速的學會寫<b class='flag-5'>一</b><b class='flag-5'>個</b>最簡單的<b class='flag-5'>爬蟲</b>

    物聯網的應用在中國將聚焦五大領域

    物聯網有許多廣泛的用途,遍及智能交通、環境保護、政府工作、公共安全、平安家居、智能消防、工業監測、老人護理、個人健康、花卉栽培、水系監測、食品溯源、敵情偵查和情報搜集等多個領域。
    發表于 10-10 09:48 ?3026次閱讀

    爬蟲是如何實現數據的獲取爬蟲程序如何實現

    進入大數據時代,爬蟲技術越來越重要,因為它是獲取數據的重要手段,是大數據和云計算的基礎。那么,爬蟲到底是如何實現數據的獲取的呢?今天和大家分享的就是
    發表于 01-02 16:30 ?10次下載
    <b class='flag-5'>爬蟲</b>是如何實現數據的獲取<b class='flag-5'>爬蟲</b>程序如何實現

    哪些物聯網應用將會在中國爆發

    物聯網有許多廣泛的用途,遍及智能交通、環境保護、政府工作、公共安全、平安家居、智能消防、工業監測、老人護理、個人健康、花卉栽培、水系監測、食品溯源、敵情偵查和情報搜集等多個領域。
    發表于 03-25 09:15 ?459次閱讀

    cps物聯網技術的應用案例

    物聯網用途廣泛,遍及智能交通、環境保護、政府工作、公共安全、平安家居、智能消防、工業監測、環境監測、路燈照明管控、景觀照明管控、樓宇照明管控、廣場照明管控、老人護理、個人健康、花卉栽培、水系監測、食品溯源、敵情偵查和情報搜集等多個領域。
    的頭像 發表于 11-17 10:59 ?1.4w次閱讀

    Photon情報搜集爬蟲的主要功能與安裝使用說明

    你可以用它來干很多事,比如爬圖片、找漏洞、找子域名、爬數據等等。
    的頭像 發表于 06-23 16:35 ?1055次閱讀
    <b class='flag-5'>Photon</b><b class='flag-5'>情報搜集</b><b class='flag-5'>爬蟲</b>的主要功能與安裝使用說明

    基于Particle Photon的物聯網WiFi時鐘

    方案介紹 快速建立wifi支持的時鐘,通過互聯網保持準確的時間。 步驟 1. 焊接顯示器 對齊顯示器到PCB和焊接5引腳。 2. 面包板 把Particle
    發表于 12-06 11:59 ?0次下載

    Python 公共情報搜集爬蟲

    Photon由s0md3v開源的情報搜集爬蟲,其主要功能有: 1.爬取鏈接(內鏈、外鏈)。 2.爬取帶參數的鏈接,如(pythondi
    的頭像 發表于 11-03 15:16 ?490次閱讀
    Python <b class='flag-5'>一</b><b class='flag-5'>個</b><b class='flag-5'>超</b><b class='flag-5'>快</b>的<b class='flag-5'>公共</b><b class='flag-5'>情報搜集</b><b class='flag-5'>爬蟲</b>