精品国产人成在线_亚洲高清无码在线观看_国产在线视频国产永久2021_国产AV综合第一页一个的一区免费影院黑人_最近中文字幕MV高清在线视频

0
  • 聊天消息
  • 系統消息
  • 評論與回復
登錄后你可以
  • 下載海量資料
  • 學習在線課程
  • 觀看技術視頻
  • 寫文章/發帖/加入社區
會員中心
創作中心

完善資料讓更多小伙伴認識你,還能領取20積分哦,立即完善>

3天內不再提示

Python后端項目的協程是什么

Linux愛好者 ? 來源:Python編程時光 ? 作者:Python編程時光 ? 2021-09-23 14:38 ? 次閱讀

最近公司 Python 后端項目進行重構,整個后端邏輯基本都變更為采用“異步”協程的方式實現。看著滿屏幕經過 async await(協程在 Python 中的實現)修飾的代碼,我頓時感到一臉懵逼,不知所措。

雖然之前有了解過“協程”是什么東西,但并沒有深入探索,于是正好借著這次機會可以好好學習一下。

什么是協程?

簡單來說,協程是一種基于線程之上,但又比線程更加輕量級的存在。對于系統內核來說,協程具有不可見的特性,所以這種由 程序員自己寫程序來管理的輕量級線程又常被稱作 “用戶空間線程”。

協程比多線程好在哪呢?

線程的控制權在操作系統手中,而 協程的控制權完全掌握在用戶自己手中,因此利用協程可以減少程序運行時的上下文切換,有效提高程序運行效率。

建立線程時,系統默認分配給線程的 棧 大小是 1 M,而協程更輕量,接近 1 K 。因此可以在相同的內存中開啟更多的協程。

由于協程的本質不是多線程而是單線程,所以不需要多線程的鎖機制。因為只有一個線程,也不存在同時寫變量而引起的沖突。在協程中控制共享資源不需要加鎖,只需要判斷狀態即可。所以協程的執行效率比多線程高很多,同時也有效避免了多線程中的競爭關系。

協程的適用 & 不適用場景

適用場景:協程適用于被阻塞的,且需要大量并發的場景。

不適用場景:協程不適用于存在大量計算的場景(因為協程的本質是單線程來回切換),如果遇到這種情況,還是應該使用其他手段去解決。

初探異步 http 框架 httpx

至此我們對 “協程” 應該有了個大概的了解,但故事說到這里,相信有朋友還是滿臉疑問:“協程” 對于接口測試有什么幫助呢?不要著急,答案就在下面。

相信用過 Python 做接口測試的朋友都對 requests 庫不陌生。requests 中實現的 http 請求是同步請求,但其實基于 http 請求 IO 阻塞的特性,非常適合用協程來實現 “異步” http 請求從而提升測試效率。

相信早就有人注意到了這點,于是在 Github 經過了一番探索后,果不其然,最終尋找到了支持協程 “異步” 調用 http 的開源庫: httpx

什么是 httpx

httpx 是一個幾乎繼承了所有 requests 的特性并且支持 “異步” http 請求的開源庫。簡單來說,可以認為 httpx 是強化版 requests。

下面大家可以跟著我一起見識一下 httpx 的強大

安裝

httpx 的安裝非常簡單,在 Python 3.6 以上的環境執行

pip install httpx

最佳實踐

俗話說得好,效率決定成敗。我分別使用了 httpx 異步 和 同步 的方式對批量 http 請求進行了耗時比較,來一起看看結果吧~

首先來看看同步 http 請求的耗時表現:

import asyncio

import httpx

import threading

import time

def sync_main(url, sign):

response = httpx.get(url).status_code

print(f‘sync_main: {threading.current_thread()}: {sign}2 + 1{response}’)

sync_start = time.time()

[sync_main(url=‘http://www.baidu.com’, sign=i) for i in range(200)]

sync_end = time.time()

print(sync_end - sync_start)

代碼比較簡單,可以看到在 sync_main 中則實現了同步 http 訪問百度 200 次。

運行后輸出如下(截取了部分關鍵輸出…):

sync_main: 《_MainThread(MainThread, started 4471512512)》: 192: 200sync_main: 《_MainThread(MainThread, started 4471512512)》: 193: 200sync_main: 《_MainThread(MainThread, started 4471512512)》: 194: 200sync_main: 《_MainThread(MainThread, started 4471512512)》: 195: 200sync_main: 《_MainThread(MainThread, started 4471512512)》: 196: 200sync_main: 《_MainThread(MainThread, started 4471512512)》: 197: 200sync_main: 《_MainThread(MainThread, started 4471512512)》: 198: 200sync_main: 《_MainThread(MainThread, started 4471512512)》: 199: 200

16.56578803062439

可以看到在上面的輸出中, 主線程沒有進行切換(因為本來就是單線程啊喂!)請求按照順序執行(因為是同步請求)。

程序運行共耗時 16.6 秒

下面我們試試 “異步” http 請求:

import asyncio

import httpx

import threading

import time

client = httpx.AsyncClient()

async def async_main(url, sign):

response = await client.get(url)

status_code = response.status_code

print(f‘async_main: {threading.current_thread()}: {sign}:{status_code}’)

loop = asyncio.get_event_loop()

tasks = [async_main(url=‘http://www.baidu.com’, sign=i) for i in range(200)]

async_start = time.time()

loop.run_until_complete(asyncio.wait(tasks))

async_end = time.time()

loop.close()

print(async_end - async_start)

上述代碼在 async_main 中用 async await 關鍵字實現了“異步” http,通過 asyncio ( 異步 io 庫請求百度首頁 200 次并打印出了耗時。

運行代碼后可以看到如下輸出(截取了部分關鍵輸出…)

async_main: 《_MainThread(MainThread, started 4471512512)》: 56: 200async_main: 《_MainThread(MainThread, started 4471512512)》: 99: 200async_main: 《_MainThread(MainThread, started 4471512512)》: 67: 200async_main: 《_MainThread(MainThread, started 4471512512)》: 93: 200async_main: 《_MainThread(MainThread, started 4471512512)》: 125: 200async_main: 《_MainThread(MainThread, started 4471512512)》: 193: 200async_main: 《_MainThread(MainThread, started 4471512512)》: 100: 200

4.518340110778809

可以看到順序雖然是亂的(56,99,67…) (這是因為程序在協程間不停切換) 但是主線程并沒有切換 (協程本質還是單線程 )。

程序共耗時 4.5 秒

比起同步請求耗時的 16.6 秒 縮短了接近 73 %!

俗話說得好,一步快,步步快。 在耗時方面,“異步” http 確實比同步 http 快了很多。當然,“協程” 不僅僅能在請求效率方面賦能接口測試, 掌握 “協程”后,相信小伙伴們的技術水平也能提升一個臺階,從而設計出更優秀的測試框架。

責任編輯:haq

聲明:本文內容及配圖由入駐作者撰寫或者入駐合作網站授權轉載。文章觀點僅代表作者本人,不代表電子發燒友網立場。文章及其配圖僅供工程師學習之用,如有內容侵權或者其他違規問題,請聯系本站處理。 舉報投訴
  • 操作系統
    +關注

    關注

    37

    文章

    6747

    瀏覽量

    123201
  • 代碼
    +關注

    關注

    30

    文章

    4753

    瀏覽量

    68368
  • python
    +關注

    關注

    56

    文章

    4783

    瀏覽量

    84473

原文標題:強化版的 requests,這個庫真牛 x

文章出處:【微信號:LinuxHub,微信公眾號:Linux愛好者】歡迎添加關注!文章轉載請注明出處。

收藏 人收藏

    評論

    相關推薦

    使用TMS320C6416處理器:Turbo處理器(TCP)

    電子發燒友網站提供《使用TMS320C6416處理器:Turbo處理器(TCP).pdf》資料免費下載
    發表于 10-23 10:16 ?0次下載
    使用TMS320C6416<b class='flag-5'>協</b>處理器:Turbo<b class='flag-5'>協</b>處理器(TCP)

    使用TMS320C6416處理器:Viterbi處理器(VCP)

    電子發燒友網站提供《使用TMS320C6416處理器:Viterbi處理器(VCP).pdf》資料免費下載
    發表于 10-21 09:36 ?0次下載
    使用TMS320C6416<b class='flag-5'>協</b>處理器:Viterbi<b class='flag-5'>協</b>處理器(VCP)

    淺談宜賓高新區和光同一期屋頂分布式光伏發電項目的研究與設計

    本文就Acrel-1000DP分布式光伏監控系統和光功率預測軟件在和光同一期屋頂分布式光伏發電項目中的應用方案進行了介紹,項目同時涉及到數據的調度上傳,因此配備了縱向加密和正反向隔離等裝置來確保數據的安全,防止潛在的網絡攻擊和
    的頭像 發表于 10-09 10:03 ?352次閱讀
    淺談宜賓高新區和光同<b class='flag-5'>程</b>一期屋頂分布式光伏發電<b class='flag-5'>項目的</b>研究與設計

    如何幫助孩子高效學習Python:開源硬件實踐是最優選擇

    家長們常常擔心孩子在學習Python時所面臨的挑戰,如復雜性、興趣保持、學習進度和可用資源。對于希望有效教授孩子Python的家長而言,了解硬件的作用至關重要,因為結合硬件項目的Python
    的頭像 發表于 09-06 09:49 ?275次閱讀

    用pycharm進行python爬蟲的步驟

    提供了許多有用的功能,如代碼自動完成、調試和版本控制等。您可以從JetBrains的官方網站下載PyCharm,并根據您的需求選擇免費社區版或付費專業版。 創建一個新的Python項目 打開
    的頭像 發表于 07-11 10:11 ?729次閱讀

    后端數據傳輸約定探討

    1 目的 穩定可靠,降本增效 ? 前后端數據傳輸約定旨在提升系統穩定性、可靠性,降低線上線下bug率;并提升研發效率、降低溝通成本、降低延期率。是確保項目前端和后端開發順利進行的重要規
    的頭像 發表于 07-08 19:10 ?206次閱讀
    前<b class='flag-5'>后端</b>數據傳輸約定探討

    港華能源與鑫光電將共建全球首個2平米鈣鈦礦疊層組件實證示范項目

    近日,港華能源投資有限公司與鑫科技旗下昆山鑫光電材料有限公司(下稱“鑫光電”)簽署戰略合作,將在今年內共同建設全球首個產業化2平米尺寸的鈣鈦礦疊層組件實證示范項目
    的頭像 發表于 04-10 09:16 ?364次閱讀

    SOLIDWORKS教育版使學生了解如何加快設計項目的速度

    在當今信息爆炸的時代,設計項目的速度和效率對于工程專業的學生來說至關重要。SOLIDWORKS教育版作為一款專門為學生設計的3D CAD軟件,不僅提供了強大的設計工具,更致力于幫助學生了解如何加快設計項目的速度,提升他們的設計能力和效率。
    的頭像 發表于 04-09 16:00 ?303次閱讀

    電力監控系統在吉林財富廣場項目的設計與應用

    安科瑞 項目概況 吉林財富購物廣場,位于吉林省吉林市昌邑區吉林大街與上海路交匯處,毗鄰吉林市重要商圈東市場。總規模達30萬㎡。 項目范圍 吉林財富購物廣場1個高壓配電室采集8臺安科瑞AM5微機
    的頭像 發表于 04-03 16:35 ?238次閱讀
    電力監控系統在吉林財富廣場<b class='flag-5'>項目的</b>設計與應用

    硬件測試服務項目的重要性和作用

    硬件測試服務項目是確保硬件設備性能穩定、質量可靠的關鍵環節。它涉及對硬件產品進行全面、細致的檢查和驗證,以確保其滿足設計要求并具備優良的用戶體驗。以下是關于硬件測試服務項目的詳細介紹。 一、硬件測試
    的頭像 發表于 03-28 09:54 ?683次閱讀
    硬件測試服務<b class='flag-5'>項目的</b>重要性和作用

    模擬后端是什么意思

    模擬后端,在軟件開發和測試領域,通常是指使用工具或技術來模擬實際后端服務的行為。這樣做的主要目的是在項目開發過程中,當后端服務還未就緒或暫時
    的頭像 發表于 03-15 15:58 ?627次閱讀

    MES系統項目的正確實施

    電子發燒友網站提供《MES系統項目的正確實施.docx》資料免費下載
    發表于 01-31 09:24 ?0次下載

    談談的那些事兒

    隨著異步編程的發展以及各種并發框架的普及,作為一種異步編程規范在各類語言中地位逐步提高。我們不單單會在自己的程序中使用,各類框架如fastapi,aiohttp等也都是基于異步
    的頭像 發表于 01-26 11:36 ?1092次閱讀
    談談<b class='flag-5'>協</b><b class='flag-5'>程</b>的那些事兒

    詳解PyTorch在MPS后端的新特性

    大家好,我叫Kulinseth,我在蘋果的MPS團隊工作,今天我將討論PyTorch中MPS后端的改進。接下來,我將介紹MPS后端進入Beta Stage的新功能。我們添加了一些新功能,如支持分析器、自定義內核和MPS開發者API,這些都是MPS
    的頭像 發表于 12-15 10:57 ?2234次閱讀
    詳解PyTorch在MPS<b class='flag-5'>后端</b>的新特性

    芯片設計分為哪些步驟?為什么要分前端后端?前端后端是什么意思

    芯片設計分為哪些步驟?為什么要分為前端后端?前端后端分別是什么意思? 芯片設計分為前端和后端兩個主要步驟。前端設計由邏輯設計和驗證組成,后端設計則包括物理設計與驗證。這樣的分工有利于更
    的頭像 發表于 12-07 14:31 ?3622次閱讀