慕尼黑路德維?！ゑR克西米利安大學 （LMU） 的基因中心使用冷凍電子顯微鏡 （cryo-EM） 來檢查蛋白質和生物復合物的結構。在此過程中需要仔細篩查冷凍網格樣本的冰層厚度，即測量樣本質量。如果此篩查使用電子顯微鏡執行，則不僅速度很慢，而且成本也很高昂。

最近，顯微鏡專家 Christophe Jung 博士和 LMU 基因中心的數學和物理講師 Markus Hohle 博士使用 MATLAB 攜手開發了一款深度學習工具，可以通過分析彩色相機拍攝的圖像來確定冷凍網格樣本的厚度。該工具首先通過深度學習篩查冷凍樣本，然后識別最佳樣本并將其發送到電子顯微鏡進行更仔細的檢查，從而幫助 LMU 的研究人員節省了時間和金錢。

現在，您也可以通過點擊“閱讀原文”，在 GitHub 上獲取這個工具。

“我們用 MATLAB 構建的深度學習工具已經改變了我們實驗室研究工作的方式，”Hohle 博士說道?！皬姶蟮膶I支持和高效的培訓材料促使我們選擇了 MATLAB，而不是其他軟件?！?/p>

用于進行快速網絡篩查的寬場光學顯微鏡。

挑戰

一臺電子顯微鏡設備的安置成本高達 300 到 500 萬美元，每日運行成本也達到了 4，000 到 5，000 美元，這使得許多個人研究小組無力承擔。此外，由于需要檢查的樣本太多，顯微鏡經常因超額預訂而無法得到即時使用。

用電子顯微鏡篩查樣本質量的速度也很慢。而且，必須對每個網格圖塊單獨成像，并針對冰層厚度質量對其進行評估。根據電子顯微鏡圖像對冰層厚度進行視覺評估需要豐富的經驗，所得的結果可能因各個研究人員而異。即使采用自動化的樣本加載和采集方法，電子顯微鏡每天也只能篩查 12 個網格，遠遠低于檢查幾十個樣本的需求量。

以前，他們嘗試過自動執行篩查過程，包括嘗試使用深度學習算法。然而，這些措施都依賴從電子顯微鏡獲得的圖像，這并沒有加速篩查過程。

LMU 基因中心的研究人員希望創建一種篩查方法，以便能夠基于彩色相機拍攝的圖像確定樣本的質量。這樣，他們便能夠在較便宜的硬件上完成部分篩查過程，從而減少電子顯微鏡的負荷和運行成本。

解決方案

LMU 團隊使用干涉顯微鏡和彩色相機拍攝了 650 張冷凍電子顯微鏡樣本圖像，總共包含 4，000 個圖塊。他們使用了 Image Processing Toolbox 將這些圖像導入 MATLAB 中并對其執行預處理。

LMU 團隊使用了圖像標注器來手動對圖像添加注釋。為了改進深度學習模型，研究人員開發了自定義 MATLAB 腳本，通過執行各種變換來增強訓練示例，包括隨機旋轉它們和裁剪不同區域。

借助 Deep Learning Toolbox，他們訓練了兩個用于圖像分割和分類的神經網絡。第一個網絡是基于 Inception-ResNet-v2 的圖像分割模型，用于識別每個樣本網格圖塊中的單個方塊。第二個神經網絡基于 DarkNet-19 模型，用于對檢測到的每個方塊的冰層厚度質量進行分類。研究人員使用了 Deep Learning Toolbox 中提供的預訓練深度學習模型，并基于他們自己的樣本對這些模型進行了微調。

通過 Parallel Computing Toolbox，LMU 團隊能夠配置其神經網絡，以利用圖形處理單元加速訓練和推斷過程。

最后，研究人員使用了 MATLAB Compiler 將應用程序打包為可執行文件，以便可在任何 Windows 計算機上運行，即使計算機上未安裝 MATLAB 也能如此。他們將該應用程序命名為“基于人工神經網絡的圖像分類和分析軟件 （ANNICAS）”。安裝后的 ANNICAS 在計算機的后臺運行。它可以自動監控和分析添加到源文件夾的新圖像，并將結果存儲在目標文件夾中。

除了作為科學出版物發表在 GitHub 上之外，LMU 還以開源方式公布了該項目，旨在幫助其他研究人員利用這項研究成果開展并改進他們的工作。

結果

縮短了質量篩查時間。

“借助 ANNICAS，我們在短短 5 分鐘內即可篩查 20 個樣本，”Jung 博士說道。“以前，用電子顯微鏡處理這個批量的樣本需要工作一整天?！?/p>

降低了篩查成本。

“從電子顯微鏡的運行成本方面來講，篩查每批樣本需要花費 4，000 到 5，000 美元，”Hohle 博士說道。“通過自動執行該過程，我們節省了大量成本，也讓顯微鏡騰出了更多時間處理其他重要工作?！?/p>

節省了研究人員的時間。

“手動過程需要學生和研究人員花數小時觀察樣本并評估其質量，”Hohle 博士說道?！安捎米詣踊^程后，他們就可以騰出時間處理更有意義的工作了。”