2019年02月25日，微軟正式發布了下一代的可穿戴全息計算機HoloLens2，同時為其準備了一套全新的混合現實服務，面向商業的開箱即用App，以及能夠進行感知和預測的傳感器。

微軟同時發布了一款新的Azure Kinect設備，為開發者提供了創建人工智能體驗的新方式。Azure Kinect將HoloLens 2中的深度感應攝像頭技術與圓形麥克風陣列和彩色攝像頭相結合，并搭配以Microsoft Azure中的人工智能服務。它可以幫助開發者建立新的感知功能，如根據鋸子的聲音識別其是否屬于危險的運行情況，支持機器人在裝箱時判斷距離，或者是識別從商店貨架中選擇的物品。

所述的新技術都由微軟的智能服務提供支持。無論是在設備自身（可以快速地識別危險情況）運行，還是說在云端操作（幾乎無限的計算資源），微軟的智能服務可允許其在最有意義的地方運行計算。簡而言之，這就是智能邊緣和智能云端。

微軟同時表示，這些混合現實和感知工具將能幫助企業利用一種跨越數字世界和物理世界的全新計算浪潮，而只有通過智能云和智能邊緣的最新進步才能實現這一目標：從家用電器到倉庫樓層和HoloLens 2，能夠提供有關周圍環境即時洞察的傳感器和設備正變得越來越多。微軟Azure市場營銷的商業副總裁朱莉婭·懷特表示：“我們已經走到了技術可以解決現實問題的地步。你將真正開始看到全新的計算浪潮是什么，以及它將如何轉化為真正的業務成果。”

1. 從二維屏幕到全息圖

迄今為止，大多數人都經歷過二維屏幕：筆記本電腦，電腦顯示器，智能手機，平板電腦，以及電視游戲等等。微軟的混合現實產品可以從矩形屏幕中提取數字信息，并允許人們在物理空間中與全息圖進行交互。它們可以獨立存在，例如醫學生可以抓取人類心臟的三維渲染，調整其大小并自由旋轉觀察角度。這種全息圖可以與現實世界中的物理對象相關聯，例如說明書可以疊加在火爐之上，并向你說明如何更換過濾器。

微軟指出，全新的HoloLens 2為一線工人提供了更具沉浸感，更加直觀和更為舒適的體驗。對于雙手需要忙于工作的他們而言，HoloLens 2可以支持其診斷引擎問題或訪問步驟式的組裝說明。用戶可以通過點頭或語音返回前一步驟進行再次確認。你可以在三維中感知對象，直接在設備看到每一個螺絲應在的位置或每一個棘輪的轉動方向。

與初代HoloLens相比，HoloLens 2提供了一系列的新功能，如抓取和旋轉全息圖的功能。這就像操作真實對象一樣，而非通過不自然的手勢。眼動追蹤可以判斷用戶在機器的注視點位置，并調取有用的數字信息。單詞可以在你閱讀時自動滾動。最終的結果就像是從卡通翻頁書到實際電影的沉浸式轉變。

新設備的視場是初代HoloLens的一倍多（新設備FOV對角52度），新的顯示技術令全息圖變得更加生動逼真。

微軟云計算和人工智能事業群的Technical Fellow艾利克斯·基普曼指出：“這是你第一次體會到觸摸全息圖，與全息圖交互的感覺，你幾乎會忘記自己正在看著的是數字內容，而它根本不存在于現實世界。”

HoloLens 2提供的商業機遇由智能邊緣的擴展功能提供支持。從嬰兒監視器和冰箱傳感器，再到諸如HoloLens這樣復雜的機器， 這涵蓋一系列正在呈爆炸式增長的設備。

這種感知功能越發敏銳的設備可以告訴自動駕駛汽車何時轉彎，要求一件工廠設備何時關閉，或者知會工人清理有可能導致客戶滑倒的水坑，甚至是網絡信號有限的位置。

但隨著邊緣設備正變得越加智能化，它們同時需要變得更加安全。對于以前需要在云端和本地服務器上運行的應用程序，它們現在需要在快速擴展的設備集合中工作，每天針對特定的工業流程進行更多的開發。Azure現正通過Azure Sphere和Azure IoT等解決方案為邊緣設備提供安全的計算能力，并支持開發者設計出可跨越多種計算環境無縫運行的產品。

當這種邊緣設備連接到智能云端時，它們可以提供更深入的見解并實現真正的協作計算。

基普曼說道：“HoloLens 2是一款令人難以置信的多功能邊緣設備。它可以脫機工作，并且可以連接到任何云端。但它的設計同時考慮了Azure。當與Azure連接時，它將成為任何人都可以從任何設備或任何平臺訪問的共享體驗。當兩者結合在一起時，那就是奇跡發生的時刻。”

2. 始于Xbox和數十年的研發

微軟數十年來的研究項目和商業開發塑造了他們在混合現實和感知項目的進步：最初為Xbox開發的手勢識別設備，針對AI的投資，初代HoloLens的經驗教訓，有求必應的應用程序，安全和身份管理方面的專業知識，以及與客戶合作和開發企業解決方案的悠久歷史。

但是，為了實現混合現實承諾的真正協作式和沉浸式計算體驗，這種工具同時需要在開放環境和人們已經擁有的設備或口袋中運行。

基普曼認為：“混合現實的承諾是，所有這些設備都是窺見存在于世界中的聯網內容的透鏡。假如我想把全息圖放在房間里面。當我離開房間，而你戴著HoloLens或拿著智能手機或平板電腦進來，你應該看到全息圖嗎？假設隱私和權限都適用，答案是肯定的。”

今天微軟發布了一項名為Azure Spatial Anchors的云端服務，其允許用戶創建在特定物理空間中持久存在的全息圖。例如，當服裝店經理將服裝的全息圖像“放在”相鄰的假人模特身邊，其他人將可以通過HoloLens，智能手機或平板電腦進行瀏覽。第二天，一名員工可以走進來并用iPhone指向每個假人模特，看看它的裝扮效果并開始準備相應的服飾。”

3. 面向一線工人的技術

對于通過計算機完成大部分工作的信息工作者而言，他們都受益于科技的爆炸性增長，因為這使得他們能夠通過鼠標觸碰幾乎任何一切并實現即時的溝通。這為個人和企業帶來了前所未有的生產力提升。

但大多數人并不是如此。在這場技術革命中，人們經常是用雙手來組裝機器，照顧病人，修理設備，排除故障或與事物互動。Dynamics 365 Mixed Reality at Work的總經理洛林·巴丁（Lorraine Bardeen）表示，這款應用程序為一線工人提供了實現類似生產力提升的巨大機遇。

巴丁指出：“一線員工不僅對一系列企業的日常運營至關重要，而且對其制造產品的方式同樣至關重要。而且他們往往屬于員工中的大多數。但與那些在辦公室或在更傳統的計算友好型環境中工作的人相比，他們很少能體會到技術進步帶來的提升。”

當微軟開始向企業詢問混合現實如何能夠致使他們受益時，同樣的需求出現在了各個行業之中。他們希望位于偏遠地區或不同工作地點的工作人員能夠與專家對接并協同解決問題，在三維空間中可視化設備或家具以判斷其是否合適，以及培訓需要雙手自由工作的新員工。

為了提供更多開箱即用的價值，微軟為Microsoft Dynamics 365創建了混合現實版應用程序。現在企業可以立即通過HoloLens 2來滿足工作場所的需求，無需再雇傭一大批開發者。

繼Dynamics 365 Remote Assist和Dynamics 365 Layout之后，Dynamics 365 Guides成為了微軟開路商業混合現實應用程序的又一探索。Guides允許企業將紙張和屏幕的培訓材料變成一種身臨其境的三維體驗。

“所有人都希望成功，而幫助新員工迅速上手工作的能力十分寶貴。”PACCAR ITD全球技術與運營的高級總監羅伯·布蘭森（Rob Branson）如是說道，他的公司已經試用了Dynamics 365 Guides的早期版本。

他指出：“如果你想想成年人學習的方式，你會發現視覺的占比非常高。能夠看到步驟式的指南疊加在物理對象上可以加快員工學習一項新任務的速度。”

HoloLens 2顯然考慮到一線工人。與初代HoloLens相比，它更輕更舒適，重心更為平衡，這樣用戶就能整天佩戴。全新的翻蓋式眼罩可允許工人輕松切換物理世界和全息世界。

PACCAR員工佩戴的設備就像帽子一樣能夠輕松滑動，他們可以訪問步驟式的全息指令，并在其幫助下完成組裝卡車門等不熟悉的任務。在Dynamics 365 Guides中，點亮的箭頭可以清晰說明從每一個步驟，如線纜需要通過的孔洞或所需工具的正確位置。

疊加在卡車門的全息圖說明了員工應如何執行所述任務，全息圖同時點亮了鋼板之下的結構，而如果沒有X射線等技術的支持，常人通常無法看到鋼板底下的結構。

對于勞動力老齡化的行業，企業迫切需要迅速把相關的工作智慧傳給下一代工人。在以往，這通常需要數年的學徒時間或數十年的工作經驗才能積累實現。

例如，對于新加入阿拉斯加航空公司的機械師，他們原本需要大約兩年的時間才能完成所有的培訓。混合現實工具可以顯著減少新人的學習曲線，而沉浸式培訓環境同時能夠令伴隨著電子游戲成長的新生代員工產生共鳴。

阿拉斯加航空公司戰略總監麥克·羅倫戈（Mike Loreng）表示：“紙張變得栩栩如生。我看到的不再是一張二維紙張，而是投影至引擎的3D內容。”

4. 人與物之間的智能對話

當利用智能邊緣和智能遠端的不同功能時，混合現實可以變得更加強大。

在一些情景中，你希望能夠在智能邊緣快速處理信息，而不是將數據發送到云端，例如可以提醒你即將發生安全風險的攝像頭或控制制動系統的算法。在工廠車間，并非每個傳感器的所有數據都與“此時此刻”相關。因此，在邊緣運行不太復雜的AI服務可以幫助過濾掉不相關的信息或執行不需要云端支持的任務。

如果你需要全息圖來幫助潛在客戶設想新車的樣式，單臺HoloLens 2即可通過板載功能提供充足的計算能力和分辨率。

但如果將設備連接至全新的Azure Remote Rendering混合現實云端服務，你將可以快速生成復雜的三維數字模型，而原本企業可能需要花費數天或數月的時間才能構建出與之媲美的模型細節。如果沒有云端的圖形處理能力，這是不可能實現的任務。

懷特指出：“突然之間，混合現實從一種新奇玩意變成了能夠增強你工作的真正用例，并可以完全取代一整個商業流程。例如，以其中以往無法實現的方式來使用完整的數字建筑。”

通過賦能現場工作人員快速診斷和修復對運營至關重要的機器，PTC的物聯網和混合現實工具可以幫助企業最小化停機時間。

對于微軟合作伙伴之一PTC新開發的系統，其已經集成了物聯網邊緣解決方案，Azure云和混合現實工具，從而對從航空航天到國防承包等一系列企業進行了數字化轉型。

PTC首席執行官吉姆·海佩爾曼（Jim Heppelmann）指出，你可以設想一下這樣的情景：在第二天來到實驗室后，研究人員突然發現處理血液樣品的關鍵機器已經停機。接下來會發生什么事情呢？

在幾年前，閃爍的燈光或模糊的錯誤信息可能是唯一的線索。她可能會打電話給制造商，他可能會通過電話方式來診斷問題。最有可能的是，實驗室不得不為把在那座城市工作，甚至是在另一座城市工作的維修人員派往現場。重新運行機器可能需要數小時或數天的時間。與此同時，擔心血液結果的患者只能無奈地苦等。

今天，借助ThingWorx for Azure服務，她可以戴上HoloLens 2設備并查看全息儀表板，其中每個組件的運行狀況和狀態都會映射到物理機器。由微型物聯網傳感器采集并發送到Azure云的數據可能會診斷其中一個問題。然后，這位研究人員可以訪問步驟式的全息說明，逐步打開蓋子，翻轉杠桿，插入新零件。如果她依然無法診斷問題或解決問題，坐在內布拉斯加州辦公室的維修專家可以通過HoloLens 2看到其面前的一切，并通過語音和全息指示引導她完成操作。

海佩爾曼說道：“這是人與物之間的封閉循環。物聯網設備告訴我錯誤所在，混合現實解決方案則將我與能夠輕松解決問題的專家對接，從而節省花費在通勤路上的時間與金錢。”

他進一步指出，對于可能需要長時間佩戴混合現實頭顯的一線工人來說，HoloLens 2提升的舒適度與視場具有十分重要的意義。

他表示：“這兩點令HoloLens從有趣的原型變成了能真正廣泛用于工廠，醫院和建筑工地的實用性工具。這是一大進步。”

這些功能對微軟的另一個合作伙伴Bentley Systems而言同樣重要，他們主要是為正在展開復雜的大型基礎設施項目的工程師，建筑師和建筑公司開發軟件。

負責項目交付的高級副總裁諾亞·艾克豪斯（Noah Eckhouse）表示，當站在存在大量活動組件的平臺和需要操作重型設備來檢修城市火車站或足球場時，俯視手機或平板電腦上的信息可能非常危險。HoloLens頭顯則允許工作人員在感知物理環境的同時自然獲取數字信息。

通過HoloLens，這家公司的SYNCHRO軟件允許工人放大施工現場的特定位置，并訪問相關的重要數字信息，如安全指南或安裝說明。管理人員可以從三維視圖預覽兩天后或三周后的效果，并基于不斷變化的現實來預測潛在的計劃沖突。

他表示：“建筑工地就像是一場大型的芭蕾舞表演，一切都需要非常精心的編排，而材料和人的運動都必須存在于一定的空間內。計劃表從你開始的第一天就要改變。”

盡管可以在單臺設備存儲和更新兩居室平房的計劃，但如果沒有云計算，你將無法跟蹤大型基礎設施項目中的所有活動組件。

通過將作業現場上的每臺HoloLens設備連接至在Azure中不斷更新的主模型，SYNCRHO能夠確保每個人都是使用相同的共享現實，并通過最新信息來排序作業，計劃起重機移動，跟蹤進度，并確保工人安全。

艾克豪斯認為：“云端連接至關重要，因為對于這些大型項目，現場與工程師和設計師之間的來回信息傳遞是在不斷地進行。在物理世界中開展基礎設施項目的任何影響可都是來真的。”

5. 將強大的感知工具帶到邊緣

計算機視覺和人工智能的兩項決定性成就給HoloLens 2的沉浸式體驗做出了貢獻。通過語義理解來解釋物理空間的能力允許設備區分墻壁和窗戶，或區分沙發和咖啡桌。自然手部追蹤則允許人們更直觀地旋轉和擴展全息圖，而不是必須學習模仿鼠標移動的手勢。

這些進步得益于第四代的Kinect，并結合了在邊緣運行的AI工具。這種深度和動作感知技術最初是在十年前開發，并旨在為Xbox創建手勢識別附件。但對于可以準確感知深度并確定人體在空間中移動的能力，其潛力遠遠不局限于游戲。

例如，Ocuvera正與Azure Kinect合作開發這樣一種系統：旨在幫助防止每年在美國醫院發生的大約100萬次跌倒，甚至是全球范圍內的更多跌倒。他們研發的系統可以感知需要幫助行走的患者是于何時無助地下床，并提前預警護士以提供幫助。

利用深度感應攝像頭和人工智能算法，系統可以在患者起床前識別出運動模式，如坐起或擺動腿部的動作。11個臨床試點的初步研究結果發現，在實施上述技術后，無輔助和未留意的下床行走減少了90％以上。

首席執行官史蒂夫·凱恩（Steve Kiene）表示，Ocuvera團隊調查了世界每一臺深度感應攝像頭，甚至試圖開發自家的深度感應攝像頭。但對于區分病人是向前移動抑或只是翻身，沒有任何一款設備能夠接近于Azure Kinect的準確性和分辨率。

他說道：“這就像玩撲克時的認牌一樣。只有Azure Kinect能夠為我們提供可以真正了解患者在病床上發生的情況，并以足夠的準確度預測其意圖的數據。當我們在醫院進行試點測試時，他們經常告訴我們這是不可能的做到的事情，但隨后他們發現它確實有效，而且他們感到非常驚訝。”

凱恩認為，新的Azure Kinect的價值在于它將傳感器硬件與Cognitive Services等Azure工具結合在了一起，使得開發者能夠輕松快速地部署AI解決方案。這可以幫助Ocuvera團隊更輕松地將語音識別或語言翻譯等服務集成至系統之中。例如，支持患者以多種語言呼叫護士。

隨著越來越多的服務移到邊緣，它們無需將數據發送至云端即可在本地運行。

凱恩指出：“Azure Kinect不僅僅是一個攝像頭，它與所有其他非常重要的服務相連，如語音識別和身體追蹤。這一整個服務包非常有價值。”

為了幫助HoloLens 2成為世界上最具沉浸感的全息計算機和最為智能的邊緣設備，基普曼已經投入了十多年的時間與精力。他表示，任何發明家的真正回報都是基于人們可以在其創新基礎上做什么。

基普曼解釋說：“我們把全副身心和所有醒著的時間都用于締造這個愿景，并將其付諸實踐。現在，我們終于可以看到這項技術將如何幫助我們的客戶進行市場競爭，進行數字化轉型，實現以前無法實現的目標，做一些我們從未想象過的事情，令我無比興奮的事情。”