12月5日，亞馬遜發布AmazonGo震驚業界。雷鋒網第一時間研究了專利文件，并采訪資深計算機視覺算法工程師，最終出文從2份專利文件，一窺AmazonGo到底藏了什么黑科技？

　　今天雷鋒網特地采訪了無人零售商店創業者陳維龍為大家更加詳細地解讀AmazonGo以及無人零售商店項目。陳維龍畢業于中山大學，曾親自參與并實施過多套類似的無人零售解決方案系統，對整個項目的流程化體系有著較深的認知和實踐經驗。

　　AmazonGo系統構成

　　陳維龍把AmazonGo系統“拆分”為三部分：人/貨架/進出口。其中硬件軟件構成如下表：

　　布局如下圖所示：

　　貨架墻壁上安裝多個攝像頭，多種傳感器埋在每層貨架的底部或頂部。攝像頭負責拍照，光幕/紅外傳感器負責制造一個水平面，如果用戶的手穿過此面表示用戶開始實施某種動作，提高圖像分析效率。壓力/紅外傳感器用來表示商品的位置和狀態，為用戶的行為提供數據。

　　利用這些數據進行深度學習，建立商品—動作—人的判別模型，提高系統反作弊/識別能力。

　　AmazonGo的核心技術是什么？

　　陳維龍向雷鋒網透露，其實AmazonGo的核心技術是反作弊/識別系統，不管它能提供多強大的商業功能，作為無人超市系統，反作弊/識別是它存在的第一要素。

　　在現有超市，通過便衣巡邏和監控攝像頭識別顧客行為是否合法，例如是放在購物袋/車還是放在衣服里，將用戶的行為規范到指定的范圍，最后通過收銀員識別商品和顧客的對應關系，成功解決了誰對什么商品干了什么，從而達成交易。

　　其中人防和機防是反作弊系統，負責解釋顧客行為，從而保證商品與顧客的關系，而收銀員負責確認商品和顧客關系。在AmazonGo中，系統也要解決誰對什么商品干了什么的問題。

　　接下來的內容分為大三塊，詳解Amazon Go是如何做的。

　　一、如何檢測和識別顧客的行為：拿走或放回？

　　陳維龍指出，顧客購物行為非常豐富，從貨架的角度來看，核心動作只有拿走或放回兩種。

　　不論如何，商品被從貨架拿走了，最大的可能就是被買走了，而被放回來就是你不需要了。如果能識別拿走或放回，那么就解決了核心問題。根據AmazonGo專利顯示，它是這樣做的：

　　采集用戶的手進入貨架平面前的圖像。

　　采集用戶的手離開貨架平面后的圖像。

　　兩者對比，可以知道是拿出貨物還是放入貨物。

　　如果是拿起，進入前的手和進入后的手及手中的物品等特征是可區分的，這個特征與放入是相反的。簡單說，如果是拿起，進入之前手是空的，沒有商品的，離開后是手里有物品的。放入則相反。那么如何識別手呢？從形狀和圖片顏色（膚色）可以辨別。在貨架前利用光幕或者紅外形成一個平面，就可以知道用戶的手到了那里。

　　除了圖片分析，傳感器也可以提供這樣的數據。多種數據結合，可判斷用戶行為是拿走還是放回。

　　二、如何準確識別出被拿走的物品和被放回的物品？

　　我們知道，有了顧客動作，還要識別動作承受的商品，不然會出現張冠李戴的現象。陳維龍繼續解釋到，這部分分成兩個步驟來處理：識別被拿走的物品和識別放回的物品。

　　識別被拿走的物品

　　因為物品是被雇員人工放置的，所以該物品可以直接標記到系統中，因此不用圖像識別是何種物品（它已經被人工識別了）。用傳感器表示它被拿走即可。

　　在某些情況下，商品可能沒有被提起設置或者設置后被混亂了，那么此時需要圖像識別該位置現有的商品與應該有的商品是否一致。例如，物品A被放在B物品處，如果只有上面提到的那種方式處理，就會被當成物品B，不過這種情況較少。

　　如果是高置信度事件，可直接確認，更新（增加）物品清單，否則還有顧客協作確認的環節。

　　識別被放回的物品

　　在放回物品前，可以通過物品清單確定用戶與物品的關系，這些物品的圖片被儲存在系統內。

　　檢索圖片，與被放回物品進行比較，識別物品。

　　高置信度即可判斷物品正確，更新（刪除）物品清單，否則還有顧客協作確認的環節。

　　被放回的物品會存在錯放位置的情況，識別后通知雇員整理。

　　不管是拿走還是放回，如果是低置信度事件，會被系統記錄分析。

　　對于正常的購物，在固定區域的商品種類單一，容易識別。對于被錯放的物品，因為概率較少識別難度和計算量不會顯著增加。但是對于故意作弊的行為，需要極大的計算資源識別。這個問題后面討論。

　　三、對某商品進行了某動作的人是誰？

　　根據資料顯示，AmazonGo在進出口設置了“轉移區”，類似現有超市的防盜門，此門可掃描用戶二維碼識別進出口的顧客。陳維龍解釋到，這里問題的關鍵是AmazonGo需要實時識別“對某商品進行了某動作的人是誰”。

　　從問題可以發現，解決這個問題的關鍵還是要在貨架上入手，因為任何人對商品實施動作的時候必須在貨架前。關于這部分細節，AmazonGo專利給出的解釋是利用用戶位置信息定位進行識別。

　　例如，張三站在貨架A前，此時A貨架商品被取走，那么就認定張三購買了商品。這里存在很大的隱患是張冠李戴問題，因為僅通過位置定位顧客，只要在此區域的用戶都可能被當成購買者，從而形成商品和顧客一對多的關系。如果這個位置定位區域限制在足夠小的區域，就能實現一一對應關系。

　　AmazonGo使用的圖像分析和音頻分析。通過攝像頭可檢測用戶及其方位，天花板或貨架里的多個音頻可根據時差分析用戶位置。此外，天花板上的天線可用三角測量確定位置，用戶手機GPS也能提供定位。

　　關于室內定位或擁擠區域定位問題，一般的定位技術是無法解決的。目前國外有GPS定位到毫米級別，但是費用極高，應用很少。iBeacon技術也可以用于室內定位，可達到厘米級別，但是僅限于IOS設備。

　　總的來說，AmazonGo反作弊/識別系統是通過“商品—識別動作—識別承受動作的商品—商品與用戶清單/用戶關聯”進行運作的。

　　對AmazonGo反作弊/識別系統而言，它只需要知道哪些商品被拿走或放回了，并且知道是誰實施的，那么就知道是誰購買/放回了什么商品。最后在出口（轉移區），顧客刷卡確認顧客與商品的關系即可。

　　商品識別問題討論

　　此時有個疑問：故意作弊的行為，能識別動作，但是識別商品難度較大，因為大型超市商品種類有10萬種，依據現有的水平是無法解決的。

　　陳維龍就這一問題給出以下解決方案：

　　限制特定種類商品。從亞馬遜官方視頻中看到超市商品種類與日常生活超市相比要少很多，而且形狀規格等都比較統一。

　　限制開店區域和人群。在中高端市場，用戶的可信度較高，超市防盜壓力減少。視頻中顯示的商品也趨向中高端市場。

　　特殊人群跟蹤。上面提高用戶行為被系統判定為低置信度事件會被記錄跟蹤分析，這部分人群需要單獨的技術限制和人工干預。

　　容忍作弊行為，加強非技術反作弊手段。雖然討論的是高科技含量的東西，但是就目前階段結合必要的人工手段能提到較好作用。