“鐵蛋鐵蛋，握個手”

“鐵蛋鐵蛋，作個揖”

“鐵蛋鐵蛋，跳支舞”

作為小米科技園里的新晉團寵，鐵蛋都有哪些秘密功能？如果擁有一只鐵蛋，你將會獲得怎么樣的新奇體驗？

這次，我們邀請了幾位初入職場的小米同學，一起來體驗擁有鐵蛋的一天。每個同學都可以認領一只屬于自己的鐵蛋，他們將攜鐵蛋一起，通過闖關的方式，去解鎖鐵蛋的技術盲盒。當智能的鐵蛋和熱愛技術的同學強強聯手，他們會帶來哪些精彩的技術故事呢？

小米鐵蛋這些神秘超能力的背后都有哪些秘密？來看看工程師們的介紹！

Q：鐵蛋的相機技術應用在哪些方面？能實現哪些功能？

A：基于小米自研的人體檢測、人體重識別、人臉檢測識別、室內建圖導航等算法的應用，鐵蛋可以實現人臉識別、智能跟隨、自主避障，以及拍照、錄像等功能。

在跟隨時，結合人體ReID算法，可以對主人進行實時跟隨；當目標人體脫離鐵蛋可視范圍（如拐角），再次出現時，鐵蛋依舊能夠準確的識別和跟隨；當有其他人出現在主人和鐵蛋中間時，也不會誤跟蹤到路人身上。

此外，鐵蛋可實現自動規劃到下一目標點的前進路線，并在導航運動過程中自主規避遇到的障礙物。

Q：為什么鐵蛋能夠做到快速、準確的識別主人？

A：鐵蛋頭部配備了一顆1300萬像素的廣角相機，根據鐵蛋和人體的相對高度，我們設計了一個合適的仰角，使機器狗可以最大化的捕捉到前方的人臉和人體信息。用戶在拿到鐵蛋的第一時間，可以通過APP錄入主人的人臉特征信息，因此鐵蛋就可以通過視覺算法對畫面中出現的每一個人進行比對識別，這樣鐵蛋就可以通過人臉來識別主人了。

小米自研的人臉識別算法是基于最新的深度學習算法，可實現實時對輸入畫面進行人臉檢測，當檢測到人臉后對人臉上關鍵點，進行識別和分析最終對每一個人進行ID識別。目前人臉關鍵點最高可支持216個，擁有百萬級的訓練數據，速度極快，只需要2毫秒。

Q：當主人在人群復雜場景移動時，為什么鐵蛋能夠實時準確的跟隨主人？同時能夠自主避障？

A：鐵蛋配備的AI交互相機和2個150°的超廣角魚眼相機，搭配深度攝像模組，使得鐵蛋具有超強的視覺空間感知能力，為鐵蛋的智能跟隨功能奠定了硬件基礎。鐵蛋的自主跟隨功能是多個算法模塊協作完成的，涉及的軟件算法模塊包括：人臉識別、人形檢測、人體ReID、人體位置計算、SLAM建圖、路徑規劃、導航避障等算法模塊。

鐵蛋在開啟主人跟隨模式后，首先通過人臉識別將主人和人體對應起來，在跟隨的過程中實時進行人體ReID保證鐵蛋不會被陌生人領走；在跟隨前行過程中，我們會實時計算主人與鐵蛋的相對位置關系，計算主人的前行速度并預測主人的行徑路，根據這些信息鐵蛋會實時的調整自己的速度和方向以實現智能的等距跟隨，特別是當主人前進過快，或者拐彎鐵蛋會通過語音提示主人。在跟隨前行過程中，鐵蛋會實時的進行SLAM導航避障，跟隨過程中鐵蛋檢測到前方有障礙物時，會根據地圖進行局部的路徑規劃和導航，自主的繞開障礙物，找到一條最優的路徑跟上主人的步伐。

Q：鐵蛋是怎么做到認識路的？

A：鐵蛋具有自主定位導航的功能。在鐵蛋頭部裝有AI交互相機、雙目超廣角相機、Intel Realsense D450深度攝像頭等傳感器。利用這些傳感器通過SLAM技術實現鐵蛋的定位和環境感知，建立導航地圖。通過APP，用戶可查看地圖，選擇目的地。目的地確認后，鐵蛋通過導航規劃技術可自動規劃到目標點的前進路線，并自主規避運動過程中遇到的障礙物。簡單講就是，SLAM技術告訴鐵蛋你在哪兒，你周圍環境是什么樣。導航告訴鐵蛋你去哪兒，以及怎么去。

Q：在復雜環境里中準確尋找到物品，鐵蛋是如何做到的？

A：鐵蛋有探索未知環境和目標檢測功能，實現邊走邊找的功能。利用頭部視覺模組實時感知局部環境，發現環境中邊界和可通行區域，同時，在行走過程中不斷通過目標檢測算法來對場景中的物體進行實時的定位及分類，檢測到場景中有特定物品時，把此位置作為導航目標，規劃出一條可行路徑并走過去。

Q：開發過程中最大的挑戰是什么？

A：第一點：從0到1，歷時10個月完成了小米第一代四足機器人視覺功能的技術預研與量產交付；

第二點：基于NVIDIA平臺而非我們熟悉或者有一定積累的高通平臺，在此過程中我們一邊擴大團隊，一邊學、探索和開發，大部分的算法都是自己開發的，過程非常艱辛；

第三點：鐵蛋是第一個直播發布的仿生機器人平臺，量產并發售給普通用戶的機器人平臺，在安全性和可靠性方面，我們做了充足的工作。

Q：鐵蛋未來還會有可能開發出哪些功能？

A：鐵蛋匯集了小米的核心技術積累，包括但不限于機器學習、生物識別、計算機視覺等。在高端硬件模組和多種軟件算法的應用下，鐵蛋可以實現更真實的生物反應以及環境觀察和辨識能力。未來，在視覺交互層面，我們將會創造更有趣的玩法，開辟更多新功能，讓鐵蛋的交互場景也更加豐富；并會不斷的開發和優化適合鐵蛋平臺的SLAM和導航的算法框架，使其有更優異的性能，在復雜的環境下依舊具備精準的建圖定位能力和導航避障能力。此外，機器視覺、導航避障、人機交互、Al語音算法等技術可以反哺手機、智能家居等產品。

劉慈欣表示：“科技與科幻都是人類想象力的延伸，和人類未來的生活息息相關。科技在很多方面將科幻變成現實。”

鐵蛋融合了仿生機器人的特性，在動物屬性上增加了高科技的智能算法，賦予它人類最期待的智能功能，包括但不限于機器學習、生物識別、計算機視覺等，支持超感視覺探知系統，是科技和現實載體的結合。基于小米自研的人臉識別、人體檢測、室內建圖導航等算法的應用，內置高性能超感視覺探知系統和AI語音交互系統，搭配深度攝像模組，使得鐵蛋具有科技感的同時，兼具真實的生物反應。

我是Cyberdog鐵蛋，未來我會不斷學習更多的技能，融入更多的前沿新興科技，變成一個“全能鐵蛋”，讓全球每個人都能享受科技帶來的美好生活，請大家敬請期待吧！

原文標題：聽說，有人向鐵蛋發起了挑戰

文章出處：【微信公眾號：小米公司】歡迎添加關注！文章轉載請注明出處。
責任編輯:pj