人工智能已經發展到了今天了，創造出“賈維斯”還有點困難。但是，將素面直接變成拉面......嗯，也挺困難的。

那么，能不能將素面的外形看起來像拉面？吃不到那個味道，我看看總行了吧！

大家都知道，現在GAN（generative adversarial network 生成對抗網絡）合成的假圖片可以完美騙過人類了，經過語音數據的訓練也能造一只柯南的變聲蝴蝶結了。

嗯，技術就是這么神奇，通過將GAN和AR技術結合，真的能把素面吃出拉面味！

在IEEEVR會議召開之際，日本奈良先端科學技術大學院大學和電氣通信大學的研究組發布了一個實時味覺操作系統，這個系統通過 GAN將食物的外觀進行圖像轉換，之后利用 AR 將這個圖片疊加到真實圖片上，從視覺上來引起味覺上的錯覺。

此論文被IEEEVR收錄，并作為Demo展出。

論文：Enchanting Your Noodles: GAN-based Real-time Food-to-Food Translation and Its Impact on Vision-induced Gustatory Manipulation

作者：Kizashi Nakano, Daichi Horita, Nobuchika Sakata, Kiyoshi Kiyokawa, Keiji Yanai, Takuji Narumi

所屬：Nara Institute of Science and Technology; The University of Electro-Communications; The University of Tokyo

具體來說，是提出了一種通過 GAN 將真實食物實時轉換為其他食物圖像，從而操縱味覺的方法。這個方法主要是通過實時轉換食物的外觀（顏色和紋理），以從視覺層面控制味覺。

首先是從視頻透視型頭盔顯示器（HTC VIVE Pro）的前置攝像頭獲取 RGB 圖像，然后將其發送到服務器。服務器端將所獲圖像中心切割出來，再將其轉換為另一個食物圖像。圖像轉換后，最后將轉換的圖像疊加在真實圖像上去。

對于食物到食物的圖像轉換，這里用了基于 StarGAN 的網絡架構，實時運行。因此，該系統可以根據原始食物的變化，動態并且可交互地進行操作。此外，因為是在一定程度上保持原始食物視覺特性的同時進行調整，從而在轉換后能產生更自然的錯覺 。還有，比如說吃面的時候，不僅可以把素面變成拉面，同時還能變成像炒面這樣各種各樣的面。

注：不同于Pix2Pix和CycleGAN針對解決一對一的問題，即一個領域到另一個領域的轉換。StarGAN可以解決多領域要轉換。具體來說，StarGAN就是將多領域轉換用統一框架實現的算法，在同一種模型下，可以做多個圖像翻譯任務，比如更換頭發顏色，更換表情，更換年齡等。

為了訓練網絡，研究人員從五種食物類別（拉面，炒面，白米飯，咖喱飯，炒飯）中創建了有 149,370 張食物圖像的數據集。在演示視頻中，我們可以看到系統將素面變成拉面或者炒面，將白米轉換成咖喱飯或炒飯，可以在吃一種食物的時候體驗到一種仿佛在吃另一種食物的味覺幻覺。

素面變拉面，一位拉面“狂魔”的技術之路

這篇技術論文的第一作者是Kizashi Nakano，一位對拉面有著狂熱般的熱愛。就連他的facebook主頁上的個人資料都標注著我想吃拉面......

根據Facebook上面的資料，Kizashi Nakano是日本奈良先端科學技術大學院大學的研究生，擅長的領域是VR、AR、MR。

其實，關于拉面味覺變換的研究，他已經做了兩個了，而且，第一個項目已經獲得了國家級別的獎勵。

將自己的興趣愛好玩的如此高端，也是非常令人佩服的。在一次采訪中，這位同學說出了他做這項研究的原因：“我非常喜歡吃拉面，但是自從生了一次病之后，就無法嘗到這個味道了，但我還是忘不了拉面！我想再次吃到拉面！并且，我一直都這么認為。后來我想，如果看一下拉面圖像并吃掉別的東西，那么就有可能再次擁有拉面的味道了吧！所以我決定“嘗試虛擬現實的研究”。

據介紹，他在高中的時候，就從事過機器人等相關研究。進入大學之后，他想一定要精通編程，并用它進行相關研究。因此，大一的時候，他參加了由文部科學省主辦的“科學學院”的研究，成為了學生志愿者組成的“FIT袖珍實驗室（FITポケットラボ）”的一員。兩年后，覺得沒有什么有趣的研究題材的時候，他的小伙伴也參與了進來。

注：FIT袖珍實驗室是福岡工業大學信息工程學院的跨學科工作之一，專注于低年級的獨特學術研究活動。參與者確定他們想要做的研究主題，接受前輩和教授的建議，并且可以進行一年的實驗和研究。

他的小伙伴名字為津田，也曾在在福岡工業大學就讀，兩人在大學相識，并合力做了味覺變換的研究，發布了“利用增強現實技術開發味覺操縱系統”，并獲得了國家級別的獎勵。所以被IEEEVR收錄的這項研究肯定也離不開津田的支持和幫助。

這種味覺轉換的研究在學界并不是很多，在剛接觸的時候，Kizashi Nakano表示，他和他的小伙伴經歷了許多挫折，為了讓效果更逼真，圖像更清晰，兩位反復試錯，嘗試過各種各樣的食物。最后在測試的時候，80%的人稱食物的味道確實改變了。

其實，終極的虛擬現實體驗將包含所有的感官感覺，包括嗅覺和味覺，而行業和社區一直在不斷探索相關的實現方式。例如，東京大學的研究人員就曾經提出過利用電顎刺激GJS技術，從而更好地改變味覺并控制味道。這種GAN&AR技術結合的研究項目，相信也能夠給予虛擬現實研究者新的方向吧。