精品国产人成在线_亚洲高清无码在线观看_国产在线视频国产永久2021_国产AV综合第一页一个的一区免费影院黑人_最近中文字幕MV高清在线视频

0
  • 聊天消息
  • 系統消息
  • 評論與回復
登錄后你可以
  • 下載海量資料
  • 學習在線課程
  • 觀看技術視頻
  • 寫文章/發帖/加入社區
會員中心
創作中心

完善資料讓更多小伙伴認識你,還能領取20積分哦,立即完善>

3天內不再提示

NeRF的研究目的是合成同一場景不同視角下的圖像

3D視覺工坊 ? 來源:3D視覺工坊 ? 2023-01-29 10:54 ? 次閱讀

NeRF,即Neural Radiance Fields(神經輻射場)的縮寫。研究員來自UCB、Google和UCSD

Title:NeRF: Representing Scenes as Neural Radiance Fields for View Synthesis

Paper:https://arxiv.org/pdf/2003.08934.pdf

Code:https://github.com/bmild/nerf

寫這篇文章的動機是,一方面NeRF實在太重要了代表著計算機視覺、圖像學結合的未來重要方向;另一方面NeRF對于計算機視覺背景的同學有一定的理解門檻,這篇文章試圖以最小背景知識補充、最少理解成本為前提介紹NeRF。

整體介紹

NeRF的研究目的是合成同一場景不同視角下的圖像。方法很簡單,根據給定一個場景的若干張圖片,重構出這個場景的3D表示,然后推理的時候輸入不同視角就可以合成(渲染)這個視角下的圖像了。

「3D表示」有很多種形式,NeRF使用的是輻射場,然后用「體渲染」(Volume Rendering)技術,給定一個相機視角,把輻射場渲染成一張圖像。選用輻射場+體渲染的原因很簡單,全程可微分。這個過程很有意思,可以理解為把一個空間朝一個方向上拍扁,空間中的顏色加權求和得到平面上的顏色。

輻射場

7979651c-9f7f-11ed-bfe3-dac502259ad0.png

體渲染

所謂體渲染,直觀地說,我們知道相機的焦點,焦點和像素的連線可以連出來一條射線,我們可以對這條射線上所有的點的顏色做某種求和就可以得到這個像素的顏色值。

理論上,我們可以對這條射線經過空間上的每個點的密度(只和空間坐標相關)和顏色(同時依賴空間坐標和入射角)進行某種積分就可以得到每個像素的顏色。當每個像素的顏色都計算出來,那么這個視角下的圖像就被渲染出來了。如下圖所示:

7984c5e2-9f7f-11ed-bfe3-dac502259ad0.jpg

從相機焦點出發,往一個像素連出一條射線,獲取射穿過空間中每個點的屬性,進行積分得到這個像素的顏色

為了順利完成上面過程,我們可能需要維護碩大無朋Tensor來表示輻射場,查表獲取RGB和密度。這里一個問題是空間有多大表就有多大,同時只能是離散表示的。NeRF要做的事情是用一個神經網絡來建模輻射場,這樣無論空間有多大,不影響我們表示輻射場的所需要的存儲量,而且這個輻射場表示是連續的:?Θ:(?,?,?,?,?)→(?,?,?,?

799646fa-9f7f-11ed-bfe3-dac502259ad0.png

79a2b46c-9f7f-11ed-bfe3-dac502259ad0.jpg

用神經網絡來代替查表的方式表示輻射場

整體過程

因為神經網絡是可微分的,選取的體渲染方法是可微分;體渲染得到的圖片和原圖計算MSE Loss。整個過程可端到端地用梯度回傳來優化非常漂亮。整個訓練Pipeline如下圖所示:

79b9f91a-9f7f-11ed-bfe3-dac502259ad0.jpg

看到這,讀者就已經大致理解NeRF的原理了,后面章節是NeRF的具體細節。

用輻射場做體渲染

前面我們已經大致理解體渲染的過程是怎么做了??墒窃趺囱刂渚€對空間中的顏色進行積分呢?如果我們把射線看作是光線,可以直觀得到這個積分要滿足的兩個條件:

1、一個點的密度越高,射線通過它之后變得越弱,密度和透光度呈反比

2、一個點的密度越高,這點在這個射線下的顏色反應在像素上的權重越大

79c63be4-9f7f-11ed-bfe3-dac502259ad0.png

而實際渲染過程,我們只能把射線平均分成N個小區間,每個區間隨機采樣一個點,對采樣得到的點的顏色進行某種加權求和:

79d6a290-9f7f-11ed-bfe3-dac502259ad0.png

神經輻射場的兩項優化點

Positional encoding

類似Transformer的做法,把坐標和視角用更高維度的表示作為網絡輸入,來解決渲染圖像比較糊的問題:

79e7de2a-9f7f-11ed-bfe3-dac502259ad0.png

Hierachical volume sampling

79f73cf8-9f7f-11ed-bfe3-dac502259ad0.png

Architecture

7a0404f6-9f7f-11ed-bfe3-dac502259ad0.png

私貨

無論從方法的開創性,還是發表后兩年多的影響力來看。在筆者心目中,ECCV 2020的Best Paper沒給NeRF,不得不說是一個遺憾。

審核編輯 :李倩

聲明:本文內容及配圖由入駐作者撰寫或者入駐合作網站授權轉載。文章觀點僅代表作者本人,不代表電子發燒友網立場。文章及其配圖僅供工程師學習之用,如有內容侵權或者其他違規問題,請聯系本站處理。 舉報投訴
  • 3D
    3D
    +關注

    關注

    9

    文章

    2862

    瀏覽量

    107324
  • 神經網絡
    +關注

    關注

    42

    文章

    4762

    瀏覽量

    100535
  • RGB
    RGB
    +關注

    關注

    4

    文章

    798

    瀏覽量

    58386

原文標題:都2023年了,我不允許你還不懂NeRF

文章出處:【微信號:3D視覺工坊,微信公眾號:3D視覺工坊】歡迎添加關注!文章轉載請注明出處。

收藏 人收藏

    評論

    相關推薦

    全面總結動態NeRF

    1. 摘要 神經輻射NeRF)是種新穎的隱式方法,可以實現高分辨率的三維重建和表示。在首次提出NeRF研究之后,
    的頭像 發表于 11-14 16:48 ?161次閱讀
    全面總結動態<b class='flag-5'>NeRF</b>

    大華股份鴻鵠智能物聯主機 賦能萬千場景數視升級

    和技術創新,重磅推出大華鴻鵠智能物聯主機(以下簡稱大華鴻鵠主機),賦能萬千場景數視升級。 作為全球首款采用全國產化硬件鴻蒙系統物聯主機,大華鴻鵠主機采用寬溫設計,雙板雙控,具備4000+海量協議和22Tops超高算力,可滿足各行業物聯數據接入,
    的頭像 發表于 08-15 16:01 ?347次閱讀
    大華股份鴻鵠智能物聯主機 賦能萬千<b class='flag-5'>場景</b>數視升級

    視覺新紀元:解碼LED顯示屏的視角、可視角、最佳視角的最終奧秘

    在璀璨奪目的LED顯示屏世界里,每個絢爛畫面的背后,都離不開三個關鍵概念:視角、可視角與最佳視角。這些術語不僅是衡量顯示效果的重要標尺,也
    的頭像 發表于 06-23 02:55 ?597次閱讀
    視覺新紀元:解碼LED顯示屏的<b class='flag-5'>視角</b>、可<b class='flag-5'>視角</b>、最佳<b class='flag-5'>視角</b>的最終奧秘

    NVIDIA Instant NeRF將多組靜態圖像變為3D數字場景

    想象幅風光旖旎的畫面,比如水畔的懸崖峭壁。即便只是 2D 圖像,如此美景依舊令人心馳神往。如果同一畫面能以 3D 效果展現,那么無需跋涉就能身臨其境。
    的頭像 發表于 05-07 09:15 ?381次閱讀

    LiDAR4D:基于時空新穎的LiDAR視角合成框架

    NeRF-LiDAR將圖像和點云模態整合到激光雷達合成中,而諸如LiDAR-NeRF和NFL之類的僅激光雷達的方法探索了在沒有RGB圖像的情
    發表于 04-10 12:34 ?1169次閱讀
    LiDAR4D:基于時空新穎的LiDAR<b class='flag-5'>視角</b><b class='flag-5'>合成</b>框架

    中國科技少年的英雄夢想,從一場ICT大賽啟程

    一場華為ICT大賽,科技少年之夢的起點與歸途
    的頭像 發表于 04-08 14:22 ?534次閱讀
    中國科技少年的英雄夢想,從<b class='flag-5'>一場</b>ICT大賽啟程

    什么是SLAM?基于3D高斯輻射的SLAM優勢分析

    基于NeRF的SLAM算法采用全局地圖和圖像重建損失函數,通過可微分渲染捕獲稠密的光度信息,具有高保真度。
    的頭像 發表于 04-01 12:44 ?678次閱讀

    線路板阻焊掉油:一場對性能與壽命的挑戰

    線路板阻焊掉油:一場對性能與壽命的挑戰
    的頭像 發表于 03-14 15:23 ?897次閱讀

    基于綠色視角的高校校園建設及能耗分析

    電子發燒友網站提供《基于綠色視角的高校校園建設及能耗分析.docx》資料免費下載
    發表于 03-12 11:07 ?1次下載

    電壓放大器在合成射流高效摻混機理研究中的應用

    合成射流激勵器的頻率和電壓特性(附圖3)。完成合成射流激勵器標定后,使用高速相機和雙脈沖激光器進行粒子圖像測速(PIV)實驗獲得流數據,以研究
    發表于 03-08 17:47

    谷歌模型合成工具怎么用

    谷歌模型合成工具主要是指Dreamfusion,這是Google的大型AI圖像模型Imagen與NeRF的3D功能相結合的種技術。Dreamfusion是Dream Fields的演
    的頭像 發表于 02-29 17:33 ?748次閱讀

    基于NeRF/Gaussian的全新SLAM算法

    基于NeRF的SLAM算法采用全局地圖和圖像重建損失函數,通過可微分渲染捕獲稠密的光度信息,具有高保真度。
    的頭像 發表于 01-26 10:48 ?614次閱讀
    基于<b class='flag-5'>NeRF</b>/Gaussian的全新SLAM算法

    基于綠色視角的高校校園建設及能耗分析

    電子發燒友網站提供《基于綠色視角的高校校園建設及能耗分析.docx》資料免費下載
    發表于 01-11 16:08 ?0次下載

    基于綠色視角的高校校園建設及能耗分析

    電子發燒友網站提供《基于綠色視角的高校校園建設及能耗分析.docx》資料免費下載
    發表于 01-05 11:30 ?0次下載

    Aleth-NeRF:低光增強與曝光糾正的新方向!不良光照場景的新視角合成

    最經典的原始NeRF為例,局部隱蔽通過NeRF的MLP網絡產生,與原始NeRF的兩個輸出color和density相同,屬于voxel-wise,全局隱蔽
    的頭像 發表于 12-21 16:43 ?1038次閱讀
    Aleth-<b class='flag-5'>NeRF</b>:低光增強與曝光糾正的新方向!不良光照<b class='flag-5'>場景</b><b class='flag-5'>下</b>的新<b class='flag-5'>視角</b><b class='flag-5'>合成</b>