GNN新聞

PC2023-06-27 19:30

英特爾實驗室推出 AI 擴散模型 從文字提示產生 360 度影像、可應用於遊戲產業

(GNN 記者 紙箱 報導)

  英特爾實驗室與 Blockade Labs 合作推出 Latent Diffusion Model for 3D(LDM3D),這是一款新的擴散模型,可使用生成式 AI 創造擬真的 3D 視覺內容。官方表示,LDM3D 是業界首款使用擴散過程產生深度圖的模型,建立可 360 度觀看的生動、沉浸式 3D 影像,能應用在遊戲、娛樂、建築及設計等方面。
 

【以下內容為廠商提供資料原文】

 
  英特爾實驗室 AI∕ML 研究科學家 Vasudev Lal 表示:「生成式 AI 技術可以進一步擴大和提升人類的創造力並節省寶貴的時間。然而,今日絕大多數的生成式 AI 模型均侷限在產生 2D 影像,僅有極少數能夠從文字提示中產生 3D 影像。與目前潛在擴散模型(latent diffusion model)不同的是,LDM3D 使用參數數量幾乎相同的模型,從給定的文字提示中產生影像和深度圖。相較於標準深度估測後處理法,可為影像中每個像素提供更準確的相對深度,為開發者節省建構場景所耗費的大量時間。」
 
  封閉的生態系僅具備有限的規模,而英特爾真正落實 AI 民主化的承諾,未來將透過開放式生態系讓人們更廣泛地運用 AI 優勢。近年來在電腦視覺領域,特別是生成式 AI 取得顯著進展。然而,今日許多先進的生成式 AI 模型僅限於產生 2D 影像。與通常僅能從文字提示中產生 2D RGB 影像的現有擴散模型不同,LDM3D 讓使用者能夠從給定的文字提示中同時產生影像和深度圖。LDM3D 在使用與潛在擴散模型幾乎相同的參數數量情況下,相較標準的深度估測後處理法,為每個像素提供更為精確的相對深度。
 
  這項研究可能徹底改變人們與數位內容的互動方式,使用者能夠以過往想像不到的方式去體驗他們的文字提示。LDM3D 所產生的影像和深度圖,讓使用者能夠把靜謐的熱帶海灘、科幻宇宙中的未來世界,透過文字敘述轉換成精細的 360 度全景圖。這種捕捉深度資訊的能力可以立即強化整體的真實感和沉浸感,為娛樂、遊戲、室內設計、房地產銷售,以及虛擬博物館和沉浸式虛擬實境(VR)體驗等各式各樣的行業開啟創新應用。
 
  6 月 20 日,LDM3D 在電腦視覺與圖型辨識會議(CVPR)的 3DMV 工作坊上獲得最佳海報獎(Best Poster Award)
 
  LDM3D 是由 LAION-400M 資料庫中的 10,000 個樣本進行訓練,該資料庫內含超過 4 億個影像與文字標註。該團隊使用 Dense Prediction Transformer(DPT)大型深度估測模型(先前由英特爾實驗室所開發)對訓練語料庫進行標註。DPT 大型模型為影像中的每個像素提供高度精確的相對深度。LAION-400M 資料集專為研究目的而打造,讓廣大的研究人員和其它有興趣的社群,以更大的規模進行模型訓練測試。LDM3D 模型在搭載 Intel Xeon 處理器和 Intel Habana Gaudi AI 加速器的英特爾 AI 超級電腦上進行訓練。生成的模型和流程結合產生的 RGB 影像和深度圖,可以產生 360 度視角,帶來沉浸式體驗。
 
  為證明 LDM3D 的潛力,英特爾和 Blockade 的研究人員開發出一款利用標準 2D RGB 照片和深度圖來創造沉浸式、可互動 360 度視角體驗的應用程式-DepthFusion。DepthFusion 使用以節點為基礎的可視化程式設計語言 TouchDesigner,該語言應用於即時互動多媒體內容,能將文字提示轉換為可互動和沉浸式的數位體驗。LDM3D 模型為可同時建立 RGB 影像及其深度圖的單一模型,可節省記憶體耗用量並改善延遲。
 
  LDM3D 和 DepthFusion 的推出,為多視角生成式 AI 和電腦視覺的進一步發展鋪路。英特爾將繼續探索運用生成式 AI 來擴大人類的能力,並建立強大的開放原始碼 AI 研發生態系,讓這項技術的使用更加民主化。英特爾持續大力支持 AI 開放式生態系,目前正透過 HuggingFace 進行 LDM3D 開源工作,將讓 AI 研究人員和從業人員能夠進一步改善系統,並為客製化應用進行微調。
 
  更多內容:英特爾的研究已於 6 月 18 日至 22 日的 IEEE/CVF CVPR 上發表。更多資訊請參閱「LDM3D: Latent Diffusion Model for 3D」或觀看下方 LDM3D 展示。
 
 

相關新聞

留言(1)

猜你喜歡

英特爾宣布推出第 9 代 Intel Core i9-9900K 處理器
PC | Intel 英特爾 CPU 處理器 晶片組
0
214
英特爾下一代處理器「Haswell」預定於 6 月 4 日上午公開
PC | Intel 英特爾 CPU 處理器 晶片組
29
32
英特爾旗下 Habana Labs 推出 Gaudi 2 深度學習訓練處理器
產業 | Intel 英特爾 CPU 處理器 晶片組
6
4
英特爾釋出第 7 代 Intel Core 處理器產品系列詳細資訊 運算能力提升
PC | Intel 英特爾 CPU 處理器 晶片組
0
30
英特爾宣布以開放與軟體優先的方式加速開發者創新 並提升效能和安全性
3C | Intel 英特爾 CPU 處理器 晶片組
3
0
【E3 19】英特爾致力推動 PC 遊戲產業創新 提供相關開發工具、擬真世界效能呈現等
活動 | Intel 英特爾 CPU 處理器 晶片組
0
9
英特爾發表 Intel Max 系列 CPU 及 GPU 採用創新技術以用於解決科學重大挑戰
3C | Intel 英特爾 CPU 處理器 晶片組
4
3
英特爾更新 oneAPI 2022 開發工具包
PC | Intel 英特爾 CPU 處理器 晶片組
5
0
英特爾致力實踐永續價值 晶片等降低營運碳足跡
產業 | Intel 英特爾 CPU 處理器 晶片組
3
0
英特爾展示次世代 Thunderbolt 早期原型機 提供雙向各每秒 80Gb 頻寬
產業 | Intel 英特爾 CPU 處理器 晶片組
3
0
首屆「Intel DevCup x OpenVINO Toolkit」競賽落幕 實作組及概念組冠軍呈現 AI 創意
3C | Intel 英特爾 CPU 處理器 晶片組
1
0
英特爾 Core i7 處理器極致版體驗會今日登場 結合 VR、知名實況主與玩家同樂
PC | Intel 英特爾 CPU 處理器 晶片組
0
49
看好影音編輯、直播等市場 英特爾將聯手品牌大廠力推創作者 PC
PC | Intel 英特爾 CPU 處理器 晶片組
0
1
《褻瀆神明》團隊透露《柏德之門 3》Larian 超暖心!默默支持募資活動、不要求回報
花絮 | 研發
20
16
英特爾介紹第十一代 CPU 四大處理器瞄準遊戲、教育、商務、行動等族群
PC | Intel 英特爾 CPU 處理器 晶片組
51
87
開啟 APP

face基於日前微軟官方表示 Internet Explorer 不再支援新的網路標準,可能無法使用新的應用程式來呈現網站內容,在瀏覽器支援度及網站安全性的雙重考量下,為了讓巴友們有更好的使用體驗,巴哈姆特即將於 2019年9月2日 停止支援 Internet Explorer 瀏覽器的頁面呈現和功能。
屆時建議您使用下述瀏覽器來瀏覽巴哈姆特:
。Google Chrome(推薦)
。Mozilla Firefox
。Microsoft Edge(Windows10以上的作業系統版本才可使用)

face我們了解您不想看到廣告的心情⋯ 若您願意支持巴哈姆特永續經營,請將 gamer.com.tw 加入廣告阻擋工具的白名單中,謝謝 !【教學】