小屋創作

日誌2023-12-21 12:30

DirectML - SuperResolution範例

作者:巧克力喬斯達

接續前篇
今年最後一次學習日就用在觀看這個範例上了
https://github.com/microsoft/DirectML


這個範例是取一支540p的影片並向上放大成1080p
跟傳統線性內插一比還是有明顯差別
不過當然比不上A N I他們自研的FSR、DLSS、XeSS等等
免費範例加減看吧

這邊就省去Device初始化的步驟了,基本上跟上次的Hello World是一模一樣的

1. 圖片轉成張量
理所當然的一步,範例以compute shader完成
ImageToTensor.hlsl
在儲存RGB時這邊檢查了是否為NHWC布局,本範例有偵測只要是NV卡就一定使用NHWC

2. 多層次的卷積運算
DirectMLSuperResolution.cpp
主要在於320~341這一段,這範例以NN縮放作為起點
並透過多層卷積計算Residual Image (殘差影像),這種影像定義了處理前/後的差異值
最後把這殘差影像與NN縮放後的影像相加,完成了upscaling
這部分帶來了最大的效能損耗

3. 張量轉成圖片
TensorToImage.hlsli
一樣是根據布局來把張量轉回圖片


那麼看到這裡,可以理解DirectML主要是用來套用已經訓練過的模型
從另一個檔案DirectMLResourceBuilder.cpp可以看到
在建立卷積運算以及權重張量之前,它從weights.bin這個檔案讀取了所有的權重資料
(包括Batch Normalization的資料),而激勵函數方面使用了RELU


Yare yare daze
身為一個ML小白,這邊的資訊量實在夠多了
如果分工合作,另一個同事專門做訓練,我來套用到繪圖端的話這樣也許就可以了
但是要原創什麼想法的話,不弄清楚那個weights.bin怎麼來的是不行的
明年的學習日目標看來很明確了,之後繼續來學訓練的過程是怎樣的~

1

0

LINE 分享

相關創作

[雜談]第8回完成心得_漫畫的「抓型」

【絕對的和諧】雷姆輕鬆雙成就

蔚藍檔案之不止專武 第四集 野乃美+亞都梨篇

留言

開啟 APP

face基於日前微軟官方表示 Internet Explorer 不再支援新的網路標準,可能無法使用新的應用程式來呈現網站內容,在瀏覽器支援度及網站安全性的雙重考量下,為了讓巴友們有更好的使用體驗,巴哈姆特即將於 2019年9月2日 停止支援 Internet Explorer 瀏覽器的頁面呈現和功能。
屆時建議您使用下述瀏覽器來瀏覽巴哈姆特:
。Google Chrome(推薦)
。Mozilla Firefox
。Microsoft Edge(Windows10以上的作業系統版本才可使用)

face我們了解您不想看到廣告的心情⋯ 若您願意支持巴哈姆特永續經營,請將 gamer.com.tw 加入廣告阻擋工具的白名單中,謝謝 !【教學】