小屋創作

日誌2023-08-18 11:34

AI雜談-LLM訓練的成敗的可能核心問題

作者:獵奇一哥

若有時間,我都會把看到的事情做一個微型的小研究,假設性較多,但是我提供我的見解。


早上看新聞看到留言時,差點吐血!
不過想想,我認一般人這樣認為還可以,
但是如果你是一個工程師,看到google使用TPU則是會羨慕,TPU是一種ASIC,當這一個類別出現大量使用,有兩種可能,你目標AI功能已經趨於成熟或者節省成本階段,這部分連微軟都想開始研發。

1. 軟實力- 公司軟體能力才是核心
其實不管資工資管電機,出來應該都知道,
軟體做不好,你硬體設備再怎麼用都是徒勞,
只是老闆的思維通常都是外行的。
過去AI的聖杯都在演算法,
其實GPU進步你攤開看,近五年是非常緩慢的進步,而價格都是非常高,
關鍵還是NPU跟一些演算發的突破,
雖然最早的AI起家使用GPU,例如AlexNet的研究很有意思,
不過硬體選擇非常多,而且GPU也確實不適合AI,有其他設計遠勝於GPU,尤其是LLM的運算問題。

2. 性能- TPU多數狀況是勝於GPU性能
其實已經有不少驗證是TPU遠勝GPU,尤其是Stable diffusion,
但是只是他們沒介面化給你用,
實際上Bard你也能簡單驗證,你只要問問題,他都能在差不多的時間內回答三種解答,這也意味著速度上差異。

另外chatGPT在Bard出現中文化之後有明顯陡降,而Bard至今從未明確指出自己增長多少,這也展現出google文化特質,自己優勢或弱勢都藏得很好,讓敵人有點難摸透,
Bard還有一些優點,例如Bard從未在晚上因為你免費而不能使用,他們的吞吐量穩定性顯然也在ChatGPT之上,
這些可能都是可能chatGPT減少使用者的可能原因,但是google從未逞口舌之快。


3. 歷史- 回顧文獻是必要的
Google有句話最惹毛投資人,就是"社會責任讓我們發展受限"
這句話是否為真,我想這是事實,有很多公司跟法務都想盡辦法在消滅google這個競爭對手,因為他是前幾大。
然而如果你懂AI並回顧GOOGLE發的文獻,GOOGLE AI發展歷史中,Google 在AI訓練時,已經在很前面使用大量GPU在做研究,但是到達後面時,按照GOOGLE已知的論文來看,他的數款LLM成果已經遠勝於ChatGPT並改用TPU為主軸,不過ChatGPT這階段很聰明,他使用自己社會責任較少的優勢直接推出產品,並讓自己在媒體上佔盡優勢。
Bard是後面重新做的項目,他大量微縮,若從三月起到現在,只花四個月多就達到這水平確實有點厲害。

4. NVIDIA的戰鬥風格- 軟實力的可塑天才
其實黃仁勳是個營銷天才,他有數次採用這種科技人發自內心認同的做法,來獲得相挺,
這招真的百戰百勝,
如果你沒有品牌特殊偏好,不難看去NVIDIA過去都在弱勢一陣子,
而黃仁勳有效利用一個關鍵性技巧 "軟體",來塑造可變特質,讓自己設備即便50分也能適用,
早期顯卡完全靠遊戲支援性,例如巫毒顯卡曾經就有段時間靠這招致勝,後來NVIDIA用了大量這種方法,並透過當時最熱門遊戲開始創造佳績。
CUDA的出現,雖然黃董說自己信仰,不過更正確來說,他也是在銷售不佳的時候讓顯卡額外產生特殊價值而出現的,另外致始至終,NVIDIA都不會隨便放棄一個項目,CUDA從頭到尾都沒放棄過,這讓他不會隨便的失去優勢。
後來ATI開始作影片硬解,CUDA確實展現出弱點,這也是為什麼APPLE都用ATI到AMD買去,當然,ATI缺點就是很明確,他們軟體不重視,AMD更不重視,因為軟體都是作業系統去想辦法,因次敗得很慘。
現在輪到AI,依舊是使用CUDA,即便我想所以經歷過不少AI開發的人,都知道CUDA缺點,但是他在軟體上投資與宣揚從未減少,這就是NVIDIA真正的優勢。

5. 結語
不過未來怎麼樣真的無從得知,
NVIDIA跟GOOGLE都是軟硬體健全的公司,
但以綜合實力來看,
GOOGLE會在企業級別的軟體服務上更有優勢,
家庭設備則是NVIDIA,
另外APPLE跟GOOGLE的企業文化都是佛或道家的思維,比較偏向孫子兵法,
NVIDIA則是偏向西方戰爭論思維,先佔先贏,
所以沒人知道未來會怎樣。

只求我們吃瓜者,得到最大好處,別進入硬體運算黑暗時代就行了。

1

3

LINE 分享

相關創作

諸神之劍 斷命運

天涯淪落

生活啊

留言

開啟 APP

face基於日前微軟官方表示 Internet Explorer 不再支援新的網路標準,可能無法使用新的應用程式來呈現網站內容,在瀏覽器支援度及網站安全性的雙重考量下,為了讓巴友們有更好的使用體驗,巴哈姆特即將於 2019年9月2日 停止支援 Internet Explorer 瀏覽器的頁面呈現和功能。
屆時建議您使用下述瀏覽器來瀏覽巴哈姆特:
。Google Chrome(推薦)
。Mozilla Firefox
。Microsoft Edge(Windows10以上的作業系統版本才可使用)

face我們了解您不想看到廣告的心情⋯ 若您願意支持巴哈姆特永續經營,請將 gamer.com.tw 加入廣告阻擋工具的白名單中,謝謝 !【教學】