[新聞] 在GPU缺貨以及成本過高情況下，許多公司

在GPU缺貨以及成本過高情況下，許多公司正在用軟體或其他技術來榨取更多AI處理能力 https://bit.ly/3PiiZV3 隨著科技巨頭和AI企業搶購為AI提供動力的先進電腦晶片，企業正在尋求新技術，以從可 以使用的AI晶片中獲取更多利益。其中，一些公司正在節省AI晶片的使用，或者轉向軟體 ，協助從可用晶片中榨取更多性能並幫助降低成本。 訓練生成式AI模型需要多達數萬顆GPU。這些GPU大部分是由輝達提供，台積電已經表示， 其在一年半內都難以滿足巨大的需求。 IT顧問和外包服務公司Infosys表示，如果從頭開始訓練AI模型，將需要大量的運算能力 。即使公司設法找到運算資源，成本也會高得令人望而卻步。全球最大的科技公司和尖端 新創公司可能在確保使用這些GPU方面具有優勢，甚至迫使關係密切的新創公司使用其軟 體能力來更有效地運用其GPU。 Netskope表示已經建構了100多個AI模型，用於檢測網路安全威脅和幫助提高網路性能等 任務。雖然該公司使用自己的GPU訓練這些模型，但其目標是同時訓練多個模型，以有效 利用GPU。 另一個稱之為推理AI也需要處理能力，但通常低於訓練AI所需的能力。對於 Netskope的 推斷，使用CPU即使功能不如專屬GPU，但更容易獲得。而且他們發現這些CPU通過開源軟 體工具進行了調整，也能獲得更高的性能，從而幫助該公司滿足即時模型輸出的處理需求 。 數位營運公司PagerDuty正在考慮開源解決方案並運行自己的AI基礎設施。也有其他公司 正在轉向第三方軟體，以從自己的GPU中獲得更多性能。例如：Run:ai表示，該公司將其 優化軟體直接安裝在客戶的GPU上。該軟體可以自動利用閒置的運算能力，以獲得更好的 處理效率，其客戶通常擁有數百到數千個GPU用於AI訓練。 新創公司OctoML表示，它同樣幫助企業從AI硬體中獲得更多性能，在雲端之上提供服務。 VMware是一家軟體巨頭，長期專注於企業虛擬化，也致力於幫助客戶管理多個雲端平台或 數據中心所使用的AI處理。VMware在8月份宣布更新其與輝達的合作夥伴關係，其聯合客 戶將能夠使用數量較少GPU的伺服器。 Gartner表示，可以肯定的是，亞馬遜、微軟和谷歌等雲端提供商也可以透過出租來提供 公司所需的處理能力，就像出租電腦伺服器一樣。 總之，在短期一年半至兩年內，由於GPU不易取得，加上過高成本，想要持續發展生成式 AI商機，軟體優化GPU運算能力，甚至將閒置GPU有效運用，都能夠以較低成本將AI晶片性 能發揮最大，所以為了榨取更多AI能量，這將是不得不的中短期做法。 --
※ 批踢踢實業坊(ptt.cc), 來自: 203.145.192.245 (臺灣)
※ 文章網址: https://www.ptt.cc/bbs/Tech_Job/M.1694594287.A.AA0.html

推 venomsoul : 一根之後又一根 09/13 19:02