近日實盤杠桿配資公司，在2024 Inclusion·外灘大會上，中國工程院院士、清華大學計算機科學與技術系教授鄭緯民接受上海證券報記者專訪表示，人工智能將對經濟發(fā)展和人民生活水平提高發(fā)揮著越來越大的作用。人工智能發(fā)展離不開三個要素，分別是數據、算法、算力。算力擴容，除加強基礎設施建設外，還應該千方百計擴大存儲。建議人工智能企業(yè)通過不斷優(yōu)化數據存儲結構應對算力挑戰(zhàn)。
鄭緯民認為，大模型需要大算力，也需要大存儲，但相應會導致大成本，“大模型生命周期的每一個環(huán)節(jié)都與存儲系統(tǒng)有關。分布式技術又存在于大模型生命周期的每一環(huán)，建議優(yōu)化內部存儲結構，向存儲要算力”。
鄭緯民分析稱，比如在數據獲取階段，大模型訓練需要收集海量多模態(tài)小文件，任一模態(tài)的數據集包含多達數億至數百億小文件，對文件系統(tǒng)元數據管理提出挑戰(zhàn)。在數據處理階段，頻繁、隨機的小樣本讀取等海量數據處理也對底層大數據處理框架提出挑戰(zhàn)。模型訓練階段，檢查點文件讀寫對存儲系統(tǒng)讀寫提出挑戰(zhàn)。在模型推理階段，模型參數和中間結果KVCache對內存系統(tǒng)容量和傳輸速度提出挑戰(zhàn)，中間結果KVCache往往要占據更多存儲空間。
“如何花更少的資金建設更強大的基礎設施，滿足更大的市場需求？人工智能企業(yè)不要一味追求硬件擴容，應在軟件優(yōu)化上尋求解決方案。”鄭緯民說。
他建議，大模型企業(yè)在推理過程中實盤杠桿配資公司，應考慮為歷史中間結果KVCache專門設置高容量、高寬帶的存儲系統(tǒng)，保留中間結果，以便重復利用，節(jié)省算力。“以大模型輔助讀論文場景為例，當不同用戶對同一篇論文進行提問，只要能將共享的可復用的部分保存下來多次復用，就可以大幅降低算力開銷。”鄭緯民說。
文章為作者獨立觀點，不代表在線配資觀點
相關文章
