發(fā)布時(shí)間:2024-12-22 23:13:52 來(lái)源:下愚不移網(wǎng) 作者:百科
10月31日消息,努力摩爾線程宣布,替代針對(duì)PyTorch深度學(xué)習(xí)框架的線程MUSA插件“Torch-MUSA”,迎來(lái)重大更新新版本v1.3.0,努力全面兼容PyTorch 2.2.0。替代
新版進(jìn)一步提升了PyTorch在摩爾線程GPU MUSA架構(gòu)上的線程模型性能與覆蓋度,能更友好地支持模型遷移到摩爾線程GPU。努力
PyTorch是替代全球廣泛使用的深度學(xué)習(xí)框架,在自然語(yǔ)言處理、線程計(jì)算機(jī)視覺(jué)、努力推薦系統(tǒng)等多個(gè)領(lǐng)域展現(xiàn)出了強(qiáng)大的替代應(yīng)用能力。
摩爾線程Torch-MUSA專(zhuān)為PyTorch提供MUSA后端加速支持,線程使得用戶(hù)能夠在MUSA架構(gòu)上流暢運(yùn)行深度學(xué)習(xí)模型,努力充分發(fā)揮國(guó)產(chǎn)全功能GPU的替代強(qiáng)大計(jì)算能力。
自發(fā)布以來(lái),線程Torch-MUSA已歷經(jīng)多個(gè)版本的迭代,不斷提升兼容性與性能。
Torch-MUSA v1.0.0版本開(kāi)始,率先支持了PyTorch 2.0,帶來(lái)了顯著的計(jì)算加速和易用性。
經(jīng)過(guò)持續(xù)的開(kāi)發(fā)與優(yōu)化,最新發(fā)布的v1.3.0版本已全面支持PyTorch 2.2.0,極大提升了模型訓(xùn)練與推理的效率,滿足了更多高性能深度學(xué)習(xí)任務(wù)的需求。
目前,Torch-MUSA已完全開(kāi)源,開(kāi)發(fā)者可通過(guò)訪問(wèn)GitHub獲取源代碼。
摩爾線程鼓勵(lì)開(kāi)發(fā)者積極參與該項(xiàng)目的開(kāi)發(fā)與改進(jìn),通過(guò)提交問(wèn)題報(bào)告(issue)或代碼修改申請(qǐng)(pull request)等方式,共同促進(jìn)Torch-MUSA以及MUSA軟件生態(tài)的持續(xù)進(jìn)步和發(fā)展。
▼ Torch-MUSA開(kāi)源地址:
https://github.com/MooreThreads/torch_musa
▼ 功能特性
在Torch-MUSA中,用戶(hù)只需指定torch.device("musa"),即可輕松將現(xiàn)有的PyTorch模型遷移到MUSA架構(gòu)的GPU上運(yùn)行,無(wú)需大幅修改代碼。
Torch-MUSA完全兼容PyTorch的自動(dòng)微分和動(dòng)態(tài)圖機(jī)制,支持多種常用的神經(jīng)網(wǎng)絡(luò)模塊及優(yōu)化算法,并加速了關(guān)鍵深度學(xué)習(xí)算子的計(jì)算。
此外,Torch-MUSA還支持多種PyTorch特性,包括DDP、JIT、FSDP、Profiler、Extension等。
▼ 版本迭代
v1.1.0:
初次發(fā)布,支持PyTorch 2.0,提供基礎(chǔ)張量操作和常見(jiàn)神經(jīng)網(wǎng)絡(luò)層的MUSA加速。
v1.2.0:
進(jìn)一步擴(kuò)展算子支持,支持了完整功能的Profiler、MUSA Extension,并增加了Torch-MUSA專(zhuān)有特性如compare_tool、musa_converter,幫助用戶(hù)更快的定位模型精度問(wèn)題。
v1.3.0:
支持PyTorch2.2.0,性能進(jìn)一步提升,支持FSDP,支持更復(fù)雜的模型和更大規(guī)模的數(shù)據(jù)處理。
▼ 未來(lái)計(jì)劃
Torch-MUSA將繼續(xù)跟進(jìn)PyTorch的版本更新,計(jì)劃支持更高版本的PyTorch。
相關(guān)文章
隨便看看