7月2日消息，百度近日，文心發(fā)布兩個(gè)月的開(kāi)源文心4.5系列模型正式開(kāi)源，包括47B、自主3B激活參數(shù)的龍芯MoE混合專(zhuān)家模型與0.3B參數(shù)的稠密模型等10款，而就在文心大模型開(kāi)源首日，時(shí)間深入龍芯中科與百度啟動(dòng)了技術(shù)合作，合作基于最新發(fā)布的百度龍芯3C6000系列。

雙方將共同推進(jìn)國(guó)產(chǎn)算力基礎(chǔ)設(shè)施與大模型技術(shù)的文心融合創(chuàng)新，為AI產(chǎn)業(yè)化應(yīng)用提供安全可控的開(kāi)源“中國(guó)芯”解決方案。

據(jù)悉，自主百度文心4.5系列模型均使用飛槳深度學(xué)習(xí)框架進(jìn)行高效訓(xùn)練、龍芯推理和部署。時(shí)間深入在大語(yǔ)言模型的合作預(yù)訓(xùn)練中，模型FLOPS利用率(MFU)達(dá)到47％。百度

實(shí)驗(yàn)結(jié)果顯示，文心4.5系列模型在多個(gè)文本和多模態(tài)基準(zhǔn)測(cè)試中達(dá)到SOTA水平，在指令遵循、世界知識(shí)記憶、視覺(jué)理解和多模態(tài)推理任務(wù)上效果尤為突出。

核心技術(shù)點(diǎn)包括：多模態(tài)混合專(zhuān)家模型預(yù)訓(xùn)練、高效訓(xùn)練推理框架、針對(duì)模態(tài)的后訓(xùn)練。

龍芯3C6000與文心4.5系列開(kāi)源模型的技術(shù)合作，標(biāo)志著龍芯CPU在AI算力領(lǐng)域取得實(shí)質(zhì)性突破。

未來(lái)，雙方將持續(xù)推動(dòng)大模型在生產(chǎn)場(chǎng)景中的規(guī)?；瘧?yīng)用，為促進(jìn)國(guó)產(chǎn)AI生態(tài)繁榮發(fā)展貢獻(xiàn)力量。

龍芯3C6000系列處理器具有高性能、高可靠、高安全、全自主等特點(diǎn)，采用自主龍架構(gòu)指令集、自主工藝，單硅片最多16核心32線程，可雙硅片、四硅片整合封裝，單芯片最多64核心128線程，并支持雙路、四路并行，一套系統(tǒng)即可做到128核心256線程。

龍芯3C6000系列可滿(mǎn)足通算、智算、存儲(chǔ)、工控、工作站等多場(chǎng)景的計(jì)算需求，并獲得了《安全可靠測(cè)評(píng)公告》當(dāng)前最高等級(jí)Ⅱ級(jí)認(rèn)證。

本文來(lái)源：http://www.iv82.cn/news/27a39999573.html

版權(quán)聲明：本文內(nèi)容由互聯(lián)網(wǎng)用戶(hù)自發(fā)貢獻(xiàn)，該文觀點(diǎn)僅代表作者本人。本站僅提供信息存儲(chǔ)空間服務(wù)，不擁有所有權(quán)，不承擔(dān)相關(guān)法律責(zé)任。如發(fā)現(xiàn)本站有涉嫌抄襲侵權(quán)/違法違規(guī)的內(nèi)容，請(qǐng)發(fā)送郵件舉報(bào)，一經(jīng)查實(shí)，本站將立刻刪除。