Intel China Ltd.

今天，英特源模百度正式發(fā)布文心大模型4.5系列開源模型。完成文心英特爾OpenVINO?大模端側(cè)與百度飛槳多年來一直保持著緊密的合作。在此次文心系列模型的型系型發(fā)布過程中，英特爾借助OpenVINO?列開在模型發(fā)布的第零日即實現(xiàn)對文心端側(cè)模型的適配和在英特爾酷睿Ultra平臺上的端側(cè)部署。

OpenVINO?部署工具套件是由英特爾開發(fā)的開源工具套件，旨在優(yōu)化和加速深度學(xué)習(xí)模型的英特源模推理性能，支持跨平臺部署并充分利用英特爾硬件資源。完成文心OpenVINO?大模端側(cè)助力行業(yè)中廣泛的先進(jìn)模型在英特爾人工智能產(chǎn)品和解決方案中的性能，應(yīng)用在AI PC、型系型邊緣AI和更多人工智能的列開使用場景當(dāng)中。

從2021年開始，部署百度飛槳和英特爾OpenVINO?英特源模進(jìn)行深入合作，雙方進(jìn)行深度適配，完成文心為開發(fā)者提供了更有效更便捷的大模端側(cè)AI開發(fā)工具鏈。經(jīng)過雙方適配的眾多模型，如PaddleOCR，PaddleSeg，PaddleDection等，在金融、醫(yī)療、智能智造等領(lǐng)域被廣泛應(yīng)用，開發(fā)者可以直接將飛槳模型用OpenVINOTM推理和部署，或通過OpenVINO?的模型優(yōu)化器轉(zhuǎn)化為IR格式，進(jìn)一步部署和推理。

今天，百度基于多年積累的雄厚的AI技術(shù)實力，為業(yè)界帶來了開源的文心4.5系列大模型。英特爾宣布OpenVINO?已經(jīng)對0.3B參數(shù)量的稠密模型成功適配，并在英特爾酷睿Ultra平臺上成功部署且獲得了優(yōu)異的推理性能。

英特爾助力百度文心大模型的首次亮相，共同為行業(yè)帶來全新的人工智能體驗。接下來，英特爾將持續(xù)與百度保持緊密合作，適配更多的文心系列模型，攜手拓寬AI技術(shù)的新邊界。

快速上手指南 (Get Started)

第一步，環(huán)境準(zhǔn)備

基于以下命令可以完成模型部署任務(wù)在Python上的環(huán)境安裝。

第二步，模型下載和轉(zhuǎn)換

在部署模型之前，我們首先需要將原始的PyTorch模型轉(zhuǎn)換為OpenVINOTM的IR靜態(tài)圖格式，并對其進(jìn)行壓縮，以實現(xiàn)更輕量化的部署和最佳的性能表現(xiàn)。通過Optimum提供的命令行工具optimum-cli，我們可以一鍵完成模型的格式轉(zhuǎn)換和權(quán)重量化任務(wù)：

開發(fā)者可以根據(jù)模型的輸出結(jié)果，調(diào)整其中的量化參數(shù)，包括：

--model： 為模型在HuggingFace上的model id，這里我們也提前下載原始模型，并將model id替換為原始模型的本地路徑，針對國內(nèi)開發(fā)者，推薦使用ModelScope魔搭社區(qū)作為原始模型的下載渠道，具體加載方式可以參考ModelScope官方指南：https://www.modelscope.cn/docs/models/download--weight-format：量化精度，可以選擇fp32,fp16,int8,int4,int4_sym_g128,int4_asym_g128,int4_sym_g64,int4_asym_g64--group-size：權(quán)重里共享量化參數(shù)的通道數(shù)量--ratio：int4/int8權(quán)重比例，默認(rèn)為1.0，0.6表示60%的權(quán)重以int4表，40%以int8表示--sym：是否開啟對稱量化

第三步，模型部署

針對ERNIE-4.5系列的文本生成類模型，我們可以使用Optimum-Intel進(jìn)行任務(wù)部署和加速。Optimum-Intel可以通過調(diào)用OpenVINO? runtime后端，以實現(xiàn)在Intel CPU及GPU平臺上的性能優(yōu)化，同時由于其兼容Transformers庫，因此我們可以直接參考官方示例，將其遷移至Optimum-Intel執(zhí)行。

輸入結(jié)果參考：

本文來源：http://www.iv82.cn/news/86e38399530.html

版權(quán)聲明：本文內(nèi)容由互聯(lián)網(wǎng)用戶自發(fā)貢獻(xiàn)，該文觀點僅代表作者本人。本站僅提供信息存儲空間服務(wù)，不擁有所有權(quán)，不承擔(dān)相關(guān)法律責(zé)任。如發(fā)現(xiàn)本站有涉嫌抄襲侵權(quán)/違法違規(guī)的內(nèi)容，請發(fā)送郵件舉報，一經(jīng)查實，本站將立刻刪除。