8天堂资源在线,6080亚洲人久久精品,51区亚洲精品一区二区三区,国产香蕉熟妇在线影院,亚洲精品国产成人99久久6

雅意LLaMA-2中文調(diào)優(yōu)開(kāi)源模型來(lái)了！HuggingFace和Github可下載

來(lái)源：發(fā)布時(shí)間：2023/08/08 瀏覽量：

中科聞歌“雅意”大模型已開(kāi)源基于 LLaMA-2 的中文優(yōu)化模型版本 ，探索適用于中文多領(lǐng)域任務(wù)的最新實(shí)踐。目前7B及13B兩個(gè)版本已在HuggingFace、GitHub平臺(tái)開(kāi)源，向行業(yè)開(kāi)發(fā)者開(kāi)放。

模型下載地址

GitHub

HuggingFace

13B版本 7B版本

雅意大模型通過(guò)真實(shí)場(chǎng)景人類(lèi)反饋數(shù)據(jù)進(jìn)行數(shù)據(jù)分布采樣，數(shù)據(jù)涵蓋通用任務(wù)指令數(shù)據(jù)、多輪對(duì)話(huà)數(shù)據(jù)、多領(lǐng)域分析任務(wù)數(shù)據(jù)、安全增強(qiáng)數(shù)據(jù)等。模型基于 DeepSpeed ZeRO 技術(shù)與 Huggingface Trainer 進(jìn)行多機(jī)多卡分布式全參數(shù)指令微調(diào)，并基于 pagedAttention 等技術(shù)實(shí)現(xiàn)高效并行推理。

與初代雅意大模型相比，雅意大模型（LLaMa-2版本）具有如下優(yōu)勢(shì)：

1、更強(qiáng)大的性能： 效果評(píng)測(cè)顯示，雅意大模型在基礎(chǔ)能力、領(lǐng)域能力及安全性方面，較之前均有更優(yōu)表現(xiàn)。模型推理速度比初代提升7-10倍，上下文窗口大小由2k提升至4k，能夠支持更多輪次的對(duì)話(huà)。在HuggingFace Open LLM Leaderboard中，平均得分54.4。

HuggingFace大語(yǔ)言模型排行榜

2、更加安全可控： 雅意大模型針對(duì)偏見(jiàn)性、違法犯罪、道德倫理、指令攻擊、反向誘導(dǎo)等11項(xiàng)安全場(chǎng)景進(jìn)行了升級(jí)，安全性、可控性大幅提升。HuggingFace Open LLM Leaderboard中，雅意TruthfulQA得分相較于Meta LLaMa-2 提升13.4% 。