8天堂资源在线,6080亚洲人久久精品,51区亚洲精品一区二区三区,国产香蕉熟妇在线影院,亚洲精品国产成人99久久6

“YAYI 2: Multilingual Open-Source Large Language Models”技術(shù)報(bào)告發(fā)布

來(lái)源：發(fā)布時(shí)間：2024/07/17 瀏覽量：

近日，中科聞歌重磅推出自主知識(shí)產(chǎn)權(quán)的雅意2.0國(guó)產(chǎn)原生大模型，研發(fā)團(tuán)隊(duì)同步發(fā)表《YAYI 2: 多語(yǔ)種開(kāi)源大語(yǔ)言模型》技術(shù)報(bào)告。該報(bào)告詳細(xì)論證了雅意大模型2.0的預(yù)訓(xùn)練方法、對(duì)齊過(guò)程、推理能力、安全性及評(píng)測(cè)結(jié)果等。

訪問(wèn)以下網(wǎng)址獲取報(bào)告原文

https://arxiv.org/abs/2312.14862

報(bào)告信息：Yin Luo, Qingchao Kong, Nan Xu, et al., YAYI 2: Multilingual Open Source Large Language Models, 2023, arXiv preprint

報(bào)告中，聞歌研發(fā)團(tuán)隊(duì)提出雅意2.0系列開(kāi)源模型，包括Base模型和Chat模型。雅意2.0在多語(yǔ)言語(yǔ)料庫(kù)上從頭開(kāi)始預(yù)訓(xùn)練，該語(yǔ)料庫(kù)包含2.65萬(wàn)億tokens；通過(guò)數(shù)百萬(wàn)條指令進(jìn)行監(jiān)督指令微調(diào)以及基于人類反饋的強(qiáng)化學(xué)習(xí)，雅意2.0基座模型（YAYI-30B）實(shí)現(xiàn)了與人類價(jià)值觀對(duì)齊；通過(guò)在MMLU和CMMLU等多個(gè)基準(zhǔn)上進(jìn)行的大量實(shí)驗(yàn)證實(shí)，雅意2.0的 整體性能顯著優(yōu)于同參數(shù)級(jí)別的開(kāi)源模型。

雅意2.0技術(shù)報(bào)告亮點(diǎn)摘要

千卡集群，從頭預(yù)訓(xùn)練

雅意2.0采用以Transformer為基礎(chǔ)的解碼器架構(gòu)，通過(guò)千卡集群分布式訓(xùn)練，并使用ZeRO Stage 3優(yōu)化訓(xùn)練效率。

數(shù)據(jù)語(yǔ)料安全可控

雅意2.0從預(yù)訓(xùn)練階段和指令微調(diào)階段把控安全性，在預(yù)訓(xùn)練階段通過(guò)基于觸發(fā)詞的過(guò)濾模型進(jìn)行初篩，然后使用基于量子啟發(fā)式語(yǔ)言的分類模型再次過(guò)濾；在指令微調(diào)階段，增加了安全性數(shù)據(jù)，包含正面引導(dǎo)和拒絕回答兩種類型。

多項(xiàng)評(píng)測(cè)排名第一

雅意2.0在多語(yǔ)種場(chǎng)景下優(yōu)于國(guó)內(nèi)同參數(shù)級(jí)別的開(kāi)源大模型，支持128K長(zhǎng)文推理，在OpenCompass榜單200億-400億參數(shù)模型中，MMLU、AGIEval、CMMLU、GSM8K、HumanEval、MBPP等多項(xiàng)評(píng)測(cè)榜單排名第一。