掃一掃
下載數(shù)字化報(bào)APP
2025年2月24日——由360與北京大學(xué)聯(lián)合研發(fā)的中等量級(jí)推理模型Tiny-R1-32B-Preview正式亮相,僅以5%參數(shù),逼近Deepseek-R1-671B的性能。
核心突破:小模型,大能量
? 數(shù)學(xué)領(lǐng)域:以78.1分(AIME 2024評(píng)測(cè))逼近原版R1模型(79.8分),遠(yuǎn)超Deepseek-R1-Distill-Llama-70B(70.0分);
? 綜合性能:在編程(LiveCodeBench 61.6分)、科學(xué)(GPQA-Diamond 65.0分)領(lǐng)域全面領(lǐng)先最佳開源70B模型Deepseek-R1-Distill-Llama-70B;
? 效率躍遷:僅需5%參數(shù)量,性能達(dá)原版R1的95%以上,推理成本大幅降低。
技術(shù)革新:領(lǐng)域?qū)>?模型融合
研究團(tuán)隊(duì)使用「分治-融合」策略:
? 基于DeepSeek-R1生成海量領(lǐng)域數(shù)據(jù),分別訓(xùn)練數(shù)學(xué)、編程、科學(xué)三大垂直模型;
? 通過(guò)Arcee團(tuán)隊(duì)Mergekit工具智能融合,突破單一模型性能上限,實(shí)現(xiàn)多任務(wù)均衡優(yōu)化。
開源承諾:推動(dòng)技術(shù)普惠
? 模型倉(cāng)庫(kù):https://huggingface.co/qihoo360/TinyR1-32B-Preview
? 即將公開完整技術(shù)報(bào)告、訓(xùn)練代碼及部分?jǐn)?shù)據(jù)集;
? 踐行開源精神,助力AI社區(qū)共筑高效推理新生態(tài)。
研發(fā)團(tuán)隊(duì)表示:「Tiny-R1-32B-Preview是蒸餾技術(shù)的里程碑,未來(lái)將持續(xù)探索更輕量、更強(qiáng)大的通用模型,推動(dòng)AI技術(shù)普惠化進(jìn)程。」
360 團(tuán)隊(duì): Lin Sun, Guangxiang Zhao, Xiaoqi Jian, Weihong Lin, Yongfu Zhu, Change Jia, Linglin Zhang, Jinzhu Wu, Sai-er Hu, Xiangzheng Zhang
北大團(tuán)隊(duì): Yuhan Wu, Zihan Jiang, Wenrui Liu, Junting Zhou, Bin Cui, Tong Yang
未經(jīng)數(shù)字化報(bào)網(wǎng)授權(quán),嚴(yán)禁轉(zhuǎn)載或鏡像,違者必究。
特別提醒:如內(nèi)容、圖片、視頻出現(xiàn)侵權(quán)問(wèn)題,請(qǐng)發(fā)送郵箱:tousu_ts@sina.com。
風(fēng)險(xiǎn)提示:數(shù)字化報(bào)網(wǎng)呈現(xiàn)的所有信息僅作為學(xué)習(xí)分享,不構(gòu)成投資建議,一切投資操作信息不能作為投資依據(jù)。本網(wǎng)站所報(bào)道的文章資料、圖片、數(shù)據(jù)等信息來(lái)源于互聯(lián)網(wǎng),僅供參考使用,相關(guān)侵權(quán)責(zé)任由信息來(lái)源第三方承擔(dān)。
本文地址: http:///news/70173.shtml
數(shù)字化報(bào)(數(shù)字化商業(yè)報(bào)告)是國(guó)內(nèi)數(shù)字經(jīng)濟(jì)創(chuàng)新門戶網(wǎng)站,以數(shù)字技術(shù)創(chuàng)新發(fā)展為中心,融合數(shù)字經(jīng)濟(jì)和實(shí)體經(jīng)濟(jì)發(fā)展,聚焦制造業(yè)、服務(wù)業(yè)、農(nóng)業(yè)等產(chǎn)業(yè)數(shù)字化轉(zhuǎn)型,致力為讀者提供最新、最權(quán)威、最全面的科技和數(shù)字領(lǐng)域資訊。數(shù)字化報(bào)并非新聞媒體,不提供新聞信息服務(wù),提供商業(yè)信息服務(wù);
商務(wù)合作:Hezuo@szhww.com
稿件投訴:help@szhww.com
Copyright ? 2013-2023 數(shù)字化報(bào)(數(shù)字化報(bào)商業(yè)報(bào)告)
數(shù)字化報(bào)并非新聞媒體,不提供新聞信息服務(wù),提供商業(yè)信息服務(wù)
浙ICP備2023000407號(hào)數(shù)字化報(bào)網(wǎng)(杭州)信息科技有限公司 版權(quán)所有浙公網(wǎng)安備 33012702000464號(hào)