“本源悟空”全球首次運(yùn)行十億參數(shù)級AI大模型微調(diào)任務(wù)
中新社合肥4月7日電 (記者 張俊)記者7日從安徽省量子計算工程研究中心獲悉，中國第三代自主超導(dǎo)量子計算機(jī)“本源悟空”近日完成全球首次運(yùn)行十億參數(shù)級AI大模型微調(diào)任務(wù)。
本次任務(wù)由本源量子計算科技(合肥)股份有限公司(簡稱“本源量子”)、合肥綜合性國家科學(xué)中心人工智能研究院等聯(lián)合攻關(guān)完成的。實(shí)驗(yàn)結(jié)果顯示，在參數(shù)量減少76%的前提下，AI大模型訓(xùn)練效果反而提升8.4%。這一成果不僅驗(yàn)證了量子計算助力實(shí)現(xiàn)大模型輕量化的可行性，更為破解大模型“算力焦慮”開辟了新路徑。
大模型微調(diào)是指在通用大模型的基礎(chǔ)上，通過進(jìn)一步訓(xùn)練特定領(lǐng)域數(shù)據(jù)，使其適應(yīng)醫(yī)療診斷、金融風(fēng)控等專業(yè)場景。傳統(tǒng)低秩微調(diào)面臨性能瓶頸、泛化能力有限等問題，量子計算憑借其疊加態(tài)和糾纏態(tài)特性可同時探索海量參數(shù)組合，提升大模型微調(diào)的效率。
本源量子副總裁竇猛漢介紹，團(tuán)隊(duì)創(chuàng)新設(shè)計了一種量子加權(quán)張量混合參數(shù)微調(diào)的方法，將模型權(quán)重轉(zhuǎn)化為量子神經(jīng)網(wǎng)絡(luò)與張量網(wǎng)絡(luò)混合架構(gòu)，前者通過量子門操作提取高維非線性特征，張量網(wǎng)絡(luò)則壓縮參數(shù)規(guī)模。
在“本源悟空”的量子芯片上，AI大模型單批次數(shù)據(jù)可生成數(shù)百個量子任務(wù)并行處理。實(shí)驗(yàn)數(shù)據(jù)顯示，優(yōu)化后的模型在心理咨詢對話數(shù)據(jù)集上訓(xùn)練損失降低15%，數(shù)學(xué)推理任務(wù)的嚴(yán)格準(zhǔn)確率從68%提升至82%。合肥綜合性國家科學(xué)中心人工智能研究院副研究員陳昭昀表示，這是量子計算首次“真機(jī)實(shí)戰(zhàn)”AI大模型任務(wù)，證明現(xiàn)有硬件已能初步支撐大模型微調(diào)。
截至目前，“本源悟空”超導(dǎo)量子計算機(jī)全球訪問已覆蓋139個國家和地區(qū)，完成35萬個量子運(yùn)算任務(wù)，涵蓋流體動力學(xué)、金融、生物醫(yī)藥等多個行業(yè)領(lǐng)域。(完)
-
交流互鑒 科技賦能！第四屆全球媒體創(chuàng)新論壇在山東曲阜舉行4月25日，由中央廣播電視總臺與山東省人民政府聯(lián)合主辦的第四屆全球媒體創(chuàng)新論壇在山東曲阜舉行。本屆論壇以“交流互鑒 科技賦能——變革發(fā)展中的文明力量”為主題，共有來自95個國家和地區(qū)的國際組織和媒體機(jī)構(gòu)、中外智庫、跨國企業(yè)等各領(lǐng)域代表約300人，...
-
第二部以“法典”命名的法律！生態(tài)環(huán)境法典編纂邁出“關(guān)鍵步”新華鮮報丨第二部以“法典”命名的法律！生態(tài)環(huán)境法典編纂邁出“關(guān)鍵步”新華社北京4月27日電(記者楊維漢、羅沙)法律制度如何讓天更藍(lán)、水更綠、土更凈？各界高度關(guān)注的生態(tài)環(huán)境法典編纂邁出“關(guān)鍵一步”，法典草案27日提請十四屆全國人大常委會第十五次會...
-
孩子不能又親又抱 當(dāng)心“親吻病”→日常生活中，看到可愛的小朋友，不少人都會忍不住想要親一口。但是這種看似很常見的舉動，卻很有可能讓寶寶患上“親吻病”。那么，究竟什么是“親吻病”？又有哪些典型癥狀呢？孩子發(fā)燒 小心“親吻病”最近，河南鄭州的4歲小男孩兒恒恒突然高燒到38℃，家...
-
核電開閘！國常會核準(zhǔn)10臺新機(jī)組，拉動超2000億投資，新項(xiàng)目花落誰家？2025年國內(nèi)核電項(xiàng)目審批首次開閘。據(jù)新聞聯(lián)播4月27日消息，當(dāng)天召開的國務(wù)院常務(wù)會議決定核準(zhǔn)浙江三門三期工程等核電項(xiàng)目。會議強(qiáng)調(diào)，發(fā)展核電必須確保安全萬無一失，要壓實(shí)參建單位和業(yè)主單位主體責(zé)任，按照全球最高安全標(biāo)準(zhǔn)建設(shè)和運(yùn)營核電機(jī)組，持續(xù)加強(qiáng)...
-
習(xí)近平：光榮屬于勞動者，幸福屬于勞動者勞動創(chuàng)造幸福，實(shí)干成就偉業(yè)。黨的十八大以來，習(xí)近平總書記始終心系廣大勞動者，多次禮贊勞動創(chuàng)造，謳歌勞模精神、勞動精神、工匠精神，勉勵廣大勞動者勤于創(chuàng)造、勇于奮斗，引領(lǐng)推動全社會弘揚(yáng)勞動光榮、技能寶貴、創(chuàng)造偉大的時代風(fēng)尚。...
-
微視頻｜出圈出海出彩！看中華文化魅力當(dāng)下的中國，文藝、科技、產(chǎn)業(yè)在不斷碰撞融合。習(xí)近平總書記強(qiáng)調(diào)，“要更好推動中華文化走出去，以文載道、以文傳聲、以文化人，向世界闡釋推介更多具有中國特色、體現(xiàn)中國精神、蘊(yùn)藏中國智慧的優(yōu)秀文化?！痹趥鞒兄袆?chuàng)新、在創(chuàng)新中發(fā)展。從早年間以詠春...