有問必答，侃侃應(yīng)對。這種神奇的人機(jī)互動(dòng)體驗(yàn)，勾起人們絞盡腦汁向ChatGPT提問的熱情，并為其帶來驚人的用戶量：該系統(tǒng)在兩個(gè)多月前由美國人工智能研究公司OpenAI推出，今年1月便已達(dá)到1億月活躍用戶，用戶增長速度堪稱史無前例。
這款產(chǎn)品大受歡迎，其重要幕后功臣是被業(yè)內(nèi)稱為預(yù)訓(xùn)練模型的技術(shù)。面對ChatGPT的爆火，國內(nèi)科技機(jī)構(gòu)和企業(yè)紛紛“亮劍”。據(jù)最新消息，中國版ChatGPT將于下個(gè)月與公眾見面。
參數(shù)規(guī)模從幾百萬狂飆至幾千億
“目前，預(yù)訓(xùn)練技術(shù)是人工智能研究的重要突破口。”阿里研究院未來技術(shù)中心負(fù)責(zé)人蘇中解讀，傳統(tǒng)的研究方法中，標(biāo)注成本一直是阻礙人工智能算法推向更大數(shù)據(jù)集合的障礙，而預(yù)訓(xùn)練技術(shù)不依賴數(shù)據(jù)標(biāo)注，就可以訓(xùn)練出一個(gè)大規(guī)模深度學(xué)習(xí)模型。
科技日報(bào)記者了解到，由于不需要數(shù)據(jù)標(biāo)注，預(yù)訓(xùn)練模型往往可以使用更大的數(shù)據(jù)集，因而可以選擇更大的模型規(guī)?！@就催生了預(yù)訓(xùn)練大模型。
“與以往的人工神經(jīng)網(wǎng)絡(luò)相比，預(yù)訓(xùn)練大模型最大的不同在于它規(guī)模足夠大，深度學(xué)習(xí)網(wǎng)絡(luò)的層數(shù)多、連接多、參數(shù)多。”IDEA研究院(粵港澳大灣區(qū)數(shù)字經(jīng)濟(jì)研究院)認(rèn)知計(jì)算與自然語言研究中心講席科學(xué)家張家興接受記者采訪時(shí)介紹，2012年前后的深度學(xué)習(xí)網(wǎng)絡(luò)只有幾百萬參數(shù)；2018年前后主流的預(yù)訓(xùn)練模型達(dá)到1億參數(shù)；目前被證明非常有效的大規(guī)模預(yù)訓(xùn)練模型已有幾千億參數(shù)，短短幾年時(shí)間提升了幾千倍。
量變引起質(zhì)變。蘇中分析，在對預(yù)訓(xùn)練模型各種不同的技術(shù)評測中，算法性能展示了一個(gè)規(guī)律：數(shù)據(jù)規(guī)模越大、預(yù)訓(xùn)練模型參數(shù)越多，算法輸出精度往往也越高。
除了規(guī)模大以外，張家興談到，目前的預(yù)訓(xùn)練大模型由于采用了新的結(jié)構(gòu)模型，非常適合并行訓(xùn)練。同時(shí)，在訓(xùn)練方式上，人工神經(jīng)網(wǎng)絡(luò)的預(yù)訓(xùn)練任務(wù)類似“解題”，比如把一句話的某個(gè)詞或前半句去掉，讓預(yù)訓(xùn)練模型利用海量大數(shù)據(jù)對句子進(jìn)行恢復(fù)，這樣訓(xùn)練下去，預(yù)訓(xùn)練模型的“解題”能力就會(huì)越來越好。而且，在大語言模型的基礎(chǔ)上，引入指令學(xué)習(xí)，可以遠(yuǎn)超模型微調(diào)帶來的收益。在此基礎(chǔ)上，人類的反饋可以幫助模型更好地理解人類意圖和接收信息，人機(jī)對話也就越來越流暢。
“ChatGPT在底層數(shù)據(jù)、核心技術(shù)、用戶體驗(yàn)等各方面都可以說是里程碑式的人工智能產(chǎn)品。”曠視研究院基礎(chǔ)科研負(fù)責(zé)人張祥雨表示，ChatGPT的核心技術(shù)是人工智能語言大模型，其關(guān)鍵是如何讓人工智能模型具備邏輯推理能力，以及如何讓人工智能學(xué)習(xí)全互聯(lián)網(wǎng)的知識(shí)。這些ChatGPT基本都做到了，因此在決策和知識(shí)環(huán)節(jié)有了很大的突破。
國內(nèi)多家科技機(jī)構(gòu)已布局相關(guān)領(lǐng)域
據(jù)外媒報(bào)道，多家國外科技巨頭正重金投入預(yù)訓(xùn)練模型和人工智能生成內(nèi)容(AIGC)賽道。記者了解到，國內(nèi)已有不少科技機(jī)構(gòu)和企業(yè)布局相關(guān)領(lǐng)域。
張家興告訴記者，IDEA研究院認(rèn)知計(jì)算與自然語言研究中心在此方向上布局已久，該中心擁有國內(nèi)最大的開源模型體系——封神榜，已開源的98個(gè)模型正在全力支持中國AIGC的發(fā)展，探索研發(fā)適配各個(gè)領(lǐng)域的個(gè)性化可定制模型，支持全部自然語言處理(NLP)任務(wù)。
“很高興能在深度學(xué)習(xí)高速發(fā)展的第十年節(jié)點(diǎn)上，看到AIGC和ChatGPT的出現(xiàn)，今天所有這些自然語言處理任務(wù)正在被統(tǒng)一到ChatGPT模式下，我們也正在整合之前的模型和技術(shù)，推出我們的類ChatGPT模型。”張家興說。
記者從百度獲悉，百度已投入開發(fā)類似ChatGPT的相關(guān)技術(shù)，該項(xiàng)目名字確定為文心一言，英文名ERNIE Bot，3月份完成內(nèi)測后面向公眾開放。目前，文心一言在做上線前的沖刺。
“ChatGPT主要涉及自然語言處理相關(guān)技術(shù)，屬于認(rèn)知智能領(lǐng)域的應(yīng)用之一，科大訊飛在該方向的技術(shù)和應(yīng)用方面具備長期深厚的積累?！?月8日晚，科大訊飛在投資者互動(dòng)平臺(tái)回應(yīng)稱，公司已面向認(rèn)知智能領(lǐng)域陸續(xù)開源了6大類、超過40個(gè)通用領(lǐng)域的系列中文預(yù)訓(xùn)練語言模型，并于去年12月啟動(dòng)生成式預(yù)訓(xùn)練大模型任務(wù)攻關(guān)，人工智能學(xué)習(xí)機(jī)將成為該項(xiàng)技術(shù)率先落地的產(chǎn)品，今年5月將進(jìn)行產(chǎn)品級發(fā)布。
此外，360公司2月7日在投資者互動(dòng)平臺(tái)表示，該公司也計(jì)劃盡快推出類ChatGPT技術(shù)的原型版產(chǎn)品。“AIGC技術(shù)除了在搜索引擎的應(yīng)用之外，還可以輔助數(shù)字安全能力的提升?！?60公司稱。
(本報(bào)記者操秀英、劉艷對此文亦有貢獻(xiàn))
