微軟宣布開(kāi)源其大型的預訓練對話(huà)語(yǔ)言模型 Grounded Open Dialogue Language Model (GODEL)。根據介紹，GODEL 引入了一類(lèi)新的預訓練語(yǔ)言模型，可以實(shí)現面向任務(wù)的對話(huà)和社交對話(huà)，并通過(guò)其響應的有用性進(jìn)行評估。

　　GODEL 的前身 DialogGPT 是微軟于 2019 年發(fā)布的首個(gè)專(zhuān)門(mén)為對話(huà)設計的大規模預訓練語(yǔ)言模型，有助于使對話(huà)式 AI 更易于訪(fǎng)問(wèn)和使用。與 DialoGPT 相比，GODEL 利用了新階段的基礎預訓練，旨在更好地支持需要當前對話(huà)外部信息(如數據庫或文件)來(lái)產(chǎn)生良好反應的微調階段。

　　GODEL 的主要特點(diǎn)之一是它為用戶(hù)提供了定義其模型基礎的靈活性，這種靈活性主要體現在 GODEL 在不同對話(huà)環(huán)境中的通用性。例如，如果有人詢(xún)問(wèn)當地的一家餐館，GODEL 將能夠提供具體而準確的回答，即使這個(gè)地方可能不包括在用于訓練它的數據中。

　　另一個(gè)主要特點(diǎn)是其廣泛的對話(huà)應用程序。GODEL 可以應用于各種對話(huà)，包括面向任務(wù)、問(wèn)答和基礎聊天的對話(huà)。在同一次對話(huà)中，GODEL 可以針對各種查詢(xún)類(lèi)型產(chǎn)生合理的響應，包括一般性問(wèn)題或對特定操作的請求。微軟方面稱(chēng)，其論文結果表明，GODEL 的回答也被評估為是有幫助的。“我們將我們的模型與幾個(gè)強大的 baselines 和最先進(jìn)的方法進(jìn)行了比較，并表明 GODEL 在人工和自動(dòng)評估方面都具有優(yōu)勢。”

　　目前，微軟已經(jīng)將 GODEL 完全開(kāi)源提供;包含三個(gè)不同的版本：base、large 和 extra-large。并提供了重新訓練所有預訓練模型和為特定任務(wù)微調模型所需的代碼：用于對話(huà)式問(wèn)答的 CoQA 數據集;Wizard of Wikipedia 和 Wizard of the Internet 數據集，用于尋求信息的聊天;MultiWOZ 用于任務(wù)完成對話(huà)。

　　“我們希望 GODEL 能夠幫助眾多學(xué)術(shù)研究團隊通過(guò)創(chuàng )新的對話(huà)模型推進(jìn)對話(huà)式人工智能領(lǐng)域，同時(shí)消除對大量 GPU 資源的需求。我們計劃不斷改進(jìn) GODEL，并向研究界提供更多的模型。”
　?。?a href="http://www.hnsema.com/wechat/">邯鄲小程序開(kāi)發(fā)）

工信部最新數據顯示千兆...

嫦娥五號月壤樣品中首次...