我們擅長(cháng)商業(yè)策略與用戶(hù)體驗的完美結合。
歡迎瀏覽我們的案例。
微軟研究院最近開(kāi)源了 Visual ChatGPT，一個(gè)聊天機器人系統，可以根據人類(lèi)的文本提示生成和處理圖像。該系統將 OpenAI 的 ChatGPT 與 22 種不同的視覺(jué)基礎模型(VFM)相結合，可以支持多模態(tài)交互。
arXiv 上的一篇論文對該系統進(jìn)行了描述。用戶(hù)可以通過(guò)輸入文本或上傳圖片與聊天機器人互動(dòng)。機器人還可以根據文本提示生成圖像，或者通過(guò)處理聊天歷史記錄中的圖像來(lái)生成圖像。該聊天機器人的一個(gè)關(guān)鍵模塊是提示詞管理器(Prompt Manager)，它將用戶(hù)輸入的原始文本組織成一個(gè)“思維鏈”提示詞，幫助 ChatGPT 確定是否需要調用 VFM 工具來(lái)執行圖像任務(wù)。據微軟團隊稱(chēng)，Visual ChatGPT 是：
一個(gè)包含各種 VFM 的開(kāi)放系統，使用戶(hù)能夠超越語(yǔ)言格式與 ChatGPT 進(jìn)行交互。為了構建這樣一個(gè)系統，我們精心設計了一系列提示詞，將視覺(jué)信息注入到 ChatGPT 中，從而逐步解決復雜的視覺(jué)問(wèn)題。
ChatGPT 和其他大語(yǔ)言模型(LLM)已經(jīng)顯示出了強大的自然語(yǔ)言處理能力，但它們被訓練成只處理一種輸入模式：文本。微軟并沒(méi)有訓練另一個(gè)新的模型來(lái)處理多模態(tài)輸入，而是設計了一個(gè) Prompt Manager 來(lái)生成輸入給 ChatGPT 的文本，進(jìn)而生成可以調用 VFM(如 CLIP 或 Stable Diffusion)來(lái)執行計算機視覺(jué)任務(wù)的輸出。
提示詞管理器基于 LangChain 代理，而 VFM 被定義為 LangChain 代理工具。為了確定是否需要調用工具，代理會(huì )結合用戶(hù)提示詞和對話(huà)歷史記錄(其中包含了圖像文件名)，然后應用提示詞的前綴和后綴。前綴包括以下文本：
Visual ChatGPT 不能直接讀取圖像，但它有一些工具可用來(lái)完成不同的視覺(jué)任務(wù)。每一張圖像都有一個(gè)文件名，格式為“image/xxx.png”，Visual ChatGPT 可以調用不同的工具來(lái)間接理解圖像。
前綴中的附加文本會(huì )引導 ChatGPT 問(wèn)自己“是否需要使用工具”，如果需要使用工具，它應該輸出工具的名稱(chēng)以及所需的輸入，例如要生成的圖像文件名或圖像的文本描述。代理將迭代地調用 VFM 工具，將生成的圖像發(fā)送到聊天會(huì )話(huà)中，直到不再需要使用工具。此時(shí)，最后生成的文本輸出將被發(fā)送到聊天會(huì )話(huà)中。
在 Hacker News 的一個(gè)帖子中，一位用戶(hù)指出 VFM 使用的內存比語(yǔ)言模型少得多，他想知道為什么。另一位用戶(hù)回復說(shuō)：
圖像模型可以很差，但仍然可以生成令人滿(mǎn)意的結果。試想一下，我們可以將圖像的像素隨機變化 10%，我們只會(huì )看到圖像質(zhì)量降低了一些，但其他方面仍然是完美的。而語(yǔ)言模型就不是這樣了，因為它們試圖解決的問(wèn)題要“尖銳”得多，即使它們只是偏離了一點(diǎn)點(diǎn)，都會(huì )導致結果出現嚴重偏差。所以我們需要一個(gè)更大的模型來(lái)獲得足夠的文本“清晰度”。
?。?a href="http://www.hnsema.com">碼上科技）
