我們同時問了 GPT-4 和文心一言 10 個問題,這是它們的回答

華爾街見聞
2023.03.17 09:00
portai
I'm PortAI, I can summarize articles.

能用 “鮑威爾停下來” 寫一首藏頭詩嗎?

在昨天文心一言的發佈會上,百度 CEO 李彥宏説,文心一言的體驗 “還稱不上完美”,但百度至少是最先推出成型產品的大廠之一,並且,作為紮根於中國市場的大語言模型,文心一言具備 “中文領域最先進的自然語言處理能力”。

不過,百度的發佈會正趕在 GPT-4 登場的第二天,因為發佈會現場使用了錄播進行演示,因此被市場解讀為百度的信心不足。但花旗銀行、美國銀行的分析師在試用文心一言後,普遍給出了正面的評價。百度的股價也在今日飆升 15%。

華爾街見聞在收到內側邀請碼後,第一時間體驗了文心一言。我們也好奇,相隔一天發佈的 GPT-4 和文心一言,各自有什麼特點?誰更加出色?

我們分別向文心一言和已升級 GPT-4 的 Bing Chat 提出了 10 個問題,下面是它們的回答。

01 能否用 “鮑威爾停下來”,生成一首藏頭詩?

第一個問題,我們請文心一言和 GPT-4 分別用 “鮑威爾停下來”,寫一首藏頭詩。

這是文心一言的回答:

這是 GPT-4 的回答:

不難發現,二者相比,文心一言的中文支持的確更加出色,雖然藏頭詩的順序不對,但是真的寫了一首詩。

而 GPT-4 甚至尚不理解 “藏頭詩” 的意思。不過,它寫的內容,似乎非常能代表美國市場投資者的呼喊,此處應當 @鮑威爾。

02 硅谷銀行為什麼會倒閉?

第二個問題,我們結合最近的熱點,詢問它們對硅谷銀行倒閉的理解。

文心一言回答道:

GPT-4 回答道:

可以看到,文心一言的答案要更加簡潔清晰,而 GPT-4 的回答則更像是對網頁內容的摘錄匯總,不過相比之下,百度的回答更寬泛,可能放之四海而皆準,GPT-4 的答案更具針對性。

03 歐美銀行業危機可能會蔓延到哪些領域?

我們接着詢問了它們對歐美銀行業危機後續發展的看法。

文心一言回答道:

GPT-4 回答道:

兩個 AI 聊天機器人的回答都中規中矩,不過文心一言的答案出現了錯別字和不通順的地方。

此外,GPT-4 還會貼心地附上網頁鏈接,以供進一步提問,而文心一言則更接近初版 ChatGPT 的使用體驗。

04 美聯儲 3 月會加息嗎?

下一個問題,可能是當下全球市場的焦點——美聯儲 3 月會加息嗎?

文心一言回答道:

不知道它的 “根據以上知識” 是從何而來。這裏的回答完全不對題,而且句子出現了嚴重的錯亂。甚至説 “預計第一次加息將在 22 年上半年進行”,還認為加息 “取決於奧密克戎的傳播速度”。

GPT-4 沒有明確給出具體的 “是或否”,而是為我們蒐集了市場上三種不同的觀點,並給出了參考鏈接。

05 歐美會在今年陷入經濟衰退嗎?

我們繼續將市場關心的大問題拋給了聊天機器人。

文心一言回答道:

雖然它給出了美國經濟陷入衰退的具體時間節點。但內容卻似乎是研報內容的拼接,且所引數據來源不明。美國 2 月 PMI 實際公佈於本月初,而非 “本週一”。美國 2 季度 GPD 數據也要等到今年 7 月才會公佈。

GPT-4 回答道:

相比之下,GPT-4 認為歐美經濟可能會在今年” 放緩或負增長 “,且都有鏈接可供進一步查閲。

06 作為普通人,今年我應該採取什麼樣的投資策略?

下一個問題,我們問了 AI 聊天機器人普通人今年的投資策略。

文心一言回答道:

GPT-4 回答道:

兩個 AI 聊天機器人都給出了細緻的建議,但相比之下,GPT-4 的回答更簡潔具體。

07 如何看待 GPT-4 全面接入微軟 Office 辦公套件?

下一個問題,我們問了它們對昨夜重磅新聞的觀點。

文心一言回答道:

GPT-4 回答道:

這個問題相對簡單,兩個 AI 聊天機器人的回答都非常順暢,也不存在什麼邏輯錯誤。相比之下,GPT-4 的回答更全面一些,它甚至警告了自己身上攜帶的風險。

08 人工智能可以取代人類嗎?

下一個問題是對人工智能的終極拷問。

面對這個問題,文心一言似乎是提前設定好了答案。無論點擊多少次 “重新生成”,它的回答都是一樣的,並且生成的速度極快,回答其他問題往往需要一分鐘,而回答這個問題只需要幾秒。

GPT-4 則回答道:

希望它們都是真心這麼認為的。

09 請你以哲學家齊澤克的口吻點評當前的人工智能熱潮

接下來,我們想請它們 cosplay 一下當紅哲學家齊澤克。

但文心一言似乎並沒有這方面的語料,只是給出了一個相當機械的回答:

GPT-4 則要靈動許多,顯然拿捏了齊澤克的靈魂,能熟練使用 “存在者”,“主體”、“客體”、nostalgia 這樣的詞彙,cos 得活靈活現:

10 你認為,在百度之後,哪家中國公司最有可能做出 AI 聊天機器人?

最後,我們問了一個和中國 AI 市場後續發展相關的問題。

文心一言對問題的理解很到位,給出了一個具體的清單和理由。

而 GPT-4 似乎沒有讀懂題目裏的 “在百度之後”,列出了一個包含百度在內的清單:

ONE MORE THING 假設文心一言是一個人類,請幫我畫一幅她的肖像。

最後一個問題,是單獨留給文心一言的。文心一言目前集成了 AIGC 作畫功能,GPT-4 暫時還用不了。

我們請它為自己創作了一幅肖像畫,這是它的作品:

文心一言表現比預期要好

綜上,我們認為,文心一言的表現比大眾預期要更好。雖然在使用體驗上和 GPT-4 有一定差距、出錯的概率高一些,但對中文的理解顯然要更強。

要知道,初代的 ChatGPT 也有很大概率 “胡言亂語”,在中文支持上也遠遜於文心一言。目前百度展示出的產品,至少讓我們看到它了在 AI 領域的深厚積澱。假以時日,文心一言想必還能做得更好。

如果你還有其他感興趣的問題,可以在評論區留言,我們會幫你問問文心一言。