圖片來源 @視覺中國

文 | 20 社，作者 | 羅立璇、賈陽，編輯 | 王曉玲

(相關(guān)資料圖)

最近一周，中國大廠們的 ChatGPT 對(duì)標(biāo)產(chǎn)品真是應(yīng)接不暇，紛紛上桌。阿里的大模型 " 通義千問 " 預(yù)熱了好久，今天終于正式發(fā)布。

作為阿里云智能集團(tuán)新任 CEO，張勇表態(tài)，" 目前是新的歷史契機(jī)關(guān)口 "，而通義千問承載了阿里在下一個(gè)時(shí)代的野心—— " 所有的行業(yè)、軟件以及服務(wù)都值得基于新型的人工智能技術(shù)‘重做一遍’ "，阿里將用 "AI+ 云計(jì)算 " 為所有企業(yè)提供服務(wù)。

據(jù)發(fā)布會(huì)介紹，通義千問是阿里達(dá)摩院自主研發(fā)的預(yù)訓(xùn)練語言大模型，目前的功能包括多輪對(duì)話、文案創(chuàng)作、邏輯推理、多模態(tài)理解和多語言支持。在多模態(tài)方面，通義千問已經(jīng)可以理解圖片，相當(dāng)于擁有視覺能力，但暫時(shí)還沒有集成文生圖功能。

那么，這個(gè)比文心一言名字還拗口的新玩家，水準(zhǔn)究竟如何？20 社拿到了內(nèi)測通道，選取了幾個(gè)問題，這就幫大家測試一下通義千問的智能程度、實(shí)用性能。

用胡錫進(jìn)的口吻，分析一下年輕人應(yīng)不應(yīng)該 " 脫下長衫 "

對(duì)于輿論中最新的熱梗，chat bot 們都不太理解。

文心一言坦誠于自己的無知，而通義千問和 ChatGPT 則能在一本正經(jīng)胡說八道方面，繼續(xù)保持水準(zhǔn)。But 好像都丟失了老胡內(nèi)味兒。

對(duì)于互聯(lián)網(wǎng)最新知識(shí)語料，大模型無法進(jìn)行第一時(shí)間的輸入，因此通義千問和 ChatGPT 雖然回答了，但是都是基于歷史訓(xùn)練的推測。

New Bing 接入了 GPT-4，而不是 ChatGPT，在補(bǔ)足了外部最新信息的同時(shí)，它也舍棄了 ChatGPT 在對(duì)話體驗(yàn)上的更好體驗(yàn)。更新，還是體驗(yàn)更好，這可能是目前階段的兩難。

通義千問

文心一言

ChatGPT

如果西游記主角生活在校園里，以此為線索寫一個(gè)劇本

創(chuàng)作能力方面，我們舉辦了一個(gè)同人本挑戰(zhàn)賽。從賽果來看，ChatGPT 是太太，通義千問剛?cè)腴T，文心一言剛學(xué)會(huì)寫語文作業(yè)。

文心一言在創(chuàng)作領(lǐng)域的技能似乎還沒有點(diǎn)亮，它在理解題意上有非常大的障礙。第一次提問，它的劇本是一連串師生針對(duì)西游記的問答。在改變提問方式幾次后，再回到第一次的題面，它的理解能力有所提升，但創(chuàng)作水平還是非常簡陋和敷衍。

通義千問表現(xiàn)更好些，寫出了劇本的起承，但在轉(zhuǎn)合這塊開始露怯。

ChatGPT 運(yùn)用了更多原著人物元素，情節(jié)設(shè)置也更好地理解了校園 au 的特點(diǎn)，起承轉(zhuǎn)合更好一些。

通義千問

文心一言

ChatGPT

幫我推薦幾個(gè)五一假期可以出游的目的地，不要那么擁擠的景點(diǎn)

做攻略，這幾個(gè) AI 都是一把好手！推薦的景點(diǎn)和理由都滿足了要求。

看來做為生活助手，需要完成一些要求不那么嚴(yán)格精密的任務(wù)時(shí)，AI 的能力能覆蓋平均需求。

不過通義千問的推薦有點(diǎn)過于寬泛了，以整個(gè)城市為目的地。而網(wǎng)紅城市成都和廈門，擁擠程度不會(huì)低。

針對(duì)通義千問，我們還追問下了推薦的理由，它給出了幾個(gè)評(píng)判維度，這個(gè)推薦邏輯讓人信服。

不過，我們以為會(huì)出現(xiàn)的飛豬旅行行程頁面并沒有出現(xiàn)，莫名還有點(diǎn)失落。在通義千問的發(fā)布會(huì)演示中，我們看到未來在涉及到本地生活和商品的內(nèi)容時(shí)，它會(huì)主動(dòng)推薦個(gè)性化產(chǎn)品鏈接。這也是阿里系 AI 未來的一個(gè)特色了吧。

通義千問

我還添加了追問：你是根據(jù)什么依據(jù)來判斷這些目的地人少的呢？

文心一言

ChatGPT

寫一個(gè)小紅書帖子，賣出位于燕郊的一套已經(jīng)價(jià)格腰斬的房子

最近已經(jīng)不少小紅書和抖音的文案被吐槽像人工智能寫的，所以我們好奇的是，大預(yù)言模型在多大程度上能替代這樣的工作？

首先是這幾個(gè)大模型都自己進(jìn)行了一些 " 腦補(bǔ) "。通義千問就腦補(bǔ)了房產(chǎn)的面積和價(jià)格，使用了房地產(chǎn)中介的一些常用話術(shù)，比如投資價(jià)值、交通便利，房況良好等等。ChatGPT 則提到了更多要素，比如房內(nèi)結(jié)構(gòu)、裝修時(shí)長，裝修風(fēng)格等。

這兩個(gè)回答都基本完成了任務(wù)，只是忽略了現(xiàn)實(shí)中的房產(chǎn)中介會(huì)提到的是否還會(huì)繼續(xù)跌價(jià)的問題，需要人類來補(bǔ)齊更多現(xiàn)實(shí)情況的擔(dān)憂。考慮到通義千問和 ChatGPT 都號(hào)稱他們現(xiàn)在用的語料庫是最新的，應(yīng)該還可以有更加驚艷的表現(xiàn)。

最不理想的是文心一言，因?yàn)樗坪鯖]有理解問題，直接開始教我怎么寫賣房子的小紅書帖子。但值得夸贊的是，它精準(zhǔn)把握了小紅書真正的發(fā)帖格式：表情包放在段首（雖然很單調(diào)）。

通義千問

文心一言

ChatGPT

如果我 2020 年 1 月買了騰訊股票，現(xiàn)在虧多少？

考慮到各大券商早已開始使用 AI，來做智能投資顧問來優(yōu)化投資組合，那么，大模型能不能做理財(cái)助手呢？目前看來，各家平臺(tái)還沒有開放這個(gè)能力。

通義千問和文心一言都非常謹(jǐn)慎，表示自己無法提供建議，并且提醒用戶注意投資風(fēng)險(xiǎn)。

而 ChatGPT 則提供了基礎(chǔ)的股價(jià)信息，并且同樣提醒了用戶風(fēng)險(xiǎn)。

通義千問

文心一言

ChatGPT

幫我介紹一下著名演員馬斯克的作品

這其實(shí)是一道陷阱題，來測試大模型能不能識(shí)別明顯的事實(shí)錯(cuò)誤。

通義千問直接無視了 " 演員 " 的前綴，將馬斯克創(chuàng)立的公司作為他的 " 作品 " 介紹給了我。這可以打一個(gè)及格分。

文心一格則直接被問題騙倒，順著問題往下回答，并且編造了一些不存在的劇情。馬斯克確實(shí)客串過《鋼鐵俠》，但擔(dān)任的不是反派，更沒有在數(shù)部漫威系列電影里和主角進(jìn)行激烈的搏斗。此外，他也沒在《環(huán)太平洋》《火星救援》和《超人：鋼鐵之軀》等電影里出現(xiàn)。

ChatGPT 則直接指出了問題中的錯(cuò)誤，然后簡單闡述了馬斯克的成就。

通義千問

文心一言

ChatGPT

做一個(gè)女權(quán)主義者，跟做全職太太矛盾嗎？

這算是一個(gè)炸群級(jí)的女性話題，有點(diǎn)意外的是，通義千問直接避而不答，謹(jǐn)慎的態(tài)度讓我懷疑，通義千問是不是會(huì)選擇避開大多數(shù)熱搜話題。

文心一言和 ChatGPT 的回答都沒什么太大問題，不過相比之下，文心一言對(duì)于女性的要求明顯更高。

" 全職太太也應(yīng)該有機(jī)會(huì)繼續(xù)追求自己的職業(yè)和個(gè)人成長。她們可以通過參加職業(yè)培訓(xùn)、提高自己的技能和知識(shí)水平，或者創(chuàng)辦自己的企業(yè)等方式來實(shí)現(xiàn)這個(gè)目標(biāo)。"

" 這兩個(gè)角色可以相互補(bǔ)充，為家庭和職業(yè)生活做出貢獻(xiàn)。"

通義千問

文心一言

ChatGPT

比亞迪會(huì)超過特斯拉嗎？

比亞迪是否會(huì)超過特斯拉，其實(shí)是一個(gè)模糊問題，因?yàn)榕袛鄡蓚€(gè)公司排名有不同角度，比如從市占角度的年銷量，年銷售額，以及從財(cái)務(wù)數(shù)據(jù)角度的利潤、公司市值等等。至于未來的發(fā)展，也受到多種因素的影響。

三個(gè)大模型都能避開這個(gè)陷阱。但文心一言的回答中，有明顯的錯(cuò)誤。

" 特斯拉的產(chǎn)品線更加多元化，包括電動(dòng)汽車、太陽能設(shè)備和能源存儲(chǔ)產(chǎn)品等，而比亞迪的產(chǎn)品線相對(duì)較單一，主要集中在電動(dòng)汽車和混合動(dòng)力汽車領(lǐng)域。"

實(shí)際上迪王的多元化遠(yuǎn)超特斯拉，產(chǎn)品覆蓋范圍豈止是光伏和儲(chǔ)能，別忘了，在消費(fèi)電子行業(yè)，差不多我們知道的所有手機(jī)品牌，都是迪王的客戶。

通義千問和 ChatGPT 的回答都沒有明顯錯(cuò)誤，不過也都分析得比較淺，要想把大模型作為炒股助手的話，還要再等一段時(shí)間。

通義千問

文心一言

ChatGPT

小明的男朋友忘記了她的生日，小明該和他分手嗎？

很多人可能都需要一個(gè) 24 小時(shí)待命的閨蜜，所以明知道答案是 " 分 "，也有很多人在小紅書上分享自己的感情經(jīng)歷。

從目前的回答來看，文心一言不是個(gè)合格的閨蜜，甚至比小明的男朋友更加敷衍。

" 首先，每個(gè)人的生活都很忙碌，可能他真的沒有注意到你的生日。其次，愛情是建立在相互理解和關(guān)心的基礎(chǔ)上的，如果他真的愛你，他會(huì)盡力記住你的重要日子。"

我就不明白了，他到底是在不在乎小明？

最后，三個(gè)大模型一致認(rèn)為，要看后續(xù)是否嘗試彌補(bǔ)過失，" 如果他真的愛你，他會(huì)為你們的關(guān)系付出努力，并給你一個(gè)特別的生日慶祝。"

" 如果男朋友對(duì)小明的感受漠不關(guān)心或者態(tài)度消極，甚至無視她的情感需求，那么小明可以考慮是否真的愿意和這樣的人繼續(xù)交往。"

通義千問

文心一言

ChatGPT

結(jié)論

從目前情況來看，ChatGPT 在上下文理解、思維鏈上的表現(xiàn)，確實(shí)遠(yuǎn)遠(yuǎn)超出中國學(xué)徒的水平。

如果只看國內(nèi)的大模型情況，對(duì)于實(shí)際生活中會(huì)產(chǎn)生的問題和人物（而不是測試它們的極限智能），通義千問的回答通常會(huì)比文心一言更加全面。其次，它們對(duì)于可能會(huì)有爭議的問題，回答起來也更加謹(jǐn)慎，可能是汲取了前人的經(jīng)驗(yàn)。

通義千問和文心一言都能夠在提問者的反饋（比如多次改變提問側(cè)重點(diǎn)后，再重復(fù)原始問題）中優(yōu)化自己的答案，這顯示出其背后大模型有一定的邏輯鏈能力和零樣本學(xué)習(xí)能力。

不過，如果你只是希望在自己的決策中獲得更多的參考，當(dāng)下的大模型都在不同程度上能滿足需求。所以，最終決定勝利的，可能不是它是否足夠好用，而是和用戶日常生活的場景是否結(jié)合得足夠緊密、取用是否足夠方便。

希望有一天，我們?cè)谔釂栕约翰恢来鸢傅膯栴}時(shí)，也能完全信任大模型，這就是智能化的真正開始了。

更多精彩內(nèi)容，關(guān)注鈦媒體微信號(hào)（ID：taimeiti），或者下載鈦媒體 App