8月12日，新華社研究院中國企業(yè)發(fā)展研究中心發(fā)布《人工智能大模型體驗報告2.0》，對當(dāng)前國內(nèi)風(fēng)生水起的主流大模型進(jìn)行了客觀評測，結(jié)果顯示，科大訊飛星火總分第一。

相對于6月首次發(fā)布的《人工智能大模型體驗報告》，本次測評在題目設(shè)計、對標(biāo)Benchmark（人類）、打分權(quán)重、專家測評團(tuán)隊四大維度進(jìn)行了全面升級。

其中，在題目設(shè)計方面，測評題目由300道擴(kuò)展至500道，并進(jìn)一步完善了題目分類：

在對標(biāo)Benchmark方面，本次測評將接受過高等教育的人類作為對照，來考評大模型真實能力；

在打分標(biāo)準(zhǔn)上，本次測評根據(jù)對產(chǎn)業(yè)、生活的實際價值，對基礎(chǔ)能力、智商能力、情商能力和工具提效四大測評維度進(jìn)行了權(quán)重設(shè)計；

在測評團(tuán)隊方面，本次測評特邀北京大學(xué)文化與傳播研究所及其他產(chǎn)界、學(xué)界專家全程參與。

本次研究設(shè)置了用戶體驗項目，抓取了7月31日—8月4日數(shù)據(jù)，通過人機(jī)互動提問等形式，對國內(nèi)主流大模型進(jìn)行使用體驗評測，旨在為科技企業(yè)調(diào)整努力方向提供參考。

報告顯示，與2023年6月相比，當(dāng)前中國大模型產(chǎn)品進(jìn)步顯著。但與接受過高等教育的人類相比，大模型在智商、情商等方面還存在一定程度差距。

綜合基礎(chǔ)能力、智商能力、情商能力和工具提效四大能力綜合得分情況來看，科大訊飛星火大模型得分1013，僅比人類答案少1分，在各主流大模型中排名第一。其它排在第二、第三的分別為百度文心一言和商湯商量。

據(jù)了解，科大訊飛星火大模型發(fā)布于5月6日，并于6月9日完成首次升級。相對于初始版本，訊飛星火訊飛新版本無論是知識問答能力、推理能力、數(shù)學(xué)能力、語言理解、代碼能力還是文本生成能力均有較大提升。

科大訊飛星火之所以有如此表現(xiàn)，此前科大訊飛董事長劉慶峰表示，主要是因為公司員工努力和技術(shù)積累所致。

劉慶峰表示，在過去24年的創(chuàng)業(yè)歷程中，為了讓機(jī)器實現(xiàn)像人一樣能聽會說、能理解會思考，用人工智能建設(shè)美好世界的夢想，科大訊飛人沒有一天停止過，也沒有一天不再奮斗。

在過去的創(chuàng)業(yè)歷程中，科大訊飛不僅徹底扭轉(zhuǎn)了中文語音產(chǎn)業(yè)的競爭格局，而且在英文等多語種領(lǐng)域獲得了全球第一的地位。

在全球首次讓機(jī)器語音轉(zhuǎn)寫超過專業(yè)書記員；首次讓機(jī)器翻譯通過國家翻譯師資格考試；首次讓機(jī)器通過了國家執(zhí)業(yè)醫(yī)師資格考試。同時也是中國唯一一家承擔(dān)認(rèn)知智能國家重點實驗室建設(shè)的公司。

除技術(shù)積累外，科大訊飛還擁有成建制的團(tuán)隊，且每一個關(guān)鍵模塊都是完全自主研發(fā)的，有完整的創(chuàng)新體系，這是科大訊飛在人工智能領(lǐng)域得以踏實前行的關(guān)鍵。

科大訊飛星火大模型當(dāng)前的版本為1.5，據(jù)悉，8月15日，科大訊飛將正式發(fā)布訊飛星火2.0版，在文本生成、語言理解、邏輯推理等各項能力持續(xù)提升的同時，代碼能力和多模態(tài)能力將登上全新高度。