“超級(jí)知識(shí)助手”來(lái)了，科大訊飛發(fā)布首個(gè)長(zhǎng)文本、長(zhǎng)圖文、長(zhǎng)語(yǔ)音的大模型

4月26日，訊飛星火大模型V3.5（以下簡(jiǎn)稱“訊飛星火”）春季上新。面向用戶高效準(zhǔn)確知識(shí)獲取的痛點(diǎn)，科大訊飛發(fā)布業(yè)界首個(gè)長(zhǎng)文本、長(zhǎng)圖文、長(zhǎng)語(yǔ)音大模型，不僅能夠把各種信息來(lái)源的海量文本、圖文資料、會(huì)議錄音等進(jìn)行快速學(xué)習(xí)，還能夠在各種行業(yè)場(chǎng)景給出專業(yè)、準(zhǔn)確回答。

科大訊飛進(jìn)一步升級(jí)星火語(yǔ)音大模型，首發(fā)多情感超擬人合成，具備情緒表達(dá)能力，并推出一句話聲音復(fù)刻功能，讓科技更有溫度。

同時(shí)，面向企業(yè)應(yīng)用場(chǎng)景，科大訊飛推出星火智能體平臺(tái)，幫助企業(yè)解決大模型落地的最后一公里難題。

持續(xù)用技術(shù)進(jìn)步解決真實(shí)剛需，訊飛星火也在獲得越來(lái)越多用戶的認(rèn)可。據(jù)七麥數(shù)據(jù)顯示，訊飛星火APP在安卓端的下載量已經(jīng)超過(guò)9600萬(wàn)次，在國(guó)內(nèi)工具類通用大模型APP中排名第一。

首發(fā)長(zhǎng)文本、長(zhǎng)圖文、長(zhǎng)語(yǔ)音大模型，助力知識(shí)高效獲取

為什么科大訊飛要做長(zhǎng)文本、長(zhǎng)圖文、長(zhǎng)語(yǔ)音的大模型？

通過(guò)訊飛星火APP可以看到，用戶使用的最高峰不是周末，而是工作日的上午9:30和下午3:30。這意味著，大部分用戶用訊飛星火來(lái)解決和工作相關(guān)的剛需問(wèn)題。而高效的知識(shí)獲取是用戶和開(kāi)發(fā)者都高度關(guān)注的問(wèn)題。

科大訊飛分析發(fā)現(xiàn)，在知識(shí)獲取和學(xué)習(xí)的過(guò)程中，廣大用戶能拿到的資料往往不僅是現(xiàn)成的長(zhǎng)文本，還有隨手可見(jiàn)的報(bào)刊書(shū)籍內(nèi)容、各種研討會(huì)的PPT內(nèi)容，老師黑板上的板書(shū)、同學(xué)的筆記，以及各種會(huì)議錄音、訪談，各種網(wǎng)上的發(fā)布會(huì)、培訓(xùn)教育視頻等，能不能把這些文本、圖片、語(yǔ)音等都上傳到訊飛星火中，快速地獲取知識(shí)？

為此，科大訊飛推出首個(gè)支持長(zhǎng)文本、長(zhǎng)圖文、長(zhǎng)語(yǔ)音的大模型，來(lái)解決用戶真實(shí)場(chǎng)景中多源信息的獲取需求。

本次訊飛星火長(zhǎng)文本功能全新升級(jí)后，具備長(zhǎng)文檔信息抽取、長(zhǎng)文檔知識(shí)問(wèn)答、長(zhǎng)文檔歸納總結(jié)、長(zhǎng)文檔文本生成等能力，總體已經(jīng)達(dá)到GPT-4 Turbo 4月最新長(zhǎng)文本版本的97%水平，而在銀行、保險(xiǎn)、汽車(chē)、電力等多個(gè)垂直領(lǐng)域的知識(shí)問(wèn)答任務(wù)上，訊飛星火長(zhǎng)文本總體水平已經(jīng)超過(guò)GPT-4 Turbo。

長(zhǎng)文本功能的落地需要解決信息高效處理的問(wèn)題：面對(duì)上百萬(wàn)甚至上千萬(wàn)文字，長(zhǎng)文本大模型消耗的運(yùn)算資源非常大。

為了解決大模型應(yīng)用效率和準(zhǔn)確率問(wèn)題，劉慶峰談道，基于訊飛星火V3.5對(duì)長(zhǎng)文本的理解、學(xué)習(xí)、回答能力，科大訊飛進(jìn)行了重要的模型剪枝和蒸餾，從而推出業(yè)界性能最優(yōu)的130億參數(shù)的大模型，在效果損失僅3%以內(nèi)的情況下，使得星火在文檔上傳解析處理、知識(shí)問(wèn)答的首響時(shí)間以及文字生成方面都獲得了極大的效率提升。測(cè)試顯示，在保障長(zhǎng)文本效果的情況下，無(wú)論是10K、64K、128K token，還是更長(zhǎng)的文本上，星火大模型的性能都做到業(yè)界最優(yōu)。

面向復(fù)雜的圖文場(chǎng)景，科大訊飛在圖文識(shí)別、公式識(shí)別大賽多年國(guó)際第一的技術(shù)積累基礎(chǔ)上，首次推出星火圖文識(shí)別大模型。

相比傳統(tǒng)小模型逐行文字識(shí)別的限制，星火圖文識(shí)別大模型具有三大優(yōu)勢(shì)：1）能夠直接處理非常復(fù)雜的版面分析，目前已經(jīng)覆蓋31個(gè)典型場(chǎng)景，比如書(shū)刊、學(xué)術(shù)論文、專利、報(bào)紙、海報(bào)、PPT等，同時(shí)能自動(dòng)識(shí)別標(biāo)注出18類不同的版面要素，比如頁(yè)眉、頁(yè)腳、標(biāo)題、段落、表格、公式、印章、手寫(xiě)等；2）融合篇章上下文語(yǔ)義進(jìn)行文字識(shí)別，識(shí)別更精準(zhǔn)；3）面向教育、金融、醫(yī)療、科研等專業(yè)領(lǐng)域深度優(yōu)化，能自動(dòng)實(shí)現(xiàn)更多領(lǐng)域的專業(yè)符號(hào)識(shí)別。

根據(jù)國(guó)際公開(kāi)的權(quán)威英文測(cè)試集來(lái)看，訊飛星火的圖文識(shí)別效果超過(guò)微軟和谷歌。從典型應(yīng)用場(chǎng)景來(lái)看，在科研、金融以及企業(yè)產(chǎn)品技術(shù)文檔等識(shí)別效果都處于業(yè)界領(lǐng)先地位。

此外，面對(duì)廣泛的音視頻信息高效獲取需求，科大訊飛也推出長(zhǎng)語(yǔ)音功能，將國(guó)際領(lǐng)先的語(yǔ)音識(shí)別和翻譯技術(shù)結(jié)合起來(lái)，可以實(shí)現(xiàn)會(huì)議錄音、學(xué)習(xí)視頻等的一鍵研讀，實(shí)現(xiàn)音視頻場(chǎng)景的高效知識(shí)獲取。

發(fā)布合同助手、升級(jí)AI學(xué)習(xí)機(jī)，以技術(shù)進(jìn)步解決真實(shí)剛需

訊飛星火長(zhǎng)文本、長(zhǎng)圖文、長(zhǎng)語(yǔ)音能力的升級(jí)，進(jìn)一步推動(dòng)大模型在各個(gè)場(chǎng)景的落地。劉慶峰重點(diǎn)介紹了訊飛星火在招投標(biāo)、合同、教育等場(chǎng)景下的應(yīng)用。

在招投標(biāo)場(chǎng)景，此前憑借訊飛星火領(lǐng)先的文本理解、邏輯推理和數(shù)學(xué)能力，科大訊飛和國(guó)家能源物資公司在企業(yè)采購(gòu)場(chǎng)景合作了智能無(wú)人評(píng)審系統(tǒng)，已經(jīng)在國(guó)資委網(wǎng)站上被作為典型案例推薦。據(jù)介紹，在國(guó)家能源集團(tuán)已評(píng)審5.7萬(wàn)余單，評(píng)審準(zhǔn)確率達(dá)97％。這一次，疊加本次升級(jí)的長(zhǎng)文本和長(zhǎng)圖文能力，可以讓評(píng)標(biāo)更便捷、更高效、更準(zhǔn)確。

日常生活中，我們?cè)谫I(mǎi)賣(mài)商品、裝修房屋或者是購(gòu)買(mǎi)汽車(chē)保險(xiǎn)時(shí)經(jīng)常會(huì)遇到各種各樣的合同，看不懂存在風(fēng)險(xiǎn)怎么辦？科大訊飛推出星火合同助手，它可以對(duì)我們的合同進(jìn)行風(fēng)險(xiǎn)審核、合同比對(duì)，摘要總結(jié)以及合同生成，迅速識(shí)別潛在風(fēng)險(xiǎn)漏洞，成為你口袋里的“法務(wù)助手”。

在教育場(chǎng)景，科大訊飛進(jìn)一步升級(jí)了訊飛AI學(xué)習(xí)機(jī)產(chǎn)品，不僅對(duì)作文的批改、對(duì)理科的批改更加精準(zhǔn)，也讓智能化輔學(xué)更有針對(duì)性更高效；也結(jié)合本次多模態(tài)能力升級(jí)了百科問(wèn)答功能，星火大模型理解并融合了大量圖書(shū)知識(shí)，對(duì)于孩子的奇思妙問(wèn)等復(fù)雜問(wèn)題，“愛(ài)因斯坦”和他的大咖虛擬人朋友都能回答，讓孩子們?cè)谌の痘?dòng)中學(xué)知識(shí)、長(zhǎng)見(jiàn)識(shí)，同時(shí)提升了孩子主動(dòng)提問(wèn)的意愿和能力。

智慧黑板也再次升級(jí)，搭載長(zhǎng)文本和長(zhǎng)語(yǔ)音能力，讓實(shí)錄轉(zhuǎn)寫(xiě)效率得以提升的同時(shí)，提升篇章梳理能力。其次是星火教師助手，融入長(zhǎng)文本能力后，可以把優(yōu)質(zhì)教輔內(nèi)容融入，教師在備課的過(guò)程中就可以直接融入教輔教參中的內(nèi)容，進(jìn)一步豐富備課資源，提升備課效率。

此外，星火科研助手目前已在中國(guó)科學(xué)院、三亞崖州灣科技城、北京郵電大學(xué)、哈爾濱工業(yè)大學(xué)等機(jī)構(gòu)高校鋪開(kāi)應(yīng)用。多模態(tài)能力升級(jí)下，訊飛星火科研助手也進(jìn)一步提升了論文問(wèn)答、綜述生成、實(shí)驗(yàn)解讀等的效果，使得解析的學(xué)術(shù)資料更加豐富，進(jìn)一步賦能高校和科研院所的科研工作。

能“情感共鳴”，還能“一句話聲音復(fù)刻”

萬(wàn)物互聯(lián)時(shí)代下需要更真實(shí)的AI語(yǔ)音交互。年初訊飛星火V3.5發(fā)布會(huì)上，科大訊飛推出了超擬人對(duì)話功能，AI的聲音更自然更真實(shí)，擬人度達(dá)到了83%，受到用戶的廣泛歡迎。無(wú)論是語(yǔ)音可懂度、流暢度還是表現(xiàn)力，效果均超過(guò)OpenAI、微軟。

此次科大訊飛發(fā)布多情感超擬人合成，進(jìn)一步提升了情緒表達(dá)的可感知度，對(duì)高興、抱歉、安慰、撒嬌、困惑等情緒表達(dá)的可感知度達(dá)到85%以上，AI語(yǔ)音更加生動(dòng)、真實(shí)。

昊鉑HT 2024 款車(chē)型行業(yè)率先搭載科大訊飛超擬人合成技術(shù)，已在4月25日正式全球上市。

除了超擬人對(duì)話，科大訊飛還推出“一句話聲音復(fù)刻”功能，一句話就可以定制你的AI助手聲音。比如模仿小朋友的聲音，每天給爺爺奶奶讀書(shū)讀報(bào)；在我們出差的時(shí)候，模仿我們的聲音給孩子講故事。這個(gè)功能可以讓世界變得更有溫度。

劉慶峰談道，科大訊飛在個(gè)性化語(yǔ)音合成一直處于業(yè)界領(lǐng)先，目前已進(jìn)階至一句話聲音復(fù)刻。當(dāng)年訊飛AI模仿林志玲的聲音需要去臺(tái)灣錄一個(gè)星期的聲音，到后來(lái)模仿郭德綱需要一天的聲音，再往后需要5分鐘的錄音，現(xiàn)在一句話就可以模仿。大家可以在訊飛星火APP上體驗(yàn)。

發(fā)布星火智能體平臺(tái)，為企業(yè)注入新質(zhì)生產(chǎn)力

自今年1月30日發(fā)布以來(lái)，訊飛星火V3.5作為首個(gè)全國(guó)產(chǎn)算力訓(xùn)練的大模型，受到了各行業(yè)伙伴和開(kāi)發(fā)者的廣泛歡迎。據(jù)劉慶峰介紹，大模型云邊端的整體解決方案正在賦能汽車(chē)、家電、運(yùn)營(yíng)商等越來(lái)越多的行業(yè)；在過(guò)去不到3個(gè)月的時(shí)間里，訊飛新增了55萬(wàn)實(shí)名認(rèn)證的開(kāi)發(fā)者，其中一半以上來(lái)自企業(yè)。

對(duì)企業(yè)來(lái)說(shuō)，如何高效地獲取和學(xué)習(xí)知識(shí)同樣是痛點(diǎn)，科大訊飛給出的答案是智能體，并面向企業(yè)場(chǎng)景推出全新的智能體平臺(tái)。

企業(yè)構(gòu)建智能體的環(huán)節(jié)主要涉及任務(wù)理解、外部信源打通、內(nèi)部各個(gè)IT系統(tǒng)打通以及私域知識(shí)深入融合等環(huán)節(jié)，最終根據(jù)每個(gè)任務(wù)的執(zhí)行結(jié)果輸出答案，這樣一個(gè)完整的過(guò)程才能夠最終完成智能體的構(gòu)建。

劉慶峰談道，在訊飛星火智能體平臺(tái)上，針對(duì)用戶的輸入，首先，基于訊飛星火大模型非常聰明的底座能力，會(huì)自動(dòng)實(shí)現(xiàn)用戶輸入的精準(zhǔn)理解和任務(wù)規(guī)劃。其次，解析完了相關(guān)的任務(wù)和對(duì)應(yīng)的工具之后，訊飛星火也構(gòu)建形成了包括天氣、航班、企查查等成體系的外部信息來(lái)源的對(duì)接；同時(shí)，星火智能體平臺(tái)還通過(guò)互認(rèn)證的機(jī)制，實(shí)現(xiàn)了往往是獨(dú)立的、隔離的OA系統(tǒng)、CRM系統(tǒng)以及ERP系統(tǒng)的打通，完成相應(yīng)操作；最后，通過(guò)私域知識(shí)融入機(jī)制，智能體平臺(tái)很容易實(shí)現(xiàn)企業(yè)所屬行業(yè)以及企業(yè)私域知識(shí)的融入，實(shí)現(xiàn)更精準(zhǔn)的專業(yè)理解和知識(shí)問(wèn)答。

此外，星火智能體平臺(tái)還可以通過(guò)拖拽方式實(shí)現(xiàn)新智能體的創(chuàng)建和多智能體的協(xié)作。星火智能體平臺(tái)，敏捷觸達(dá)大模型應(yīng)用企業(yè)落地的最后一公里。

據(jù)劉慶峰透露，科大訊飛將在6月27日發(fā)布訊飛星火大模型V4.0，進(jìn)一步解放生產(chǎn)力、釋放想象力。

今年全國(guó)兩會(huì)上，開(kāi)展“人工智能+”行動(dòng)，加快發(fā)展新質(zhì)生產(chǎn)力首次寫(xiě)入《政府工作報(bào)告》。大模型帶來(lái)的知識(shí)管理革命正在上演，無(wú)論企業(yè)還是個(gè)人，都可以站在人工智能的肩膀上，實(shí)現(xiàn)新的比較優(yōu)勢(shì)。