7月28日至7月31日第20屆中國國際數(shù)碼互動娛樂展覽會（ChinaJoy）在上海舉行。7月28日，由漢威信恒主辦，集團協(xié)辦的2023 ChinaJoy AIGC大會正式召開。大會聚焦時下熱議的AIGC行業(yè)，邀請國內(nèi)外AIGC領(lǐng)域的行業(yè)代表專家、學(xué)者、企業(yè)大咖重磅參會，從技術(shù)層面、應(yīng)用層面、價值投資層面，全生態(tài)視角探討AIGC技術(shù)下的內(nèi)容產(chǎn)業(yè)新業(yè)態(tài)。

【資料圖】

360智腦總裁張向征發(fā)表了題為《從數(shù)字人到數(shù)智人：360智腦的解決方案》的演講。

張向征指出，AIGC技術(shù)可以重塑數(shù)字人，釋放新需求。大模型本身有強大的內(nèi)容理解能力和用戶需求理解能力、文本生成的能力，讓傳統(tǒng)的數(shù)字人可以和人進行實時智能的對話，滿足人的各類需求，解決人的各種工具性問題。同時，在數(shù)字人生產(chǎn)和制作方面，文生圖工具，包括圖像生成、視頻生成、跨模態(tài)語義理解和可控圖像編輯工具，可以讓數(shù)字人的創(chuàng)作更加高效。

新一代數(shù)字人不僅只有形象，有語音，而且可以學(xué)會人說話的方式，以及人的背景信息。張向征介紹，通過大模型的學(xué)習(xí)訓(xùn)練，數(shù)字人可以代替我們完成智能客服、進行直播、進行銷售及進行培訓(xùn)，幫助我們提高各類工作的效率，經(jīng)過訓(xùn)練的數(shù)字人甚至可以實現(xiàn)數(shù)字分身，在不方便出席或者沒有時間出席的場合完成講話。

以下是張向征在2023 ChinaJoy AIGC大會上的演講全文（略經(jīng)App整理）：

尊敬的各位來賓，大家上午好！

我是360的張向征，今天我跟大家分享360智腦在數(shù)字人領(lǐng)域的探索和應(yīng)用。

AIGC技術(shù)的發(fā)展，尤其是大模型技術(shù)的出現(xiàn)，讓娛樂行業(yè)擁有了大腦和靈魂，而且?guī)砹诵枨蠛凸┙o的雙增量。在需求方面帶來了新的應(yīng)用場景，比如說數(shù)字人、數(shù)字永生。在解放生產(chǎn)力方面帶來了新技術(shù)、新的AI工具，幫助內(nèi)容創(chuàng)作者降低生產(chǎn)成本，提高生產(chǎn)效率。

AIGC技術(shù)可以重塑數(shù)字人，釋放新需求。比如說因為大模型的出現(xiàn)，大模型本身有強大的內(nèi)容理解能力和用戶需求理解能力、文本生成的能力，可以讓傳統(tǒng)的數(shù)字人不再是工具人，而是可以和人進行實時智能的對話，滿足人的各類需求，解決人的各種工具性問題。

在數(shù)字人生產(chǎn)和制作方面，文生圖工具，包括圖像生成、視頻生成、跨模態(tài)語義理解和可控圖像編輯工具，可以讓數(shù)字人的創(chuàng)作更加高效。

AIGC技術(shù)無論在文字、圖像、音頻、視頻多個領(lǐng)域，都可以全鏈條降本增效，幫助企業(yè)快速應(yīng)用到自己的業(yè)務(wù)場景上。

在今年上半年，依托360過去多年在算法、數(shù)據(jù)、工程、架構(gòu)各方面的積累，發(fā)布了360智腦的認知型通用大模型。模型集成了多個工具，包括360 GPT大模型，對標ChatGPT類似的做文本的理解和生成。同樣有圖像生成大模型、圖像處理工具，也有360鴻圖做復(fù)雜的文本圖像治理，以及能夠根據(jù)用戶指令結(jié)合用戶提交的圖片、細節(jié)修改，定制化地對圖像進行復(fù)雜處理。

360智腦具備十大核心能力，可以覆蓋大模型應(yīng)用的各種場景。比如說生成與創(chuàng)作能力，360智腦的生成與創(chuàng)作能力可以更好地理解用戶角色的訴求，比如說制造了孫悟空的數(shù)字人，孫悟空說話需要有自己的特色和用語；制造了諸葛亮的數(shù)字人，需要用文言文的方式更好地回答各種用戶的問答。

同樣的道理，在更復(fù)雜的場景，需要多輪對話的能力，需要理解用戶的前文上下文。閱讀理解的能力，更好地理解用戶的意圖，知識問答的能力，更好地解決用戶的需求，應(yīng)用在廣泛的應(yīng)用場景上。

360大模型的開發(fā)，依托了以往多年在各個領(lǐng)域的積累，比如說在搜索原來，我原來是做搜索方向的，在搜索領(lǐng)域積累了海量中文網(wǎng)頁及對中文網(wǎng)頁進行內(nèi)容抽取、數(shù)據(jù)清晰的能力。同樣，在RP領(lǐng)域，已有的搜索技術(shù)需要跟蹤各類大模型的新進展，以前Bard、GPT的出現(xiàn)我們也會在內(nèi)部進行各種嘗試和應(yīng)用。

搜索服務(wù)本身也可以作為360智腦大模型的增強工具，作為一種外掛知識庫，解決大模型的連接問題，提高大模型的內(nèi)容實效性和實時性。

360智腦最大的問題是安全，有在模型基礎(chǔ)框架和安全的積累，也有在內(nèi)容安全下的積累，讓輸出的內(nèi)容更加安全可控。

大模型驅(qū)動的數(shù)字人能夠帶來生產(chǎn)效率的提升，以及顛覆生產(chǎn)關(guān)系，新一代數(shù)字人不僅只有形象，有語音，而且可以學(xué)會人說話的方式，以及人的背景信息。通過大模型的學(xué)習(xí)訓(xùn)練數(shù)字人可以代替我們完成智能客服、進行直播、進行銷售及進行培訓(xùn)，幫助我們提高各類工作的效率，經(jīng)過訓(xùn)練的數(shù)字人可以實現(xiàn)數(shù)字分身，在不方便出席或者沒有時間出席的場合完成講話。

與傳統(tǒng)的數(shù)字人相比，已有的影視級數(shù)字人成本極高，需要3A建模，需要專業(yè)的演員，需要專業(yè)的拍攝設(shè)備，投入動輒百萬起，而已有的虛擬人在后續(xù)運維上也需要投入較大的成本。

已有的形象克隆數(shù)字人可以進行直播，也可以按照人提供的內(nèi)容進行內(nèi)容輸出，比較直觀和形象。但存在兩個缺點：一是內(nèi)容需要有人來寫，而2個小時的直播需要提供海量的文本內(nèi)容，需要經(jīng)常性進行變化。二是念稿的機器人只是單向的，沒有辦法及時響應(yīng)用戶的需求和提問，導(dǎo)致用戶有時候會覺得有點虛假和不真實。

360智腦機器人的核心優(yōu)勢是具備“最強外表+最強大腦”，有三個特點：

一是以人為本，多模態(tài)交互。360智腦大模型應(yīng)用耗用、易用是關(guān)鍵，大模型技術(shù)很強，但很多人在用ChatGPT時并沒有辦法把ChatGPT最強的能力發(fā)揮出來。有些專業(yè)的問題有些人可以問出來很好的答案，但有有些人問出來的答案效果不夠好。數(shù)字人背后已經(jīng)有專業(yè)的人員定制了各種不同的角色，這些角色可以更好地讓用戶使用時就知道我們面對的是專業(yè)的律師、專業(yè)的醫(yī)生、專業(yè)的營銷顧問，在已有數(shù)據(jù)調(diào)研里，使用數(shù)字人的場景、數(shù)字通用大模型的場景，用戶問答滿意度提升超過10個百分點。數(shù)字人形象相比傳統(tǒng)文本界面的交互，更直觀，更形象，這種多模態(tài)交互更符合人更自然的交互，所以用戶體驗更好。

二是有靈魂有記憶，需要利用已有的通用引擎的技術(shù)，把數(shù)字名人、古圣先賢，他們有一系列的背景知識、著作、才華、發(fā)表過的文章，只靠簡單的提示語沒有辦法很好地解決，需要有外掛的知識庫進行個性化的定制，才能提供更好的符合人設(shè)定義的服務(wù)。

三是能聯(lián)網(wǎng)、能學(xué)習(xí)。有很強的搜索及對話知識庫存的定制服務(wù)，用戶在使用的時候，可以及時聯(lián)網(wǎng)解決有效性和測試性的問題。

數(shù)字人前期治理的步驟，首先依托于搜索本身文本處理的能力，及時把網(wǎng)絡(luò)文本、文檔文本抽取出來，結(jié)合語義積累進行分段處理、執(zhí)行、摘要，提前生成Q&A的問題。存儲階段，有賴于已有的通用引擎，這是360的引擎的基礎(chǔ)服務(wù)。

同時支持了基于關(guān)鍵詞的傳統(tǒng)搜索，以及基于向量的語義搜索，可以結(jié)合用戶的使用場景平衡用戶對精確性的要求、語義泛化性的要求。比如說在政府辦事的智能客服里任何一點差錯都不能犯，要給用戶的信息要足夠精準，只靠語義相關(guān)沒有辦法解決，需要用到傳統(tǒng)搜索技術(shù)。

人機交互層面可以依賴于360智腦大模型語義理解能力，很好地對用戶從知識庫里檢索出來的信息進行統(tǒng)一的匯總和輸出，更符合與人對話的自然語言理解。

針對垂直的行業(yè)和數(shù)字人特定地收集語料加入到預(yù)訓(xùn)練和微調(diào)中，這樣才能具有專業(yè)性，提供比通用大模型更優(yōu)的結(jié)果。

在游戲領(lǐng)域簡單的展示，只需要提供簡單的角色資料，以及采集一部分人物照片信息，加上360智腦大模型的能力，就可以生成能看見、能聽見、開放式問答的對話式數(shù)字人。

生成數(shù)字人之后還有提問，如果只靠大模型本身輸出的結(jié)果很難給出人具體的觀點，往往是大模型每次基于模型本深生成的結(jié)果有很大的隨機性。但是當(dāng)有了個性化、定制化的知識庫之后，數(shù)字信息就會更多代表更符合人設(shè)，更符合他已有的觀點，而不是用大模型本身去“胡說八道”。

在現(xiàn)場問答的場景，具體使用時，一種是直播場景，可以單向?qū)ν廨敵?，另外一種是直觀和用戶進行問答（在線問答、實時問答），工具后臺可以統(tǒng)一提供，可以用于直播場景，也可以用于實時問答場景。

360智腦數(shù)字人不止在平臺上可以用，而且做了整體的服務(wù)包裝，通過API和SDK很方便地掛載到第三方網(wǎng)站、第三方APP中，在用戶使用其他工具的場景下，很方便地進入數(shù)字人的場景，提供智能客服或者一系列的咨詢服務(wù)。

在其他應(yīng)用場景也會有更復(fù)雜的場景，比如說大屏場景，需要的不止是簡單的對話，而需要和其他系統(tǒng)做復(fù)雜交互。

這是和城市文旅場景結(jié)合的數(shù)字人，不止需要問答，也需要把原有系統(tǒng)中的數(shù)據(jù)結(jié)合用戶問的問題，通過解析層具體的指令，獲取對應(yīng)的結(jié)果化數(shù)據(jù)，再通過大模型的加工處理，用更自然的形式反饋給用戶。

除了大屏場景，還有數(shù)字分身，可以代表主人出席大會，如果有些人時間來不及的話，可以解決這一問題。另外可以用于直播間場景。

有人設(shè)，有記憶，有靈魂的數(shù)字人，最終的應(yīng)用場景很多樣。

1.數(shù)字伴侶。這種場景下人是需要有情感需求的，而里面不止是現(xiàn)在用大模型時的專業(yè)化回答，需要有閑聊的模式，能更反映角色對應(yīng)的特點。比如說可以作為情感陪伴。

2.數(shù)字名人。我們自己做的“數(shù)字老周”也是類似的場景，需要和人對應(yīng)的背景信息建設(shè)成個性化的知識庫，很好地融入到大模型的使用場景，解決大模型的幻覺，反饋出人本身的背景知識，自己對問題的理解、個性的特點

3.數(shù)字專家。作為數(shù)字員工，比如說營銷專家、法律專家，作為數(shù)字員工給企業(yè)提供服務(wù)，提供的方式比泛泛地問大模型得到的效果好很多，因為他們的partment都是經(jīng)過精心設(shè)計的。

4.數(shù)字助手。大屏場景需要解決復(fù)雜的場景，需要和復(fù)雜的場景進行交互。

360智腦目前已經(jīng)有了多層布局，可以批量化規(guī)模生產(chǎn)數(shù)字人，成本很低。另外提供了對外的API平臺，很方便地對外提供服務(wù)。未來可能的應(yīng)用方向可以做更多的探索，比如說用于AR、VR領(lǐng)域，希望有更多合作伙伴將來能一起探索更智能的未來。

謝謝大家！

關(guān)鍵詞：