9月5日，以“科技·創(chuàng)造可持續(xù)未來”為主題的2024 Inclusion·外灘大會(huì)在上海正式開幕。本屆外灘大會(huì)致力于構(gòu)建促進(jìn)國際交流、科技與人文融合的對話平臺(tái)，邀請到10余位中外院士以及500多位行業(yè)從業(yè)者，共同探討科技與產(chǎn)業(yè)的深度融合，昆侖萬維首席科學(xué)家顏水成作為分享嘉賓受邀參與。

顏水成教授于上海外灘大會(huì)進(jìn)行

《高效能大模型探索：模型架構(gòu)vs.數(shù)據(jù)智能》主題演講

本次主題分享圍繞高效能大模型研究展開，一方面分享了在MoE架構(gòu)研究上的最新進(jìn)展，以及在Attention層和FFN層的最新成果。另一方面帶來了對大模型SFT中的數(shù)據(jù)智能的思考，主要介紹新的數(shù)據(jù)生成與選取策略對SFT的價(jià)值。

過去這些年，大家都在不斷地去優(yōu)化模型的結(jié)構(gòu)，比如我們優(yōu)化了Transformer結(jié)構(gòu)將計(jì)算效率提升到原來效率的兩倍。顏水成認(rèn)為，模型結(jié)構(gòu)還會(huì)繼續(xù)升級(jí)，每1-2年都會(huì)有新的模型架構(gòu)和模型改進(jìn)的方案提出來，以便提升模型訓(xùn)練的效率和泛化能力，讓模型更加實(shí)用化。

此外，大模型現(xiàn)在還有很多遺留問題，比如推理能力還不夠強(qiáng)。顏水成指出，Synthetic data 是下一步重點(diǎn)，最終去解決這些問題最好的途徑可能是用合成數(shù)據(jù)，而且合成數(shù)據(jù)生成的方式也不會(huì)像今天這樣，根據(jù)原來的數(shù)據(jù)直接用一個(gè)模型生成數(shù)據(jù)。可能會(huì)像人類一樣把不同的大模型合在一起，通過大模型之間相互的對話、相互的討論和相互的評價(jià)，最后產(chǎn)生出更好、更高質(zhì)量的數(shù)據(jù)，這些數(shù)據(jù)將會(huì)大大提升大模型的效能。

緊接著，顏水成教授參與了《AI時(shí)代下數(shù)據(jù)基礎(chǔ)設(shè)施的“根”與“葉”》圓桌討論。數(shù)據(jù)基礎(chǔ)設(shè)施的“根”與“葉”相互依賴，“根”提供了基礎(chǔ)的數(shù)據(jù)資產(chǎn)與技術(shù)，“葉”提供了圍繞數(shù)據(jù)的上層應(yīng)用技術(shù)和生態(tài)，兩者相輔相成共同構(gòu)建了AI時(shí)代下更具生命力的數(shù)據(jù)體系。

顏水成針對“葉”的應(yīng)用生態(tài)進(jìn)行思考，表示在AI時(shí)代下需要催生新的應(yīng)用場景，產(chǎn)生以前沒有過的體驗(yàn)。他認(rèn)為AI 2.0時(shí)代下新的應(yīng)用會(huì)具備兩個(gè)特點(diǎn)：（1）基于低時(shí)延可打斷的自然語音交互；（2）文字、圖像、語音、甚至視頻都是實(shí)時(shí)生成，基于類世界大模型生成。這樣來看，人類獲取信息的展現(xiàn)形式，游戲的方式，人和AI溝通的方式都會(huì)產(chǎn)生巨大顛覆，間接會(huì)帶來AR/MR/芯片的進(jìn)一步蓬勃發(fā)展。

同時(shí)，“大”模型、“大”數(shù)據(jù)也面臨一些挑戰(zhàn)，比如中文文本數(shù)據(jù)質(zhì)量低，數(shù)據(jù)清洗難度高，特別是互聯(lián)網(wǎng)數(shù)據(jù)；視頻數(shù)據(jù)標(biāo)簽缺乏，或者不夠全面；原生多模態(tài)混合數(shù)據(jù)少等。

但其中不乏機(jī)會(huì)，顏水成提出未來要充分考慮AI模型self-improvement, self-evolving, 通過將多模型看作智能體，模擬人類通過模型之間的交互，產(chǎn)生更高質(zhì)量的數(shù)據(jù)，從而帶來模型的進(jìn)一步提升。

展望未來AI時(shí)代下的數(shù)據(jù)基礎(chǔ)設(shè)施形態(tài)，顏水成提出，很快會(huì)進(jìn)入 AI-native數(shù)據(jù)為主體，服務(wù)于大模型的更新和進(jìn)化。現(xiàn)在更多是人類在分析模型的性能，未來更多是AI自己分析自己和人類交互的數(shù)據(jù)以確定如何和人類交互最好。海量數(shù)據(jù)管理和處理技術(shù)，可能比AI大模型算法技術(shù)更關(guān)鍵。

繼續(xù)閱讀：

星空人工智能技術(shù)網(wǎng) 倡導(dǎo)尊重與保護(hù)知識(shí)產(chǎn)權(quán)。如發(fā)現(xiàn)本站文章存在版權(quán)等問題，煩請30天內(nèi)提供版權(quán)疑問、身份證明、版權(quán)證明、聯(lián)系方式等發(fā)郵件至1851688011@qq.com我們將及時(shí)溝通與處理。！：首頁 > 星空人工智能產(chǎn)業(yè) > AI大模型 » 昆侖萬維顏水成出席2024上海外灘大會(huì)，分享高效能大模型前沿思考