【編者按】信息技術革命、媒介迭代帶來的萬物互聯、萬物皆媒的新傳播圖景下，媒體特定信息的表達與詮釋對該信息的傳播效能與受眾的認知程度產生著深遠影響。媒體傳播效能的有效評價對優化設計媒體多模態融合下的信息加工、處理、表達與傳播機制有著重要意義。北京師范大學新聞傳播學院教授、博導、學術委員會主任喻國明，北京師范大學新聞傳播學院博士后胥偉嵐在《傳媒觀察》2021年第12期刊文，從媒介融合與多模態傳播研究的問題與缺陷出發，梳理了多模態融合視域下傳播的效能提升及其評估模式的新構想，基于光學色散模型的技術邏輯，在構建信息的多模態融合傳播數據庫的基礎上，研究姿態、表情、文本、語音等各模態的特征表達，并從疊聚-輻射視角審視媒體傳播中的信息構成，進而探討基于符號、情感、情境三維度信息分量間的融合規律，以此作為多模態媒體信息傳播效能分析的主要原料，完成媒體內容信息及用戶交互信息的效果反饋，從而反哺于媒體傳播效能提升的設計之中。

一、多模態融合與媒體傳播效能

（一）媒體融合

媒體融合的概念源于19世紀中期美國Rosenberg首次提出的技術融合思想。繼而麻省理工學院媒體實驗室創始人Langlois認為媒體融合是應用計算機技術的網絡終端來傳輸數字形態信息，帶來的不同媒體間的互換和互聯。1983年馬薩諸塞理工大學Ithiel De Sola Pool正式給出了媒介融合的概念，認為數碼科技技術使得原來涇渭分明的傳播形態發生聚合，各種媒介呈現出多功能一體化的趨勢。自此，媒體融合成為業界與學界探索的焦點。

1.媒體融合的概念和認知維度。對媒介融合概念界定主要有狹義與廣義兩種認識。狹義上指不同媒介形態融合在一起產生質變，形成一種新的媒介形式。廣義上指一切媒介及其相關要素的結合、匯聚甚至融合。顯然，媒體融合是技術迭代下一種從低級向高級逐漸發展的媒介互融與交融過程。

2.媒體融合的誘因。學者們主要將其歸因為技術、經濟和市場三方面。然而從媒介發展史的角度追溯，媒體融合不僅有技術或經濟等方面誘因，還有可感知的需要、競爭及政治壓力，以及社會和技術革新的復雜要素相互作用引起。由此，黃金認為社會和文化因素應視為經濟動因、政治動因和技術動因聯合起來的黏合劑。

3.媒體融合的影響與發展趨勢。羅杰菲德勒指出媒體融合是傳媒業不分領域全面競爭的大媒體時代到來，是一種舊媒介形態由積累、轉換，進而產生演變到自身獨特的存在形式當中的新媒介。Norris從互動社會語言學視角，分析媒體融合應以人類即席交流的距離、坐姿、視角等模態轉化為被新媒介交流中的表情符號、表情包、語音、短視頻等數字化模態所取代。有關媒體融合的理論探索與實踐應用從媒介技術融合，向媒介的內容生產、組織轉型、文化融合以及多模態融合等多層面展開。

（二）媒體傳播效能及評價

最早傳播效能主要指涉新聞傳播宣傳的效果。隨著互聯網的崛起，傳播效能評價研究在傳統媒體與網絡媒體之間出現分野，就現實發展而言，學術界對網絡時代傳播效能評價目前仍處于探討層面。

1.媒體實踐維度上，傳播效能的探索聚焦于解釋媒體傳播效能內涵，探討如何提高傳播效能的手段和途徑。藍燕玲給出了媒體傳播效能內涵、傳播價值及提升策略；曲升剛和張廣星分別對媒體傳播效能構建與實踐路徑、如何重塑媒體傳播效能進行了深入探究；陸華從媒體融合的背景分析了如何提高媒體傳播效能。但這類文獻的主旨均側重媒體業務實踐分析，包括網絡背景下媒體的傳播力、引導力等媒體業務實踐，提出提升傳播效能的建議與策略。

2.媒體學理維度上，主要從媒體本身的傳播能力、媒體傳播效能顯現以及媒體信息傳播效能三方面進行研究。此外，還有一些從媒體信息傳播效能角度的研究成果，如張瑞靜借鑒網絡議程設置理論，立足于“新媒體即關系”的傳播結構，建立新型媒體傳播效能的二級量化評估指標。還有諸如謠言傳播、重大突發事件的信息傳播等傳播效能分析的文章，主要基于某類現象的分析，通過采集非一手數據對具體傳播現象和傳播效能加以考察，多數僅以“議程設置”“沉默的螺旋”等理論作為標簽。

（三）多模態數據分析的媒體信息傳播

模態是結構系統的固有振動特性。多模態指事物呈現或體驗的不同形式，常見的多模態信號有圖片、聲音、文字、視頻等。多模態信號分析不僅存在于新聞傳播學，它也需要信息科學、符號學、語言學、心理學等跨學科的理論架構和知識采納。新媒體多模態數據分析在信息科學基礎上，主要通過建立模型來關聯與處理多模態的媒體數據?？筛爬槎嗄B數據的數據表示、數據映射、數據對齊、數據融合以及協同學習五個層次。其中大部分圍繞數據間的多模態數據映射展開。主流的多模態數據映射方法為：基于現有映射關系，首先將現有的多模態數據符號向量化，以此作為神經網絡的輸入端，結合已有的對應關系，映射到另一模態，基于海量數據不斷訓練后，得到具有普適性的跨模態數據映射模型。在心理學基礎上，主要從心理和生理測量維度針對不同通道的媒體感知信息對用戶體驗效果進行了較多研究。Leckner對視覺通道感知信息進行研究發現，文本內容在左側會首先被看到，而且時間最長；大尺寸的產品比小尺寸的產品更容易被看到，用戶停留的時間也更長；而動畫廣告在讀者中并不受歡迎，不會引起更早的關注，也不會被更好地記??；雖然視差滾動技術可以提升用戶體驗，但是如果網站的視差滾動技術不是生動新鮮酷炫又容易使用的話，也不會受到用戶認可。Vraga利用眼動技術分析包含不同的內容狀態、鏈接和圖片的Facebook內容，以及社交、新聞和政治帖子等不同類型的Facebook新聞時，發現相比于政治類帖子，新聞類帖子和社交類帖子則獲得了更多的關注，人們的觀看時間更長，并且在控制所有字符的情況下，人們看圖片的時間明顯增加。

（四）關于媒介融合與多模態傳播研究的問題與缺陷

1.缺失媒體融合時代研究媒體傳播活動及其具體形態的有效視角。無論是媒體本身的傳播效能還是其信息的傳播效能分析，學者們多以一種分散的、單一模態視角，將其視為一個相對靜止、單一的整體，而較少深入、立體地探討多種模態間的互動及其意義，但“連接”個人用戶、建立“開放型”媒體，是媒體融合進一步深化的方向，也是打造新型媒體必須突破的難點。多模態數據正積極參與到媒體傳播活動中，進而形成一套復雜的、有效的多模態符號與意義表達系統。因此，多模態數據是不可割裂的整體，媒體如何運用多模態融合數據提升傳播效能是當前全媒體融合實踐中亟待解決的問題。

2.未能建立起媒介融合背景下完備的科學評價體系。關于媒體傳播效能評價的研究側重于對策分析和評價指標體系構建，忽略對于媒體融合的實際考察，至今還沒建立起一個能涵蓋媒體信息加工、處理、表達與傳播機制等多維媒介信息交互演化全過程系統的完備的評價體系。

3.研究方法多以定性為主，定量研究較少。國外有關媒體傳播效能理論和實證研究不僅揭示了受眾的信息認知與處理過程，實現了媒體傳播效能的提升，還成為制定公共政策的依據，發揮推動改善媒體內容的社會效益的作用。而國內關于媒體效能的研究剛剛起步，學者們還只習慣于通過對個別事物的觀察，或相關傳播現象的討論、思辨來獲得提高媒體效能的對策。鮮有學者開展媒體效能評價的實證研究，多數偏重對媒體靜態的信息傳播現象的描述，而對動態的受眾、媒介、社會等因素如何對媒體傳播效能起作用的關系性研究甚少，在傳播效果理論指導下旨在測量與發展傳播學理論的實證研究更是罕見，缺乏定量與定性實證研究方法，系統探索信息傳播與媒體傳播效能機制。

二、多模態融合視域下傳播的效能提升及其評估模式

（一）研究思路

這個問題的研究總體上應該沿著“現實問題-理論建構-實證驗證-對策建議”的邏輯思路展開。通過媒體融合下媒體傳播的動、靜傳播效能相關因素的發現，建立影響媒體傳播效能的核心因素；引入光散理念、多模態融合研究范式針對影響媒介交互傳播的核心因素進行測量，應用機器學習和深度學習方法對真實的媒體中不同模態下的數據進行挖掘，完成多模態融合的媒體傳播效能評價模型的構建，驗證并調整實驗結果，最終提出媒體傳播效能的提升策略。

（二）研究維度及結構

在全媒體融合時代的信息傳播過程中，媒體特定信息的表達與詮釋對該信息的傳播效果及受眾的認知程度影響極大。傳播效能客觀評價方法對優化設計媒體融合時代的媒體信息加工、處理、表達與傳播機制有著重要的意義。本項研究將在構建信息的多模態融合傳播數據庫的基礎上，探究姿態、表情、文本、語音等各模態的特征表達。以往研究中，對媒體信息的分析，多以一種分散視角看待信息傳播的路徑及演變規則，實際在媒體融合環境中所傳播的信息是一種多模態、多維度疊加后的復合信息，不同維度的媒體信息在特定條件下呈現不同的傳播強度和廣度，已然不能用傳統的媒體信息框架來全面詮釋，可借助光散射模型加以解釋。將光學模型中各種色彩是基于紅、綠、藍三原色的各種組合疊加的呈現原理，對應從疊聚-輻射視角審視媒體傳播中的信息構成，進而探討基于符號、情感、情境三維度信息分量間的融合規律及傳播效果。

1.多模態融合對媒體傳播效能影響的元分析

通過文獻計量法，整合媒體傳播效能評價已有的影響維度，同時挖掘媒介形態嬗變下媒體信息傳播現象中影響傳播效能的關鍵要素。并結合媒介融合的演進過程，從受眾、媒介、社會等維度剖析出影響傳播效能的動態特征要素。整合出靜態與動態層級下的關鍵影響因素，依據媒體融合下成功典型案例分析，構建媒體傳播效能的概念模型，解析出動、靜效能各維度的內容構成，及其在媒體傳播效能間的關聯關系模型，并對其價值及作用進行檢驗。在媒體傳播動、靜效能形成和影響因素研究的基礎上，確定出傳播效能形成的前置因素。

2.多模態融合的媒體信息傳播的疊聚-輻散

傳播效能的前置因素分析和驗證發現，多模態聚合的媒體信息最終呈現是由符號、情緒、情境這三維度信息的疊加得以表征。同時，三維度信息會因媒體傳播中的觸發物而引發傳播路徑上的輻散，使得受眾在不同的接受節點和疊聚-輻散狀態下產生不同的信息行為。由此，提出多模態融合的媒體信息傳播的疊聚-輻散效應模型，同時構建出信息輻散度與信息主導度的二變量對多模態融合信息傳播的疊聚和輻散狀態進行度量。

3.多模態融合的媒體信息傳播的疊散演化評估模型

借鑒光的疊散理念構建媒體信息傳播演化模型。根據受眾在媒體平臺中形成的數個交流子圈群，各子圈群的信息可通過平臺采集的評論量、播放量與點贊量三種典型行為數據，分別表征為媒體信息傳播中的符號、情緒與情境三個維度。

在符號信息維度上，使用LDA模型對媒體信息傳播的標題簡介進行主題建模，得到其主題向量，每條主題向量代表該媒體信息的符號信息。并通過圈群受眾所發信息之間的主題向量的相似度來計算受眾之間信息傳播的量；在情緒信息維度，可以使用積極和消極的兩種類別作為情緒信息的分析粒度。通過機器學習的樸素貝葉斯分類模型得到積極與消極情緒分類概率權值，這個值作為媒體信息的情緒信息，測度出媒體信息之間情緒信息的差值來作為情緒信息的傳播值；在情境信息維度，主要度量媒體信息發布的時間與空間特征，探討從事件情境和主體情境兩維度定義情境信息。結合媒體信息在傳播過程中三維度信息處于輻散狀態的大小程度，以及三維度信息中某一維度占主導地位，對媒體信息傳播總態勢的主導信息進行評測。

4.媒體傳播效能提升策略的研究路徑

在總結歸納多模態融合的媒體傳播的呈現機制與傳播規律、闡釋論證其對傳播生態的影響因素和傳播路徑的基礎上，再對其在傳播過程中的價值導向與責任引領進行效果檢視，確定媒體傳播效能提升策略。例如，建立“To B”服務的新型媒體生態位、構建社群-媒體社群化運營系統-融合政策體系的責任引領、搭建小程序場景服務模式的價值引領等。

尋找影響多模態融合的媒體傳播效能的關鍵因素。本項研究的重點、難點之一即為尋找影響多模態融合的媒體傳播效能的關鍵因素。致使傳播效能形成的靜態影響因素較易歸納，例如規模、時間、方向等，傳統研究已做了一些這方面的工作。但是有些致使傳播效能形成的動態因素，例如受眾、媒介、社會等引起的認知、情緒和行為的影響，如何將這部分主觀因素與傳播現象中歸納的靜態因素整合為傳播效能評測的關鍵因素為本研究的重點和難點問題。

如何從疊散原理對多模態融合的媒體交互傳播過程進行評估建模。疊散是依據光的色散效應，映射到媒體傳播效能的關鍵影響因素在信息傳播中的觸發物引發傳播路徑發生疊散，最終帶來受眾在不同傳授點和疊散狀態下產生的不同信息行為。在這個疊散演化中，媒體交互傳播各要素構成了復雜、統一的整體，且各要素及其內在機制間形成緊密的依賴關系。在此基礎上，通過建立數學模型或者各要素的關系，從而逐步發掘出產生這種色散變化的因果關系。而建立這種色散效應關系的數學模型是本研究的重點和難點。

三、結 語

借鑒光學中色散模型構建多模態融合的媒體傳播交互評價模型，能對媒體信息傳播的本質變化及多模態信息之間的交互演化狀態加以識別和量化。一方面針對多模態復合媒體信息傳播效能精準預測出不同模態下信息交互演化的關鍵傳播節點和預測其傳播效能走勢，為媒體傳播效能評測及其管理提供實踐支持；另一方面從單模態、多模態及復合疊加模態下進行媒體信息傳播模式的探究，厘清不同模態的媒體信息在某一媒介中所引起的用戶交互行為和方式，將此數據作為多模態媒體信息傳播效能分析的主要原料，通過交互信息對當前媒體信息交互演化模式進行捕捉，完成媒體內容信息及用戶交互信息的效果反饋，從而反哺于媒體傳播效能提升的設計之中。

（載《傳媒觀察》2021年12月號。原標題為：多模態融合：媒體傳播的效能提升及其研究模式。全文約7000字，此為節選。圖表、注釋從略，學術引用請參考原文。）

【作者簡介】

喻國明，北京師范大學新聞傳播學院教授、博導、學術委員會主任，北京師范大學“人工智能與未來媒體實驗室”主任，中國新聞史學會傳媒經濟與管理學會專業委員會會長

胥偉嵐，北京師范大學新聞傳播學院博士后

【基金項目】

本文為2020年度教育部人文社會科學重點研究基地重大項目“中國主流媒體傳播力績效評估研究”（20JJD860001）的研究成果之一。