摘要：傳統(tǒng)的評(píng)價(jià)研究主要針對(duì)語(yǔ)言語(yǔ)篇，多模態(tài)語(yǔ)篇的評(píng)價(jià)研究是一個(gè)較新的研究領(lǐng)域。本文針對(duì)國(guó)內(nèi)近20年來(lái)多模態(tài)語(yǔ)篇的評(píng)價(jià)研究情況，從研究現(xiàn)狀、研究路徑、存在的問(wèn)題和展望四個(gè)方面展開討論。近 20年來(lái)國(guó)內(nèi)多模態(tài)語(yǔ)篇的評(píng)價(jià)研究主要涉及三大議題，即多模態(tài)評(píng)價(jià)框架建構(gòu)、多模態(tài)語(yǔ)篇實(shí)例分析和評(píng)價(jià)研究述評(píng)。近20 年來(lái)國(guó)內(nèi)多模態(tài)評(píng)價(jià)分析有兩大路徑，即系統(tǒng)功能語(yǔ)言學(xué)研究路徑和認(rèn)知語(yǔ)言學(xué)研究路徑。兩大路徑所使用的具體理論主要為評(píng)價(jià)理論、視覺語(yǔ)法、多模態(tài)隱喻和認(rèn)知評(píng)價(jià)理論。目前國(guó)內(nèi)對(duì)于多模態(tài)語(yǔ)篇的評(píng)價(jià)研究尚處于起步階段，在理論模型、語(yǔ)境層面、研究對(duì)象和方法諸方面存在局限性。文章對(duì)未來(lái)的發(fā)展趨勢(shì)進(jìn)行了展望。
主題詞：多模態(tài)語(yǔ)篇; 評(píng)價(jià); 現(xiàn)狀; 局限性; 展望
20世紀(jì)90年代，馬丁(James R．Martin) 及其團(tuán)隊(duì)在研究澳大利亞語(yǔ)文水平的過(guò)程中，注意到系統(tǒng)功能語(yǔ)言學(xué)理論在賦值語(yǔ)義研究方面的欠缺，于是創(chuàng)建了評(píng)價(jià)系統(tǒng) (Martin 2000 ; Martin &White 2005) 。王振華 (2001) 通過(guò)《評(píng)價(jià)系統(tǒng)及其運(yùn)作——系統(tǒng)功能語(yǔ)言學(xué)的新發(fā)展》一文將馬丁的系統(tǒng)功能語(yǔ)言學(xué)評(píng)價(jià)觀正式介紹到中國(guó)。該評(píng)價(jià)觀旨在研究說(shuō)話者的賦值語(yǔ)義(semantics of evaluation) 。具體而言，它通過(guò)介入、態(tài)度和級(jí)差三大子系統(tǒng)，研究說(shuō)話者的感情、判斷和鑒賞、話語(yǔ)中聲音的來(lái)源以及態(tài)度的程度(王振華 2001) 。本文討論我國(guó)學(xué)者的多模態(tài)語(yǔ)篇評(píng)價(jià)研究，檢視其優(yōu)缺點(diǎn)，促進(jìn)其優(yōu)化。
在探討多模態(tài)語(yǔ)篇的評(píng)價(jià)研究之前，我們首先討論一下模態(tài)和多模態(tài)語(yǔ)篇。根據(jù)社會(huì)符號(hào)學(xué)理論，模態(tài)是“由社會(huì)文化塑造的表達(dá)意義的符號(hào)資源”(Kress 2010: 79) 。語(yǔ)言、圖像、聲音、動(dòng)作等模態(tài)都 是 完 整 的 表 意 系 統(tǒng)，可以用來(lái)實(shí)現(xiàn)概念、人 際、謀 篇 三 大 意 義。O’Halloran (2011 ) 、 Forceville (2009: 22) 、顧曰國(guó)(2006) 等學(xué)者則從聽覺、視覺、觸覺等感官視角來(lái)定義模態(tài)。多模態(tài)語(yǔ)篇是指運(yùn)用聽覺、視覺、觸覺等多種感覺，通過(guò)語(yǔ)言、圖像、聲音、動(dòng)作等多種手段和符號(hào)資源進(jìn)行交際而形成的語(yǔ)篇(張德祿 2009) 。多模態(tài)話語(yǔ)分析將多種模態(tài)納入研究范圍，探討各種模態(tài)如何協(xié)同互動(dòng)產(chǎn)生意義。
從20世紀(jì)90年代開始，科技的發(fā)展使多模態(tài)特征越來(lái)越明顯，多模態(tài)話語(yǔ)研究迅速發(fā)展起來(lái)。學(xué)者們?yōu)閳D像(Kress &Van Leeuwen 1996 ; 2006) 、音樂(lè)(Van Leeuwen 1999) 、手勢(shì)(Martinec 2000) 、數(shù)學(xué)符號(hào)(O’Halloran 2005) 、電影(Bateman & Schmidt 2012) 的研究構(gòu)建了語(yǔ)法語(yǔ)義系統(tǒng)，為模態(tài)關(guān)系構(gòu)建了研究框架(Royce 1998 ; O’Halloran 2003 ; Martinec & Salway 2005 ; 張德祿2009) 。此外，以概念隱喻理論為基礎(chǔ)，認(rèn)知視角的多模態(tài)隱喻研究也發(fā)展得如火如荼(Forceville &Urios-Aparisi 2009) 。
在國(guó)內(nèi)，評(píng)價(jià)研究蓬勃發(fā)展。但是，一直以來(lái)，其研究對(duì)象主要集中于語(yǔ)言模態(tài)。根據(jù)社會(huì)符號(hào)學(xué)理論，圖像、音樂(lè)、動(dòng)作等模態(tài)與語(yǔ)言模態(tài)一樣，是完整的表意系統(tǒng)，實(shí)現(xiàn)三大意義。因?yàn)榉钦Z(yǔ)言模態(tài)也能夠表達(dá)評(píng)價(jià)語(yǔ)義，所以在對(duì)多模態(tài)語(yǔ)篇進(jìn)行評(píng)價(jià)研究時(shí)，有必要將多種模態(tài)同時(shí)納入研究范圍。在國(guó)外，馬丁早在2001年就研究了圖像中的態(tài)度意義和圖文關(guān)系(Martin 2001) ，并在The Language of Evaluation: Appraisal in English 一書中指出，隨著人際意義研究的發(fā)展，當(dāng)我們從功能語(yǔ)言學(xué)視角擴(kuò)展到社會(huì)符號(hào)學(xué)視角時(shí)，對(duì)副語(yǔ)言(手勢(shì)、表情、笑聲、音質(zhì)、響度等) 和其他模態(tài)(圖像、音樂(lè)、動(dòng)作等) 的研究是下一步態(tài)度研究的核心領(lǐng)域(Martin & White 2005: 69) 。
自評(píng)價(jià)系統(tǒng)(APPRAISAL System) 誕生以來(lái)，國(guó)內(nèi)的評(píng)價(jià)研究發(fā)展迅速，已有多位學(xué)者做過(guò)語(yǔ)言為模態(tài)的語(yǔ)篇中的評(píng)價(jià)研究綜述(劉世鑄2010 ; 王振華 2012 ; 徐玉臣 2013 ; 劉興兵 2014) 。不過(guò)，這些綜述對(duì)多模態(tài)語(yǔ)篇的評(píng)價(jià)研究缺乏深入探討。本文將從研究現(xiàn)狀、研究路徑、存在的問(wèn)題與展望幾個(gè)方面，討論 20 年來(lái)國(guó)內(nèi)多模態(tài)語(yǔ)篇的評(píng)價(jià)研究。
2. 研究現(xiàn)狀
2.1 研究方法和量化統(tǒng)計(jì)
我們?cè)谥袊?guó)知網(wǎng)上輸入關(guān)鍵字“多模態(tài)”加上評(píng)價(jià)理論相關(guān)詞語(yǔ)如: “評(píng)價(jià)系統(tǒng)”“評(píng)價(jià)理論” “介入(系統(tǒng)) ”“態(tài)度(系統(tǒng)) ”“級(jí)差(系統(tǒng)) ”“自言”“借言”“單聲”“多聲”“對(duì)話性”“對(duì)話收縮” “對(duì)話擴(kuò)展”“判斷”“情感”“鑒賞”“語(yǔ)勢(shì)”“聚焦”“清晰”“模糊”等這些評(píng)價(jià)系統(tǒng)中的關(guān)鍵詞進(jìn)行檢索，共獲得相關(guān)文獻(xiàn)67 篇。其中，期刊文章35 篇，碩士博士論文32 篇。國(guó)內(nèi)相關(guān)研究從2008年起，呈逐步上升趨勢(shì)，2015年以后發(fā)展較快，2016、2019 分別有10 篇，2018有11篇。但是20年來(lái)只有67篇相關(guān)文獻(xiàn)，說(shuō)明多模態(tài)語(yǔ)篇的評(píng)價(jià)研究仍有很大的發(fā)展空間( 詳情見2.2節(jié)) 。
2.2. 主要議題
目前國(guó)內(nèi)的多模態(tài)評(píng)價(jià)研究的語(yǔ)篇類型多樣，視角不一。本文根據(jù)研究?jī)?nèi)容的側(cè)重點(diǎn)將多模態(tài)語(yǔ)篇評(píng)價(jià)相關(guān)的國(guó)內(nèi)研究分為三大議題: 理論建構(gòu)、實(shí)例分析和研究述評(píng)。67篇論文中，第二類最多，有58 篇，占了 86.5% 。第一類只有4篇，第三類有5篇。下面我們將分別探討三類議題的研究情況。
2.2.1理論建構(gòu)
從掌握的文獻(xiàn)看，多模態(tài)話語(yǔ)分析的主要理論基礎(chǔ)是系統(tǒng)功能語(yǔ)言學(xué)和認(rèn)知語(yǔ)言學(xué)，研究視角多為社會(huì)符號(hào)學(xué)和概念隱喻(張德祿、郭恩華 2013) ，目前多模態(tài)評(píng)價(jià)框架的建構(gòu)基本也是從這兩大視角建構(gòu)的。根據(jù)系統(tǒng)功能語(yǔ)言學(xué)理論，語(yǔ)言是社會(huì)符號(hào)，具有意義潛勢(shì)(Halliday 1978) ，語(yǔ)言研究的成果對(duì)其他符號(hào)系統(tǒng)同樣具有適用性(Kress ＆ Van Leeuwen 2006: 19; 李戰(zhàn)子、陸丹云2012) ，這也是將基于語(yǔ)言的評(píng)價(jià)理論用于多模態(tài)語(yǔ)篇評(píng)價(jià)研究的重要理?yè)?jù)。但是，基于語(yǔ)言的評(píng)價(jià)理論在 應(yīng) 用 于 多 模 態(tài) 語(yǔ) 篇 的 分 析 時(shí) 有 其 局 限 性，主要表現(xiàn)在語(yǔ)言與其他模態(tài)的可供性( affordance) 差異、模態(tài)關(guān)系和認(rèn)知依據(jù)三個(gè)方面。目前國(guó)內(nèi)學(xué)者的多模態(tài)評(píng)價(jià)框架建構(gòu)主要是在這三個(gè)方面發(fā)展馬丁的評(píng)價(jià)框架的。
首先，語(yǔ)言和圖像等其他模態(tài)雖然都具有意義潛勢(shì)，能實(shí)現(xiàn)概念、人際和謀篇三種意義，但其表征手段有所不同(Kress ＆ Van Leeuwen 2006: 20) 。比如，語(yǔ)言中能劃分名詞、動(dòng)詞等，而圖像與音樂(lè)模態(tài)則很難按詞匯方式進(jìn)行劃分。圖像中的拍攝角度是其表達(dá)態(tài)度的重要方式，而語(yǔ)言系統(tǒng)中則沒(méi)有拍攝角度這種空間性的評(píng)價(jià)手段。針對(duì)語(yǔ)言評(píng)價(jià)理論在多模態(tài)語(yǔ)篇分析上的局限，學(xué)者們目前的解決方案是在原語(yǔ)言評(píng)價(jià)框架的基礎(chǔ)上，融合多模態(tài)話語(yǔ)分析理論。例如，針對(duì)圖像無(wú)法像語(yǔ)言一樣進(jìn)行“詞匯”分析的問(wèn)題，裴少文(2014) 借鑒多模態(tài)互動(dòng)理論(Norris 2004) 框架，從面部表情、頭部移動(dòng)、手勢(shì)、衣服等維度對(duì)圖像的評(píng)價(jià)意義進(jìn)行研究，從而解決了分析單位的問(wèn)題。為了探討圖像特有的評(píng)價(jià)手段，陳瑜敏(2008) 借用社會(huì)符號(hào)學(xué)的視覺語(yǔ)法(Kress ＆ Van Leeuwen 2006) 觀點(diǎn)，從鏡頭距離、拍攝角度、目光接觸等方面分析了公益廣告畫面中的評(píng)價(jià)意義，發(fā)現(xiàn)廣告畫面的設(shè)計(jì)可以讓觀眾對(duì)廣告的態(tài)度從超然(detachment) 轉(zhuǎn)為卷入( nvolvement) ，而視覺圖像也能起到為整個(gè)廣告穿針引線、奠定感情基調(diào)的作用。
其次，以語(yǔ)言為主的評(píng)價(jià)分析只需要考慮一種模態(tài)，但納入多種模態(tài)后，不可避免地要考慮模態(tài)間關(guān)系。各種模態(tài)如何共同表達(dá)意義是多模態(tài)話語(yǔ)分析的一個(gè)重要方面( 張德祿 2009) ，也是語(yǔ)言評(píng)價(jià)理論用于多模態(tài)語(yǔ)篇評(píng)價(jià)時(shí)急需發(fā)展的一個(gè)方面，因?yàn)樗苯雨P(guān)系到分析的完整性。目前國(guó)內(nèi)對(duì)模態(tài)之間關(guān)系的分析主要基于多模態(tài)話語(yǔ)分析在這方面已有的研究成果，包括 Royce(1998) 構(gòu)建的符際互補(bǔ)理論框架、Lemke(1998) 提出的“意義相乘”圖文關(guān)系模式、Martinec&Salway(2005) 構(gòu)建的基于邏輯語(yǔ)義的圖文關(guān)系框架、張德祿(2009) 基于強(qiáng)化與非強(qiáng)化關(guān)系構(gòu)建的模態(tài)關(guān)系框架等。比如，石春煦、王振華(2015) 基于 Marti &Rose(2007) 對(duì)已有圖文關(guān)系成果的整合，從邏輯語(yǔ)義關(guān)系、圖文界限、圖文追溯三個(gè)維度來(lái)探討多模態(tài)歷史教科書中的圖文關(guān)系。他們發(fā)現(xiàn)，在多模態(tài)歷史教科書語(yǔ)篇中，圖像、文字以擴(kuò)展關(guān)系為主建構(gòu)評(píng)價(jià)語(yǔ)義。在評(píng)價(jià)的實(shí)例化過(guò)程中，以不同圖文關(guān)系建構(gòu)的評(píng)價(jià)對(duì)歷史文類的選擇有一定的蓋然性(石春煦、王振華 2015) 。多模態(tài)語(yǔ)篇中，各種模態(tài)都能夠表達(dá)情感、判斷、鑒賞等意義，但語(yǔ)篇的整體評(píng)價(jià)意義并不是這些意義的簡(jiǎn)單相加，而是這些模態(tài)進(jìn)行合作或者競(jìng)爭(zhēng)之后的結(jié)果，所以只有將模態(tài)間關(guān)系納入分析框架里，評(píng)價(jià)分析才會(huì)全面和完整。值得注意的是，就我們掌握的文獻(xiàn)來(lái)看，不少研究在分別討論語(yǔ)言和非語(yǔ)言符號(hào)的評(píng)價(jià)意義之后，并沒(méi)有分析各種模態(tài)如何相互聯(lián)系表達(dá)多模態(tài)語(yǔ)篇的整體評(píng)價(jià)。
如前所述，系統(tǒng)功能語(yǔ)言學(xué)和認(rèn)知語(yǔ)言學(xué)是多模態(tài)話語(yǔ)分析的兩種視角，目前對(duì)馬丁的評(píng)價(jià)框架進(jìn)行發(fā)展的另一種方式是結(jié)合認(rèn)知語(yǔ)言學(xué)的成果對(duì)其進(jìn)行改善，為其基于語(yǔ)言現(xiàn)象總結(jié)出來(lái)的情感、判斷和鑒賞等態(tài)度系統(tǒng)提供認(rèn)知理?yè)?jù)。比如，由于馬丁的評(píng)價(jià)理論在形式和相關(guān)的意義范疇化方面還存在不足(張德祿、劉世鑄 2006) ，有學(xué)者認(rèn)為其情感意義的分類缺乏認(rèn)知心理依據(jù)(Feng&O`Halloran 2013) ，所以馮德正、亓玉杰(2014) 借鑒認(rèn)知心理學(xué)理論，以誘發(fā)條件為標(biāo)準(zhǔn)對(duì)態(tài)度系統(tǒng)進(jìn)行了重新分類，也就是，按事件(是否合意) 、行為(是否可取) 和事物(是否喜歡) 三大標(biāo)準(zhǔn)將評(píng)價(jià)意義范疇化，使其分類更加全面準(zhǔn)確。在此基礎(chǔ)上，他們結(jié)合“誘發(fā)條件－內(nèi)心態(tài)度－行為表達(dá)”的態(tài)度圖式，從誘發(fā)條件和行為表達(dá)兩個(gè)維度提出了態(tài)度意義的多模態(tài)表征模式。這是將語(yǔ)言評(píng)價(jià)理論與認(rèn)知心理學(xué)進(jìn)行結(jié)合的很好嘗試，它使基于語(yǔ)言系統(tǒng)的評(píng)價(jià)理論在應(yīng)用于多模態(tài)語(yǔ)篇時(shí)具備更充分的認(rèn)知基礎(chǔ)，增加了語(yǔ)言理論的適用性，也拓寬了心理學(xué)理論的應(yīng)用領(lǐng)域。
2.2.2實(shí)例分析
國(guó)內(nèi)對(duì)多模態(tài)語(yǔ)篇實(shí)例進(jìn)行評(píng)價(jià)分析的研究較多。這些研究旨在通過(guò)對(duì)某個(gè)特定語(yǔ)篇的分析，闡釋其語(yǔ)篇特征、態(tài)度資源或評(píng)價(jià)機(jī)制。語(yǔ)篇類型按數(shù)量多少排序分別是: 廣告(17 篇) 、新聞(10 篇) 、電影(9 篇) 、政治(5篇) 、法律(4篇) 、教育(4篇) 、雜志(4 篇) 、童話(2 篇) 、企業(yè)年報(bào)(2 篇) 、演講(2 篇) 、小說(shuō)(2 篇) 、紀(jì)錄片(2 篇) 、真人秀(2 篇) 。可見在研究對(duì)象上，目前的研究主要集中于傳媒語(yǔ)篇，對(duì)于自然交際、舞臺(tái)表演、三維空間等類型的多模態(tài)語(yǔ)篇關(guān)注較少。
在實(shí)例分析中，分析的角度主要有以下幾種: 第一，對(duì)語(yǔ)篇進(jìn)行多模態(tài)話語(yǔ)三大意義的分析，并把評(píng)價(jià)理論作為解讀人際意義的工具。在研究的范圍方面，有些研究的分析范圍包括評(píng)價(jià)系統(tǒng)的介入、態(tài)度、級(jí)差三個(gè)子系統(tǒng)，有些只選其一。第二，在做多模態(tài)隱喻、符號(hào)重構(gòu)、互文、語(yǔ)類等研究時(shí)，將評(píng)價(jià)理論作為分析的手段之一。第三，以多模態(tài)語(yǔ)篇的評(píng)價(jià)或者態(tài)度分析為目標(biāo)，從批評(píng)話語(yǔ)分析和積極話語(yǔ)分析視角來(lái)闡釋語(yǔ)篇的評(píng)價(jià)意義、表征資源和實(shí)現(xiàn)機(jī)制。
2.2.3 研究述評(píng)
主要議題的第三類是評(píng)價(jià)研究述評(píng)，共有5篇文章，其中包括：多模態(tài)人際功能述評(píng)(1 篇) 、語(yǔ)篇分析述評(píng)(2 篇) 、積極話語(yǔ)分析述評(píng)(1 篇) 、中國(guó)形象話語(yǔ)研究述評(píng)(1 篇) 。在這些述評(píng)中，多模態(tài)語(yǔ)篇的評(píng)價(jià)研究都只是其很小的一方面。從這些綜述來(lái)看，近年來(lái)國(guó)內(nèi)話語(yǔ)分析正從語(yǔ)言語(yǔ)篇分析轉(zhuǎn)向多模態(tài)語(yǔ)篇分析，而國(guó)內(nèi)功能語(yǔ)篇分析的重要主題和手段之一就是評(píng)價(jià)。評(píng)價(jià)研究是多模態(tài)人際功能研究的一大重點(diǎn)，目前有學(xué)者從語(yǔ)言、圖像、顏色、字體的評(píng)價(jià)等方面進(jìn)行研究。另 外，除了將評(píng)價(jià)理論用于批評(píng)話語(yǔ)分析，近年來(lái)評(píng)價(jià)理論也成了積極話語(yǔ)分析的主要研究路徑 (楊林秀、趙浩 2018) 。但是，劉興兵(2014) 明確指出“分析多模態(tài)語(yǔ)篇如何表達(dá)評(píng)價(jià)意義也是急待開拓的領(lǐng)域”，說(shuō)明國(guó)內(nèi)在多模態(tài)語(yǔ)篇的評(píng)價(jià)研究方面還有很大的發(fā)展空間。
3. 研究路徑
多模態(tài)語(yǔ)篇的評(píng)價(jià)研究關(guān)注的是語(yǔ)篇的人際意義，旨在分析符號(hào)使用者如何通過(guò)各種符號(hào)資源表達(dá)對(duì)人、事、物的立場(chǎng)和態(tài)度。國(guó)內(nèi)相關(guān)研究主要采取兩大路徑，一種是基于系統(tǒng)功能語(yǔ)言學(xué)的多模態(tài)評(píng)價(jià)路徑，主要以 Martin(2000) 創(chuàng)建的評(píng)價(jià)系統(tǒng)為分析框架，結(jié)合視覺語(yǔ)法進(jìn)行視覺模態(tài)分析。另一種是基于認(rèn)知心理學(xué)的多模態(tài)評(píng)價(jià)路徑，以馮德正、亓玉杰(2014) 構(gòu)建的認(rèn)知評(píng)價(jià)框架為基礎(chǔ)，分析多模態(tài)語(yǔ)篇中的評(píng)價(jià)意義如何實(shí)現(xiàn)。第一種路徑是主要路徑，占到了近20年相關(guān)文獻(xiàn)的85.2% ; 第二種認(rèn)知路徑只占 14.8% 。下面我們將對(duì)這兩個(gè)路徑作詳細(xì)說(shuō)明。
3.1系統(tǒng)功能語(yǔ)言學(xué)評(píng)價(jià)路徑
此路徑主要是借用 Martin 創(chuàng)建的評(píng)價(jià)系統(tǒng)，從介入、態(tài)度、級(jí)差三個(gè)方面對(duì)多模態(tài)語(yǔ)篇進(jìn)行分析(具體框架見王振華 2001) 。對(duì)于語(yǔ)言符號(hào)來(lái)說(shuō)，系統(tǒng)功能語(yǔ)言學(xué)已經(jīng)建立了較完善的詞匯語(yǔ)法和語(yǔ)篇語(yǔ)義分析框架。而對(duì)于圖片、表情、動(dòng)作、音樂(lè)、空間等其他模態(tài)，則借鑒多模態(tài)話語(yǔ)分析的理論框架進(jìn)行闡釋。在此基礎(chǔ)上，綜合語(yǔ)言和非語(yǔ)言分析的結(jié)果，根據(jù)圖文關(guān)系框架討論模態(tài)間關(guān)系。以下我們將從語(yǔ)言評(píng)價(jià)、非語(yǔ)言評(píng)價(jià)、模態(tài)間關(guān)系三方面討論國(guó)內(nèi)多模態(tài)語(yǔ)篇的系統(tǒng)功能語(yǔ)言學(xué)評(píng)價(jià)研究路徑。
3.1.1 語(yǔ)言的評(píng)價(jià)分析路徑
語(yǔ)言評(píng)價(jià)分析主要以 Martin 的評(píng)價(jià)理論為基礎(chǔ)，從介入、態(tài)度、級(jí)差三大語(yǔ)義系統(tǒng)分析語(yǔ)言資源，主要涉及語(yǔ)義的詞匯語(yǔ)法表征、語(yǔ)篇的韻律結(jié)構(gòu)、評(píng)價(jià)的實(shí)現(xiàn)方式等。具體操作上，一般是劃分小句成分，進(jìn)行詞匯語(yǔ)法手段的量化統(tǒng)計(jì)，再探尋數(shù)字背后的評(píng)價(jià)意義，分析作者如何使用評(píng)價(jià)資源與讀者進(jìn)行結(jié)盟、如何設(shè)計(jì)讀者的閱讀取位等等。對(duì)語(yǔ)言的評(píng)價(jià)研究，目前國(guó)內(nèi)多關(guān)注詞匯語(yǔ)法資源，即便是演講、廣告等口語(yǔ)為主的多模態(tài)語(yǔ)篇，也缺乏對(duì)語(yǔ)音等聽覺特征的系統(tǒng)分析。
3.1.2 非語(yǔ)言的評(píng)價(jià)分析路徑
對(duì)于非語(yǔ)言模態(tài)的評(píng)價(jià)，國(guó)內(nèi)主要關(guān)注的是圖像、表情、動(dòng)作等視覺模態(tài)，聽覺、觸覺模態(tài)少有人涉及。在系統(tǒng)功能語(yǔ)言學(xué)視閾下，非語(yǔ)言符號(hào)的評(píng)價(jià)分析的主要理論基礎(chǔ)是視覺語(yǔ)法中的互動(dòng)分析框架( Kress &Van Leeuwen 1996，2006) 。該框架提出，圖像創(chuàng)造者從協(xié)商、社會(huì)距離和態(tài)度三方面構(gòu)建互動(dòng)意義，設(shè)計(jì)觀眾與圖像互動(dòng)的方式。這些方式體現(xiàn)出創(chuàng)作者對(duì)其所設(shè)計(jì)的圖像的態(tài)度與立場(chǎng)，這種態(tài)度與立場(chǎng)也是創(chuàng)作者希望觀眾接受的立場(chǎng)，希望與觀眾對(duì)此達(dá)成一致，形成聯(lián)盟。研究者通過(guò)使用視覺語(yǔ)法中的目光接觸、鏡頭距離、拍攝角度、人物表情等范疇來(lái)分析創(chuàng)作者立場(chǎng)與態(tài)度的視覺表征。比如，陳瑜敏( 2008) 通過(guò)對(duì)一則奧運(yùn)公益廣告的電視畫面分析，指出廣告人物直視觀眾的目光是要求觀眾采取行動(dòng)，近距離的特寫鏡頭營(yíng)造了“個(gè)人近距離”的社會(huì)關(guān)系，拍攝角度從側(cè)面到正面的轉(zhuǎn)換讓觀眾從超然( detachment) 的態(tài)度轉(zhuǎn)為卷入( involvement) ，而微笑表情和握拳手勢(shì)為整個(gè)廣告奠定了積極的情感基調(diào)。在評(píng)價(jià)意義的實(shí)現(xiàn)機(jī)制方面，目前的研究主要借鑒馬丁對(duì)語(yǔ)言現(xiàn)象的總結(jié)，從內(nèi)嵌( inscribe) 和引發(fā)( invoke) 兩個(gè)方面來(lái)考察各種模態(tài)資源如何實(shí)現(xiàn)情感、判斷、鑒賞等態(tài)度意義。
3.1.3 模態(tài)間關(guān)系分析路徑
多模態(tài)語(yǔ)篇的評(píng)價(jià)研究其重點(diǎn)是分析模態(tài)間的關(guān)系，探討各模態(tài)如何共同表達(dá)評(píng)價(jià)意義。目前國(guó)內(nèi)多模態(tài)語(yǔ)篇的評(píng)價(jià)研究在分析模態(tài)間關(guān)系時(shí)，主要有以下情況。
第一種情況，籠統(tǒng)表明多模態(tài)的表征方式加強(qiáng)了評(píng)價(jià)意義。如在圖文語(yǔ)篇中會(huì)出現(xiàn)“意義相乘”的效果( 陳瑜敏 2008) ，但沒(méi)有具體討論這種效果是如何實(shí)現(xiàn)的，對(duì)模態(tài)間關(guān)系的闡釋不太清晰。
第二種情況，基于系統(tǒng)功能語(yǔ)言學(xué)的邏輯語(yǔ)義和銜接等理論，從模態(tài)的總體分布、模態(tài)協(xié)同和語(yǔ)篇發(fā)展三個(gè)方面分析模態(tài)間關(guān)系。總體分布通過(guò)量化統(tǒng)計(jì)來(lái)揭示各模態(tài)資源在整個(gè)語(yǔ)篇中的分布情況，模態(tài)協(xié)同包括意義和時(shí)間兩個(gè)維度，探索同一意義如何由不同模態(tài)協(xié)同表征，可能是強(qiáng)化、互補(bǔ)、互斥關(guān)系中的一種。時(shí)間維度主要分析評(píng)價(jià)詞匯、語(yǔ)音特征和肢體動(dòng)作等的時(shí)間同步特征。語(yǔ)篇發(fā)展的分析以鏡頭為單位，考慮多模態(tài)語(yǔ)篇的銜接關(guān)系、預(yù)期關(guān)系和因果關(guān)系。亓玉杰( 2010) 以《老友記》為語(yǔ)料，通過(guò)對(duì)模態(tài)關(guān)系的分析，發(fā)現(xiàn)態(tài)度資源由多模態(tài)共建，模態(tài)間關(guān)系不僅增加態(tài)度意義，而且對(duì)電影語(yǔ)篇的銜接研究有啟發(fā)。
第三種情況，綜合國(guó)外已有的圖文關(guān)系研究框架進(jìn)行模態(tài)間關(guān)系分析。比如，Martin &Rose ( 2007: 329) 對(duì)國(guó)外的圖文關(guān)系框架進(jìn)行了總結(jié)和整合，構(gòu)建了從邏輯語(yǔ)義、空間界限、溯源互文三個(gè)方面分析圖文關(guān)系的模型。石春煦、王振華( 2015) 基于此框架分析了歷史教科書中擴(kuò)展型和投射型的圖文評(píng)價(jià)、圖文之間的空間邊界以及圖文的互指關(guān)系，發(fā)現(xiàn)歷史文類多模態(tài)語(yǔ)篇中，圖文評(píng)價(jià)以擴(kuò)展關(guān)系為主，而且詳述型數(shù)量居多。
3.2 認(rèn)知語(yǔ)言學(xué)評(píng)價(jià)路徑
認(rèn)知語(yǔ)言學(xué)中的概念隱喻理論和認(rèn)知心理學(xué)中的認(rèn)知評(píng)價(jià)理論是目前用來(lái)進(jìn)行多模態(tài)話語(yǔ)分析的兩大理論基礎(chǔ)。前者主要用于分析多模態(tài)隱喻如何表征評(píng)價(jià)意義，后者用來(lái)為語(yǔ)言評(píng)價(jià)框架提供認(rèn)知理?yè)?jù)，改善原框架。
3.2.1 基于多模態(tài)隱喻的評(píng)價(jià)路徑
認(rèn)知語(yǔ)言學(xué)中概念隱喻理論的核心觀點(diǎn)是，“隱喻本質(zhì)上是一種思維和行為方式，人們往往借助具體的身體體驗(yàn)來(lái)理解和感知抽象的概念; 前者是源域，后者是目標(biāo)域; 源域投射到目標(biāo)域的屬性為映射項(xiàng)”( 張德祿、郭恩華 2013) 。在多模態(tài)語(yǔ)篇的評(píng)價(jià)研究方面，隱喻主要具有以下作用: 表達(dá)評(píng)價(jià)、激發(fā)評(píng)價(jià)、調(diào)節(jié)語(yǔ)勢(shì)、指示閱讀路徑等。在評(píng)價(jià)意義的表征機(jī)制中，激發(fā)(provoke) 是重要的手段之一，而在視覺圖像中，激發(fā)常常由概念隱喻實(shí)現(xiàn)(Economou 2009: 109) 。比如，潘艷艷(2011) 分析了一幅政治漫畫中的多模態(tài)隱喻: 長(zhǎng)城邊的龍開門把提公文包的男人放進(jìn)來(lái)了，卻把女神關(guān)在門外，龍臉上做出極為恐懼的表情。從多模態(tài)隱喻的視角看，龍隱射中國(guó)，女神隱射自由，提公文包的男人隱射經(jīng)濟(jì)，開門的行為隱射經(jīng)濟(jì)改革。在評(píng)價(jià)意義上，龍用表情表達(dá)出對(duì)自由女神的情感是恐懼，而作者通過(guò)漫畫想要激發(fā)的是讀者對(duì)中國(guó)和中國(guó)經(jīng)濟(jì)改革的消極評(píng)價(jià)，想要與西方對(duì)中國(guó)有負(fù)面印象的觀眾結(jié)盟(潘艷艷 2011) 。多模態(tài)隱喻與語(yǔ)言隱喻一樣，可以調(diào)節(jié)語(yǔ)勢(shì)，比如通過(guò)圖像的大小來(lái)表達(dá)評(píng)價(jià)程度的強(qiáng)弱。在閱讀路徑方面，陳樹坤(2014) 研究了由兩張圖片組合而成的圖像復(fù)合體，左側(cè)圖像中的人物駕船行駛的方向形成了向量(vector) ，引導(dǎo)讀者從其手看向右側(cè)的圖像，由此形成了閱讀路徑隱喻，使右側(cè)圖像成為評(píng)價(jià)的對(duì)象，而左側(cè)人物的微笑表情則表達(dá)了肯定的態(tài)度。
3.2.2 基于認(rèn)知評(píng)價(jià)的路徑
馮德正、亓玉杰(2014) 借鑒 Frijda(1986) 和 Lazarus(1991) 的認(rèn)知評(píng)價(jià)(cognitive appraisal) 理 論，通過(guò)觸發(fā)條件、內(nèi)心態(tài)度、行為表達(dá)三階段的態(tài)度圖式，考察多模態(tài)語(yǔ)篇中評(píng)價(jià)資源。此路徑旨在彌補(bǔ)馬丁評(píng)價(jià)系統(tǒng)認(rèn)知理?yè)?jù)不足、對(duì)情感等態(tài)度系統(tǒng)的分類不全面的問(wèn)題。他們基于誘發(fā)條件，將原評(píng)價(jià)系統(tǒng)的態(tài)度系統(tǒng)按事件結(jié)果、主體行為、事物特征進(jìn)行重新分類，進(jìn)一步明確了情感、判斷和鑒賞三者的關(guān)系。然后從態(tài)度誘發(fā)條件的多模態(tài)表征和態(tài)度意義的行為反應(yīng)體系兩方面建構(gòu)多模態(tài)表征框架。此態(tài)度評(píng)價(jià)框架在建立后，得到后續(xù)研究者的認(rèn)可和使用，在我們搜集的文獻(xiàn)中，此路徑約占所有研究的14.8% 。比如，毛現(xiàn)樁(2017) 利用此框架分析了春晚電視公益廣告，發(fā)現(xiàn)其誘發(fā)條件多為視覺資源，態(tài)度主要由語(yǔ)言和表情表征，評(píng)價(jià)意義經(jīng)歷從負(fù)面到正面的轉(zhuǎn)換過(guò)程，最終實(shí)現(xiàn)價(jià)值導(dǎo)向。認(rèn)知評(píng)價(jià)框架在系統(tǒng)功能語(yǔ)言學(xué)的評(píng)價(jià)理論和社會(huì)符號(hào)學(xué)理論的基礎(chǔ)上，借鑒了認(rèn)知心理學(xué)的研究成果，將語(yǔ)言模態(tài)和非語(yǔ)言模態(tài)納入統(tǒng)一的框架之中，便于實(shí)踐操作。但此框架主要針對(duì)態(tài)度系統(tǒng)，對(duì)介入和級(jí)差系統(tǒng)沒(méi)有涉及。
4. 多模態(tài)語(yǔ)篇評(píng)價(jià)研究中存在的問(wèn)題
4.1 理論方面的問(wèn)題
理論方面，目前國(guó)內(nèi)進(jìn)行多模態(tài)語(yǔ)篇的評(píng)價(jià)研究主要依據(jù)國(guó)外的理論模型，包括評(píng)價(jià)系統(tǒng)，視覺語(yǔ)法互動(dòng)框架、多模態(tài)隱喻理論、認(rèn)知評(píng)價(jià)模式、基于邏輯語(yǔ)義的模態(tài)間關(guān)系模式等。這些理論模型為評(píng)價(jià)研究提供了參考和借鑒，對(duì)于個(gè)案分析有較大的應(yīng)用價(jià)值。但是，這些模型大多并非為多模態(tài)語(yǔ)篇的評(píng)價(jià)分析量身打造。因此，國(guó)內(nèi)研究者有必要針對(duì)其局限性加以發(fā)展和改善。以下我們將從框架構(gòu)建、模態(tài)表征和模態(tài)間關(guān)系三個(gè)方面，對(duì)目前研究中的一些問(wèn)題加以討論。
在多模態(tài)語(yǔ)篇的評(píng)價(jià)框架構(gòu)建方面，目前研究者對(duì)問(wèn)題的處理方式主要有三種: 一是將語(yǔ)言評(píng)價(jià)意義系統(tǒng)直接作為多模態(tài)語(yǔ)篇評(píng)價(jià)分析框架，結(jié)合視覺語(yǔ)法等來(lái)分析這些評(píng)價(jià)意義的多模態(tài)表征。二是將語(yǔ)言評(píng)價(jià)框架和視覺互動(dòng)框架兼用，在分析時(shí)將語(yǔ)言和非語(yǔ)言分開，使用不同的框架分別進(jìn)行分析。三是借鑒認(rèn)知心理學(xué)理論，構(gòu)建認(rèn)知評(píng)價(jià)框架。第一種方式缺乏對(duì)語(yǔ)言系統(tǒng)和其他模態(tài)系統(tǒng)的可供性差異的考慮，導(dǎo)致分析不夠全面系統(tǒng)，因?yàn)檎Z(yǔ)言的評(píng)價(jià)語(yǔ)義潛勢(shì)不一定都能由其他所有模態(tài)實(shí)現(xiàn)，而其他模態(tài)的評(píng)價(jià)意義也不一定都表現(xiàn)在語(yǔ)言的評(píng)價(jià)意義系統(tǒng)中，不建議使用這種方式。使用第二種方式的研究者很清楚，無(wú)論是語(yǔ)言評(píng)價(jià)框架還是視覺互動(dòng)框架，都無(wú)法單獨(dú)擔(dān)任多模態(tài)語(yǔ)篇的評(píng)價(jià)框架，所以選擇了兩者兼用。但語(yǔ)言評(píng)價(jià)系統(tǒng)和視覺互動(dòng)系統(tǒng)的分析范疇并不對(duì)等，兩個(gè)框架需要整合。互動(dòng)框架涵蓋了人際語(yǔ)義系統(tǒng)中的協(xié)商、評(píng)價(jià)和介入三大子系統(tǒng)，評(píng)價(jià)系統(tǒng)只是人際語(yǔ)義系統(tǒng)中的一種(Martin & White 2005: 35) 。研究者需要根據(jù)視覺、聽覺、空間等多種模態(tài)的特征對(duì)互動(dòng)系統(tǒng)中的評(píng)價(jià)子系統(tǒng)進(jìn)行發(fā)展，并詳細(xì)討論模態(tài)間關(guān)系，最好能構(gòu)建涵蓋多種模態(tài)的統(tǒng)一框架。第三種方式為目前的多模態(tài)評(píng)價(jià)研究提供了認(rèn)知視角，構(gòu)建的態(tài)度評(píng)價(jià)框架得到了后續(xù)研究者的應(yīng)用。但它只構(gòu)建了態(tài)度框架，對(duì)介入和級(jí)差沒(méi)有觸及，需要學(xué)者將其進(jìn)一步發(fā)展完善。
在評(píng)價(jià)意義的模態(tài)表征方面，目前有些研究基于社會(huì)符號(hào)學(xué)，尤其是視覺語(yǔ)法理論，探索圖像如何實(shí)現(xiàn)評(píng)價(jià)意義，另一些基于多模態(tài)隱喻理論，探討符號(hào)資源如何隱性地表達(dá)態(tài)度，激發(fā)讀者的評(píng)價(jià)。值得注意的是，在意義的模態(tài)表征上，社會(huì)符號(hào)學(xué)路徑和概念隱喻路徑并不能完全分離，社會(huì)符號(hào)學(xué)視角可以為概念隱喻提供闡釋功能，而概念隱喻可以為社會(huì)符號(hào)學(xué)提供認(rèn)知理?yè)?jù)(張德祿、郭恩華 2013) 。如果將兩者結(jié)合起來(lái)使用，將更有利于進(jìn)行多模態(tài)語(yǔ)篇的評(píng)價(jià)研究。除此之外，目前在語(yǔ)言和視覺圖像的表征分析方面取得了長(zhǎng)足的發(fā)展，但在語(yǔ)音特征、音樂(lè)、空間等其他符號(hào)形式的評(píng)價(jià)意義探索方面非常欠缺，即便是在語(yǔ)言評(píng)價(jià)分析上，對(duì)口語(yǔ)語(yǔ)音特征的關(guān)注也非常缺乏，值得研究者做進(jìn)一步的系統(tǒng)分析。
在模態(tài)間關(guān)系的研究方面，目前的多模態(tài)評(píng)價(jià)研究主要借鑒國(guó)外的分析框架，從邏輯語(yǔ)義、銜 接、互文等方面進(jìn)行分析，對(duì)探索多種模態(tài)如何共同實(shí)現(xiàn)評(píng)價(jià)語(yǔ)義有一定的幫助，但也有一些問(wèn)題。首先，目前的研究沒(méi)有系統(tǒng)地分析各模態(tài)如何在人際方面進(jìn)行協(xié)同，大多著重于概念意義的銜接和 強(qiáng) 化，可以借鑒 Royce (1998 ) 提 出 的 圖文人際關(guān)系框架，從模態(tài)之間的語(yǔ)氣強(qiáng)化(reinforcement of address) 、態(tài)度一致性 (attitudinal congruence ) 和態(tài)度不協(xié)調(diào) 性 (attitudinal dissonance) 三個(gè)維度對(duì)多模態(tài)語(yǔ)篇進(jìn)行分析。其次，目前的研究大多關(guān)注模態(tài)意義的協(xié)同，但根據(jù)會(huì)話分析理論，多模態(tài)協(xié)同包括模態(tài)、時(shí)間和空間三個(gè)方面(靳晟 2017) ，建議在模態(tài)關(guān)系分析時(shí)增加時(shí)間和空間維度。
4.2 語(yǔ)境方面的問(wèn)題
張德祿(2018) 指出，從語(yǔ)言單模態(tài)語(yǔ)篇到多模態(tài)語(yǔ)篇，語(yǔ)境層面發(fā)生了不可忽視的變化，即語(yǔ)言語(yǔ)境內(nèi)容層的物質(zhì)語(yǔ)境因素轉(zhuǎn)化為多模態(tài)語(yǔ)境表達(dá)層的物理生理語(yǔ)境因素。在表達(dá)層上，目前的研究都意識(shí)到了話語(yǔ)意義由多種模態(tài)共同實(shí)現(xiàn)，但模態(tài)的分工其實(shí)在語(yǔ)境和語(yǔ)類層面就開始了(Halliday ＆ Matthiessen 2014) ，而目前很少有研究分析各種符號(hào)系統(tǒng)在情境中各起什么作用。對(duì)語(yǔ)境層面的忽視導(dǎo)致了以下幾個(gè)問(wèn)題:
首先，文化語(yǔ)境方面的問(wèn)題。廣泛借鑒國(guó)外心理學(xué)和符號(hào)學(xué)領(lǐng)域的經(jīng)典成果對(duì)目前的多模態(tài)評(píng)價(jià)很有幫助，但分析過(guò)程中需要注意國(guó)外成果的本土化和適用性問(wèn)題。如果沒(méi)有考慮文化的差異就直接拿來(lái)解讀國(guó)內(nèi)語(yǔ)篇的符號(hào)意義容易造成誤讀。從語(yǔ)類層面來(lái)說(shuō)，從行為潛勢(shì)到意義潛勢(shì)的過(guò)程充滿了不同模態(tài)的整合與貢獻(xiàn)，這也是目前研究需要注意的。
其次，情景語(yǔ)境方面的問(wèn)題。目前有些評(píng)價(jià)研究分析了多模態(tài)語(yǔ)篇的評(píng)價(jià)意義是什么，卻沒(méi)有進(jìn)一步研究為什么是這樣，以及和以往的社會(huì)活動(dòng)有什么關(guān)聯(lián)。我們需要關(guān)注過(guò)去和現(xiàn)在的社會(huì)活動(dòng)與當(dāng)前語(yǔ)篇的關(guān)系，將其作為語(yǔ)篇產(chǎn)生的動(dòng)因和語(yǔ)篇解讀的基礎(chǔ)。此外，我們還應(yīng)注意的是，從單模態(tài)語(yǔ)篇到多模態(tài)語(yǔ)篇，情景語(yǔ)境中的話語(yǔ)方式發(fā)生的變化。
第三，模態(tài)分析與語(yǔ)境層聯(lián)系的問(wèn)題。目前的研究在闡釋符號(hào)的評(píng)價(jià)意義時(shí)分析詳細(xì)到位， 但沒(méi)有上升到模態(tài)的可供性層面。也就是說(shuō)，沒(méi)有上升到語(yǔ)境層面來(lái)解釋為什么使用這種模態(tài)而不是另一種。而對(duì)于符號(hào)可供性的研究能為符號(hào)的使用與解讀提供更有效的指導(dǎo)。比如，符號(hào)使用者使用了一個(gè)微笑的表情，我們僅僅點(diǎn)明這個(gè)微笑的表情表達(dá)的是快樂(lè)的情感是不夠的，因?yàn)檎Z(yǔ)言和表情都是可以表達(dá)這種情感的，為什么就選擇了表情而不是語(yǔ)言呢? 要解釋這個(gè)問(wèn)題，就需要上升到語(yǔ)境層面，在符號(hào)的可供性上進(jìn)行分析。語(yǔ)言和表情的可供性是不同的，在感染觀眾和引起共鳴方面的作用是大相徑庭的，語(yǔ)言中諸如“快樂(lè)”這樣的詞匯間接而抽象，但“微笑”的表情卻是直接而具象的。
最后，語(yǔ)篇解讀時(shí)的語(yǔ)境時(shí)間空間性問(wèn)題。從時(shí)間空間性上來(lái)看，語(yǔ)境可以分為現(xiàn)場(chǎng)語(yǔ)境和移位語(yǔ)境。前者是指語(yǔ)篇的生產(chǎn)和接收是在現(xiàn)場(chǎng)現(xiàn)時(shí)進(jìn)行的，如課堂教學(xué)語(yǔ)篇。后者指語(yǔ)篇的生產(chǎn)和接收不同步，如電視語(yǔ)篇，生產(chǎn)完成后一段時(shí)間才移至觀眾面前，觀眾并不了解生產(chǎn)時(shí)的語(yǔ)境是什么樣子。目前的評(píng)價(jià)分析很少考慮到這方面的因素。建議研究者區(qū)分現(xiàn)場(chǎng)語(yǔ)境和移位語(yǔ)境，因?yàn)楹笳呙撾x了語(yǔ)篇產(chǎn)生的環(huán)境，舍棄了原語(yǔ)境的部分內(nèi)容，會(huì)增加解讀的困難，也會(huì)降低解讀者對(duì)創(chuàng)作者意義的忠實(shí)性。
4.3 研究對(duì)象和方法的問(wèn)題
多模態(tài)話語(yǔ)分析的研究對(duì)象非常廣泛，幾乎囊括了人類所有交際媒介和符號(hào)形式，包括圖畫書與漫畫、課堂教學(xué)、電影、網(wǎng)絡(luò)媒體、舞臺(tái)表演等(馮德正 2017) 。但是，目前國(guó)內(nèi)多模態(tài)語(yǔ)篇評(píng)價(jià)研究的對(duì)象主要是傳媒語(yǔ)篇，對(duì)三維空間和課堂教學(xué)、醫(yī)患話語(yǔ)、日常會(huì)話等自然交際類的語(yǔ)篇研究很少。另外，雖然目前評(píng)價(jià)分析從語(yǔ)言模態(tài)擴(kuò)展到了圖文等多模態(tài)，但對(duì)聽覺模態(tài)的研究還很欠缺，對(duì)于口語(yǔ)語(yǔ)音特征和音樂(lè)等的評(píng)價(jià)分析非常少。
研究方法方面，目前國(guó)內(nèi)大部分的研究為個(gè)案分析。此類研究對(duì)某個(gè)廣告或電影等進(jìn)行語(yǔ)言和非語(yǔ)言模態(tài)的描述，闡釋其評(píng)價(jià)意義，對(duì)研究對(duì)象的理解比較深入，但普適性不高。只有對(duì)大量的同類語(yǔ)篇進(jìn)行定量分析，才能總結(jié)出特定的語(yǔ)類特征，歸納出有意義的評(píng)價(jià)模式，進(jìn)一步反哺理論框架(潘艷艷、李戰(zhàn)子 2017) 。分析視角上，目前多集中于社會(huì)符號(hào)學(xué)和多模態(tài)隱喻視角，多模態(tài)話語(yǔ)分析的其他路徑如會(huì)話分析、多模態(tài)民族志、地理符號(hào)學(xué)、多模態(tài)語(yǔ)料庫(kù)和多模態(tài)感知等( 潘艷艷、李戰(zhàn)子 2017) 基本還沒(méi)有在評(píng)價(jià)分析中使用，說(shuō)明未來(lái)在研究方法上還有很大的創(chuàng)新空間。
5.展望
目前的研究基本是直接借用國(guó)外的語(yǔ)言評(píng)價(jià)模型，或者將語(yǔ)言評(píng)價(jià)模型和多模態(tài)話語(yǔ)分析模型組合使用，理論創(chuàng)新性不足，在一定程度上阻礙了多模態(tài)語(yǔ)篇評(píng)價(jià)分析的繁榮發(fā)展。解決這個(gè)問(wèn)題，首先要構(gòu)建合適多模態(tài)語(yǔ)篇評(píng)價(jià)的理論框架，不僅要考慮語(yǔ)言、視覺、聽覺、空間等多模態(tài)評(píng)價(jià)表征資源，更要考慮合理解釋模態(tài)間的關(guān)系，考慮多種模態(tài)如何相互聯(lián)系，如何實(shí)現(xiàn)評(píng)價(jià)意義，達(dá)到交際目的。
多模態(tài)研究本身是一個(gè)交叉學(xué)科的領(lǐng)域，未來(lái)在多模態(tài)評(píng)價(jià)研究中，不僅要增加語(yǔ)言學(xué)流派如系統(tǒng)功能語(yǔ)言學(xué)、認(rèn)知語(yǔ)言學(xué)、語(yǔ)料庫(kù)語(yǔ)言學(xué)、語(yǔ)用學(xué)、修辭學(xué)之間的融合，還要將語(yǔ)言學(xué)與心理學(xué)、傳播學(xué)、教育學(xué)、藝術(shù)學(xué)、社會(huì)學(xué)等相結(jié)合，實(shí)現(xiàn)互補(bǔ)，促進(jìn)多模態(tài)評(píng)價(jià)領(lǐng)域的跨學(xué)科發(fā)展。可喜的是，目前已經(jīng)有學(xué)者將系統(tǒng)功能語(yǔ)言學(xué)和認(rèn)知語(yǔ)言學(xué)相結(jié)合，也有語(yǔ)言學(xué)和心理學(xué)相融合的研究成果出現(xiàn)。未來(lái)，學(xué)科融合的進(jìn)一步發(fā)展，不僅需要語(yǔ)言學(xué)者學(xué)習(xí)和利用其他學(xué)科的知識(shí)，更需要與其他學(xué)科的研究人員進(jìn)行跨界合作，發(fā)揮各自的專長(zhǎng)，推動(dòng)本領(lǐng)域的繁榮與進(jìn)步。
最后，人工智能和大數(shù)據(jù)技術(shù)將推動(dòng)多模態(tài)語(yǔ)篇評(píng)價(jià)研究的發(fā)展，促進(jìn)多模態(tài)語(yǔ)料的定量分析。傳統(tǒng)上多模態(tài)分析軟件如 ELAN 等需要依靠研究者先對(duì)語(yǔ)音進(jìn)行文字轉(zhuǎn)錄，再對(duì)非語(yǔ)言模態(tài)進(jìn)行手工標(biāo)注，最后再進(jìn)行評(píng)價(jià)分析，非常耗時(shí)耗力，這也是阻礙多模態(tài)語(yǔ)篇量化分析的重要原因之一。近年來(lái)語(yǔ)音識(shí)別技術(shù)快速發(fā)展，加上大數(shù)據(jù)的加持，語(yǔ)音的自動(dòng)轉(zhuǎn)寫效率和正確率都已經(jīng)非常可觀。另外，人工智能的發(fā)展使計(jì)算機(jī)的圖像識(shí)別能力大大提高，可以對(duì)人類的表情圖像進(jìn)行深度學(xué)習(xí)，目前已經(jīng)有軟件可以做到基本表情的自動(dòng)識(shí)別，此類軟件普及之后將大大提高多模態(tài)語(yǔ)篇的分析效率。
作者簡(jiǎn)介：
聯(lián)系客服
