多模态话语分析研究综述

多模态话语分析研究综述

话语分析这一个研究方向最早是由美国语言学家Harris在20世纪50年代初提出来的，随后来自全国各地的话语分析家纷纷开始探索这一领域，同时也提出了各种各样的话语分析理论和研究方法。话语分析理论始终都是聚焦在语法规律和话语篇章结构上，包括语句之间的关系和话语中的存在社会价值取向，并对语言教育教学过程中的课程方案设计，课程规划提供了重要的理论基础和构建框架。通过大量的实证分析，分析了话语活动内在的规律性、话语活动与意识形态和认知模式之间的关系（朱永生2003）。但是，提出的研究方法和研究的理论，大部分都是以语言系统本身为研究对象，也就是仅仅注意到了语言系统和语义结构及其与社会文化和个体认知之间的关系，忽略了图像、声音、颜色等其他的一些形式也可以体现意义，这些都无法满足对话语意义的构建的分析，为了能够弥补这一缺陷，多模态话语分析理论应运而生。

1 多模态话语分析的理论基础

Kress&Van Leeuwen (1996)共同指出多模态指的是参与交际过程中的所有渠道和媒介，除了生活中所接触到的基本语言符号外，它还包括了颜色、图像、音乐、色彩饱和度等资源符号系统。多模态话语分析的主要理论背景是韩礼德提出的系统功能语言学，因此，前期基本上是系统功能语言学占领这一研究领域。同时，认知语言学也开始在这个领域有所涉猎。后来，在2013年，两者几乎并驾齐驱，同时也出现了利用其他理论来探讨多模态话语的使用情况。出现这种现象的原因是系统功能语言学的中心理论是关于意义的，包括人际意义、概念意和语篇意义。体现意义的不仅仅是语言符号资源，还有其他符号系统。在此语言背景下，Kress&Van Leeuwen在20世纪90年代中期第一次系统的提出了视觉语法概念。Kress&Van Leeuwen将图像看成是社会符号，把系统功能语法中的元功能扩展到了视觉模式中，确立了“再现意义”“互动意义”和“构图意义”的视觉图像分析理论，分别对应于韩礼德的概念意义，人际意义，语篇意义。视觉语法理论从图像，构图情态，颜色饱和度，亮度等视觉交流的各个方面来研究多模态活动，从而对图像进行比较全面而又系统的分析。

2 多模态话语研究成果综述

中国多模态话语分析于2003年开始（李战子，2003开始）。迄今为止，该研究已经历经十几年，发展之势如火如荼。2009年，第一部关于多模态话语分析研究的专着 《视觉环境下的多模态化与多模态话语研究》（韦秦红，2009）在中国出版。随后，多部多模态话语分析理论研究方面的专着也开始涌现，包括以理论研究为主的专着成果，例如高佑梅（2014）从认知语言学角度对多模态话语的研究，张德禄（2015）从系统功能语言学角度对多模态话语的研究；同时也包括以应用研究为主的专着成果，如张立新（2012）对幽默话语的研究，代树兰（2015）对电视访谈的研究分析。

2.1 调查数据

截止目前，在中国知网中以“多模态话语分析”为主题词搜索，可以找到关于该方向的研究论文是1 381篇。

表1 以“多模态话语分析”为主题的论文的统计数量表格

根据在中国知网上搜索到的文章篇数来看，在不同年份间呈现出不均衡分布状态。2009年仅仅只有18篇，核心期刊上有2篇，到了2014年达到211篇，迎来中国多模态话语分析成果的小爆发期。之后多模态话语分析文章总篇数虽增长缓慢甚至有所下降，但是在核心期刊上的文章却越来越多，说明多模态话语分析逐渐引起学者的重视，研究的也更加深入。此外，根据数据调查研究结果显示，这些发表的论文中包含对理论的探索和理论的应用。

2.2 理论研究

李战子开创了我国多模态话语分析理论研究的先河，他在《多模态话语的社会符号学分析》（2003）中介绍了Kress&Leeuwen所建构的视觉语法理论和图像的研究方法，这促进了我国对多模态话语分析的研。2009年，韦秦红出版了第一部多模态话语分析方向的专着《视觉环境下的多模态化与多模态话语研究》。其后，涌现出多部多模态话语分析理论研究方面的专着，例如以理论研究为主的成果，如高佑梅（2014）从认知语言学角度对多模态话语的研究。

2.3 应用研究

虽然我国从引进多模态话语分析理论到现在也不过是十多年时间，但发展趋势不容小觑，学者们也对多模态话语分析的研究意义和价值给予了很大的肯定和期望。李战子（2012）认为，我国对多模态话语的研究偏重的是在应用方面的研究，比如将“视觉语法”理论应用在特定语篇的分析，从而展示在多模态中是意义是怎样构建的。“视觉语法”是由Kress&Leeuwen提出的，这套理论可以帮助研究宣传海报，广告语篇等静态文本中的图文关系是如何共同作用参与意义的建构。

2.3.1 PPT和计算机网络语篇的图文关系多模态研究

胡壮麟，董佳（2007）以教学中的23个PPT作品为样本，进行了在计算机辅助作用下，并与多模态话语相融合的语篇分析，得出了课堂中的PPT既是一种教学辅助工具又是话语分析的语篇。韦琴红（2008）从系统功能语言学中的元功能角度来研究期刊中的一个多模态媒体话语语篇。

2.3.2 多模态教学的研究

在教育语境中介入意义的形势下，秦小怡（2008）对多模态话语语篇中的出现的图像和文字之间的表现形式进行了研究分析。朱永生（2008）分析了多模态话语对我国目前的教育教学改革的启发，多模态可以发挥它的优势。胡雯（2011）探讨了多模态话语分析在英语教学中的应用。

2.3.3 教材的研究

在学校教学中，可以通过选择和编写教材来体现出多模态话语的作用。在张德禄和张淑杰（2010）的文章中，提出了在编写带有多模态性质的外语教学课本中应该注意的基本原则和规范。陈瑜敏等学者（2008）针对不同时间阶段出现的多模态教材中的语篇结构进行研究，发现书本中的图文关系在不同的时期表现也有所不同。

3 研究存在的不足和发展趋势

3.1 以理论研究为主，实证研究不够多

仔细研究已经发表的关于多模态话语分析方向的论文可以发现，国内的很多研究者是在介绍相关理论或是一些研究的方法，还停留在初级阶段，能够自主创新的提出完整的多模态话语分析理论的文章很少见，而且实证研究也不多。另外对多模态话语的应用分析会因为主观感情色彩，知识储存背景，理解能力等的差异，出现仁者见仁，智者见智的情况，因而产生不同的分析结果。

3.2 多模态话语分析主要是静态文本为主，动态多模态话语为辅

在知网上搜索关于多模态话语分析的研究论文，我们可以发现对其的应用分析很多都是集中在由文字，图像，表格等构成的静态文本上，例如我们常见的宣传手册，影视作品海报等等。与之相比，对PPT，公益视频广告，外宣网站等动态多模态话语分析的研究却是少之又少，而且很少能够见到针对不同语篇进行批评性多模态语篇分析。

4 结语

现如今，我们所处的社会已经从过去的单一的模态形式到如今的多模态，我们过去所忽视的非语言符号资源如声音、图像、颜色和语言资源一起，共同作用来构建意义。虽然我国对于多模态话语分析的研究历史比较短暂，但却是一个值得我们研究的新领域，发展前景势必非常宽广。我国科技发展速度较快，这将为我们在多模态话语分析的研究思路、方法和研究路径上提供帮助，从而能够让话语分析以及语言学的研究步入新阶段。