基于语类的多模态报纸语篇分析模式

摘要

多模态和多模态话语或文本已成为现代生活的一部分。作为大众传媒重要形式的报纸语篇也经历了一个转变从语言为主、图片充当装饰性插图的文本转变为图片文字共同构建的多模态语篇。新闻语篇中表达方式的变化要求我们创建新的理论，描述和解释这些多模态新闻语篇中的变化及由文本与图片带来的意义增值。
　　在本文中，多模态报纸语篇指的是印刷报纸上由图片和书面语言（文字文本）组成的新闻报道和评论。它们是由图片和书面语言构成的视觉多模态语篇的重要组成部分。图片在本文中是广义的用法，包括照片和地图、图表、漫画等艺术作品。
　　我们认为，多模态报纸语篇既是视觉实体，又是解读实体。在此基础上，我们尝试建立一个以语类为基础的分析模式。这一分析模式可以系统地将多模态文本分解为可供分析的成分，可以独立地分析的图片与文字文本各自不同的意义潜势，同时，也能描述这些成分构成语篇的连贯机制。在此分析模式中，我们从三个层次描写和分析多模态报纸语篇的组成特征:基础层描写书面语言和图片两种符号的内部关联，结构层与修辞层描写两种符号间的关联。基础层识别多模态语篇的组成成分，即单位群，以便描写和分析两种符号系统不同的表述系统和意义潜势。结构层描写单位群的空间安排及整个语篇的空间结构。语篇的空间结构反映各单位群在语篇中的地位和重要性，是多模态报纸语篇作为视觉实体的重要特征。修辞层呈现多模态语篇的组成成分之间的修辞关系，即单位群之间如何构成连贯的整体。
　　不过，这三个层面呈现出的特点无法从多模态语篇内部进行解释。它们受到更广泛，更全球性决定的影响和制约。因此，我们将语类这一概念投射到多模态语篇，从语类的角度解释多模态的内部特征。我们建议，多模态语类的界定要考虑两个方面:1）考虑语篇产生及消费的技术条件，2）考虑语篇的交际目标等内部特征。从第一个方面出发，我们可区分印刷语类，网络语类和手机语类。要使印刷报纸语类分类更精细，则要考虑第二个方面，即语篇的语类目标和文字与图片的结构特征等语篇内部特征。结合语篇的语类目标和结构特征，多模态报纸语篇可分为图片为核心的新闻报道，图文互补的新闻报道，图片为核心的新闻评论和图文互补的新闻评论。
　　为了进一步说明语类与多模态报纸语篇之间的关系，我们选择了3篇有关政治事件的多模态评论语篇与3篇同样话题的多模态报道语篇进行对比分析。分析表明，多模态报纸语篇呈现以下规律:1）在基础层，印刷字体及大小等版面设计、图片类型及单位群等呈现规律性的选择。2）在结构层，区域模型分析表明，多模态报纸语篇有两种常见的空间结构—图片为核心的结构及图片-文本互补的结构。3）在修辞层，单位群通常以语篇标题为核心，通过逻辑语义关系组成连贯的语篇。不过，分析的两类报纸语篇之间存在较大的差异:1）就图片类型而言，多模态报道语篇选择照片，而评论语篇则选择漫画（之前，本文作者对50篇多模态新闻报道和50篇新闻评论的图片选择进行了对比分析，该分析结果与目前的分析一致，因此，使本发现更可信）。这两种图片在人际功能的体现形式上差异性显著:照片有彩色的，也有黑白的;但彩色照片中没有夸张地运用色彩饱和度，区分度及色调，照片既未缩减也未夸大参与者与背景等的细节，从而使呈现的事件更具体;而漫画则全是黑白的，且通过绘画技巧着重突出参与者某些特征，简化各种细节，从而使呈现的事件更具一般性特征。2）及物性分析表明，报道语篇与评论语篇的文字文本在过程的选择方面也不尽相同—新闻报道中，物质过程使用频率最高，其次是言语过程，项目演讲，而在评论语篇的文字文本，尽管物质过程仍然是最常用的类型，相比较而言，出现频率低于在新闻报道语篇中的频率，而排在第二的是关系过程，而非言语过程。3）报道语篇与评论语篇的文字文本在体现人际意义的语气结构和情态方面也存在显著差异:报道语篇全文选择陈述语气，评论语篇则兼有陈述语气和疑问语气;报道语篇最常用的第一时态是过去时，而评论语篇则选择现在时;报道语篇很少使用情态动词、情态副词等情态标识语，而评论语篇较常出现4）评论语篇中使用第一人称单数代词指代描述作者个人经历或观点，且常使用条件从句对事件进行假设和预测。这样的选择在新闻报道语篇中尚未发现。
　　研究发现，语类制约着多模态新闻报道和新闻评论在基础层、结构层及修辞层的选择。同一时期的报纸语篇生产的技术相同，印刷的材质也相同，这决定了报纸版面的文字印刷、图片呈现及语篇结构安排的选择。印刷、图片呈现方式和布局的选择可反映报纸的整体特征和目标:严肃的字体，黑字白底的选择，不使用炫目的色彩，选择方形的栏目结构布局—这些特点体现严肃报纸呈现信息的严肃态度，也可提高其报道和评论的可信度。多模态报纸语篇的修辞关系体现了语篇结构布局的合理性，即重要的单位群（如标题，图片，文字正文）处于显要的位置，占较大的篇幅，能很好地吸引读者的关注。此外，多模态报纸语篇各单位群之间通过语义扩展彼此相连，构成连贯的整体，这是因为整体的报纸语篇直接体现对世界的认知和经验，而不是通过表述间接呈现经验和认知。报纸语类的次语类则制约语篇单位群及各自体现形式的选择。照片使用标准的色彩饱和度及区分度呈现现实世界的真实场景，其背景得以细致地呈现，突出照片中呈现的事件是某个具体语境下的真实写照，因此更显客观。而漫画则强调突出对象的某些特征，背景往往被忽视，呈现的不是某个具体语境下的事件，而是创作者对事件理解后的总结的一般情况，因此，能让读者关注漫画作者所要表达的态度，也更显主观。这两类语篇的文字文本的人际意义的实现也有很大的不同:新闻报道选择陈述语气，第一时态主要为过去时和很少使用情态标识语，而新闻评论选择陈述和疑问语气，第一时态主要为现在时，高频率选择情态表示语，常出现第一人称单数代词和假设条件句。这些特点说明新闻报道的文字文本注重事实的报道，而新闻评论则强调对事件的判断、推断及态度。总的说来，照片体现互动关系的具体形式使其比漫画更具客观性，新闻报道中的文字文本（标题，副标题，正文）在人际意义的体现形式也使其更具客观性，照片和文字文本共同实现报道语篇的语类目标—客观地叙述发生的重大事件，而非呈现个人的推论或判断。而新闻评论中的漫画和文字文本则共同体现该语类的交际目的—清晰明确地呈现作者的观点和态度。
　　本研究的价值在于提出了一个综合分析模式，它不仅能充分和全面地描述多模态报纸语篇的特征，亦能分析多模态语类与语篇特征之间的关系—文字文本和图片如何互动，实现不同语类交际目的。通过三个层面的描写，此模式可以更有效地识别和解释多模态语篇的内部特征。此外，我们对多模态语类与语篇特征之间关系的研究拓展了语类与语篇相互预测性的研究，也拓展了对新闻语篇的研究。无疑，这项研究也有助于读者更好地解读多模态报纸语篇。我们希望，本分析模式可以适用于所有的视觉多模态语篇分析。

目录

Table of Contents

Acknowledgements

Abstract

摘要

Figures and Tables

Chapter 1 Introduction

1．1 Introduction

1．2 Elucidation of Key Notions

1．2．1 Mode，modality，multi-semiotic，and multimodality

1．2．2 Multimodal text1

1．2．3 Visual multimodal texts

1．2．4 Multimodal newspaper texts

1．2．5 Image

1．3 Descriptive Framework for multimodal Newspaper Texts

1．3．1 Genre and multimodal text analysis

1．3．2 Multimodal genre

1．3．3 Building a genre-based model

1．4 Structure of the thesis

1．5 Summary

Chapter 2 Multimodality in Newspaper Texts

2．1 Newspaper Texts as Communication

2．2 Technology and Multimodal Newspaper Texts

2．2．1 Printing press and printed newspaper

2．2．2 Photograph editing and the use of photographs

2．2．3 Technology and design innovation

2．2．4 Images as important meaning carriers in current newspapers

2．3 Studies on Multimodal Newspaper texts

2．3．1 Studies on multimodal news reports

2．3．2 Studies on multimodal opinions

2．3．3 Comparative studies on newspaper texts

2．4 Summary

Chapter 3 Studies on Visual Multimodal Texts

3．1 Multimodal Newspaper Texts as One Type of Visual Multimodal Texts

3．2 Perspectives on Visual Multimodal Texts

3．3 Visual Multimodal Text as an Object of Perception

3．4 Visual Multimodal Text as an Object of Interpretation

3．4．1 Studies on the meanings in image

3．4．2 Studies on image-text interaction

3．4．3 Studies on genre and multimodal documents

3．4．4 Studies on typography and visual layout

3．5 Summary

Chapter 4 Descriptive Layers of the Genre-based Model

4．1 Writing and Image as Two Modes with Perceptual Equity

4．2 Building the Genre-based Model

4．3 The Genre-based Model：the Base Layer

4．3．1 Representation systems：Typography and Graphics

4．3．2 Identifying base units

4．3．3 Labeling base units

4．3．4 Unit composites：grouping base units functionally

4．4 The Genre-based Model：the Layout Layer

4．4．1 Principle for newspaper layout

4．4．2 Area model：specifying location

4．4．3 Generalizing layout pattern

4．5 The Genre-based Model：the Rhetorical Layer

4．5．1 Meaning of rhetoric

4．5．2 Rhetorical relations

4．5．3 Rhetorical relations in Medvedev text

4．6 One More Exemplar Analysis

4．6．1 Features at the Base layer

4．6．2 Features at the Layout layer

4．6．3 Features at the Rhetorical layer

4．6．4 Summary of the features in Medvedev text and Putin article

4．7 Summary

Chapter 5 Genre and Multimodal News Texts

5．1 Linguistic Perspectives on Genre

5．1．1 Genre as social action

5．1．2 Genre as social semiotic

5．2 Multimodal Genre

5．2．1 Defining multimodal genre

5．2．2 Moving to Multimodal Genre

5．3．1 Moving to multimodal genre from linguistic approaches to genre

5．3．2 Moving to multimodal genre from studies on visual genre

5．2．3 Multimodal genre as foundation for comparison

5．3 Genres of Multimodal Newspaper Texts

5．3．1 Genres of verbal news texts

5．3．2 Op-Ed：a new genre of news texts

5．3．3 Identifying genres of multimodal newspaper texts

5．4 Generic interpretation of image-text complementary news stories and opinions

5．4．1 Generic interpretation of similar features—typography，graphics and layout revealing newspaper’s personality

5．4．2 Generic interpretation of feature differences--verbal text and image differentiating news story genre from opinion genre

5．4．3 Generic interpretation of Rhetorical features

5．5 Summary

Chapter 6 Conclusion

Appendix

Bibliography

声明