第二节
与视听媒介语言关联的语言符号元素

▲视听媒介语言的“声音”与“声景”元素

影像的外部关联符号

影像的内在性本体语言，即被表达对象本体所能表现、表达的内容，这里不一一细述，我们重点探讨影像的外部关联符号，即影像的标题、文字说明、解说和声音等多个方面。影像的声音、文字解说、配音、对白、音乐和音响属于听觉的叙事言语，也属于外部关联语言，与影像中内在主体的无声语言（内部语言）和有声语言以及视觉语言相融合，共同形成了影像的言语叙事。

陈海璐的实验动画《对话》（图3-6）创作于2008年。陈海璐在上海美术电影制片厂从事传统动画片制作十余年，她的作品多以动画或者动画与实拍来表现，作品利用软件PAINTER在绘图板上完成，借鉴了国画大家韩羽先生诙谐精练的京剧戏曲造型，采用中国传统水墨动画的风格，配以经典传统古曲《广陵散》的片段，演绎了一幅中国人心目中耳熟能详的传统戏剧人物与现代人物超越空间进行对话的画面，这也是中国古代传统思想和现代文化之间的对话。该媒介作品中两种语言起到了重要的叙事作用，一是声音语言，另一种是声景语言的运用。这两点表现得极为突出，声音是借用《广陵散》，声景则是借用中国山水绘画的意境营造的声音画面空间。同时在视听媒介中还运用电脑CG语言的表达方式。陈海璐的创新是在传统影像基础上的一种创新，把视听媒介语言的构成元素用新用活。

影像从来都不是“无声”的。语言与影像的关系一直是哲学家和语言学家所关注的问题，在视听媒介与视听影像尚未出现之前的中国古代，就有“左图右史”的说法[1]，表明图像声音语言的重视觉特性。当代的视听媒介，影像中既有听不见的叙事符号，还有听得见的“声”与“音”，以及看得见的“声景”元素（本书后文有专项论述）。

2018年1月 22日，央视纪录片《创新中国》首次用人工合成技术配音引人关注，是科大讯飞公司对已故播音员李易的语音样本进行整合后应用的，效果与真人无异，同时该公司已推出多项视听媒介影像的配音翻译等工作。

哲学家路德维希·维特根斯坦曾阐述过声音言语与影像的关联，认为“思想、语言是世界的一种独特关联物”。动态影像中，默片虽然“无声”，但影像的手势和动作仍起到重要的叙事作用[2]。同时，观看者感知影片时，已将影像的内在叙事语言与外在影像的动作和手势言语融合，共同感知视听影像。观看者的观赏阅读并不是一个简单的过程，既要解码阅读影像的内部无声语言，并将其转换成阅读者自身的视听语言，同时又要解码相关的外部语言，即有声语言，并结合思维进行类比、联系和判断，最终感知影像的意义内涵。从语言学角度看，影像的“内部语言”虽具有文学符号元素，但并不是一种真正的“文字语言”，需要直接感性的视听思维过程，这时“外在”的有声语言就更有助于我们理解影像的叙事言语。视听媒介语言是“将某个已经机制化了的语言成品转换为一个视听成品”。

文字语言的根本元素是词语，视听媒介语言的根本元素是形象，其思维逻辑过程不同。视听媒介语言虽具有一定的文字思维逻辑，但其感性直接的影像逻辑思维是文字语言所不具备的。

▲视听媒介语言的“文字”与“字幕”元素

视听影像中的字幕或文字是借鉴于早期电影默片的做法，此前德国表现主义的很多电影并没有字幕[3]。时至今日，影像上加字幕或加上标题的做法已成视听媒介语言表达的一种惯例。给影像加上一个简洁的标题，可以起到提醒或总结影像意义的作用。当代影像作品或艺术作品，在视听影像画面中总会有一个标题，无论其目的为何，其实是视听媒介语言的一种表现方式与构成元素。

▲视听媒介语言的本文与文本

“文本”与“本文”概念的本质区别

该区别有点过于学术，两者指涉不同但常混用，有着严格的内涵与外延区分[4]。英语对等词为Text，在英语中Text有三个重要来源：一是拉丁语动词Textere（即“编织”）的名词隐喻用法，有“编织的图案”之意；二是法语名词Texte，意指“任何书写的东西”；三是后期拉丁语Textus，意为“由文字书写的文体或文章结构”。从汉语词源上讲，“文”即“纹理”，甲骨文为“纵横交错之形”，《说文》：“文，错画也。”即“纹”或“任何编织的花纹”。而“本”，《说文》中：“木下曰本。”即“草木之根”之意。“文本”为现代汉语词语，学术内涵为“由文字书写的、具有连贯意义的、自在性的客体”；“本文”则主要指“此文”，没有“文本”定义中所具有的“连贯与自在”之意。

综上所述，从文艺理论角度看，本文的概念有三层意思：一是狭义，指语言学中大于词组的语言组合体，也叫话语；二是广义，指非语言类艺术表意手段的组织结构；三是“本文”不同于英文的“Text（文本）”。本文中的“文”有着事物表象、“本体之文”的意思，不全等于对象以及对象本身在观察者眼中呈现出来的式样和图形。文本的概念，有以下三方面：一是指将这些被观察到的式样与图形记下和发表的文章、著述；二是文本是我们走向本文的一种工具、一座桥梁；三是现实对象是难以被人为认知的，在对象与文本（文章、著述）之间，本文充当了“天人对话”（人与自然、人与世界）的中介。

视听媒介影像的本文与文本区别

视听媒介影像本文指的是以研究影像语言的组织结构为对象，是一个综合性的理论概念，从历代研究者的论述看，主要有三个特点：声画结合的表意系统；独特的代码（有别于诗歌、音乐）；提供原初场景的环境条件。视听媒介文本或影像文本，是指研究摄影或影像的著述与文章。两者是两个完全不同的范畴。视听媒介影像文本则是指研究影像综合表意体的理论著述与文章，即影像的视觉符号构成元素的理论研究著述。

影像的“本文”元素：对白和声音

对白与声音作为本文元素最初出现在影像呈现环节，即屏幕消费环节。影像创意者为了更好地呈现影像，用多媒体呈现影像时，加入音乐或自己编写的文字解说，并在静态影像中加入动态影像作为中间呈现过程，初期引发了无数争执和歧见。网络普及之后，人们才开始隐约感觉到影像呈现的视听结合意义，本文与影像的关系有了一种完全不同的含义，相继把文字说明、标题与影像结合起来表意，即将原本的观看与可听的环境声音或解说或文字说明并列起来，共同表达意义，开创了“影像/文字”“影像/声音”“影像/标题”等呈现方式，观看者也获得了一种新的解码阅读方式。从历史角度看，这其实是电影蒙太奇手法的借用“挪移”，并拓展到了影像领域，为视听媒介语言的构成元素增加了新的表意叙事元素。

当然，好的影像作品或许并不需要这些关联元素，重要的不是视听媒介语言构成元素的数量，而是影像本文研究结论与影像文本品质。

【实训与练习】

1.以视频案例说明“本文”与“文本”对视频媒介语言的意义与作用。

2.用“春秋笔法”“视觉完形”“镜像视觉”三种影像表意手法拍摄同一对象，剪辑制作成短视频，分析这三种手法的差异与作用。

3.在自然环境（如森林）或生活场景（如教室）中，用手机拍一段短视频，用声音表现影像的“声景”，研究短视频用声音去营造场景，进而表达环境与文化背景。

4.从互联网上找 4—8 张一组的图片故事，剪辑制作成 30秒的短视频，对照原照片文字说明，从视听媒介语言的角度分析影像语义的变化。

5.把一张经典纪实照片配上不同的音乐（不用旁白与对白），制作成 15秒的短视频，分析“声景”与影像的关系，并思考如何将纪实照片变成一种虚幻的影像表达。

[1] 樊强，语言学视阈下言语行为的影像建构研究[J]，西安外国语大学学报，2018年4期，P26。

[2] 周宪，视觉文化的三个问题[J]，求是学刊，2005-05-15。

[3] 如《铁路》《街道》《圣西尔维斯特之夜》《影子与夜的幻觉》《最卑贱的人》《托尔古斯》《瓦妮娜》《杂耍场》《蜡人馆》等电影并没有字幕，即使如《尼伯龙根》《灰屋子记事》《浮士德》等著名电影也只有很少的字幕。即便有字幕也很少做出解释，更多的是进行暗示或营造诗意。

[4] 本条注释引自徐新建《“本文”与“文本”之关系——人类学的研究范式问题》。主要观点有，英法中的Text，中国批评理论界在翻译时曾关注“对等”问题。在20世纪80年代译介西方批评理论过程中，学界曾强调在解构主义之后的理论语境中必使用“本文”一词，原因是这个词在西方形式主义、新批评、结构主义语境中已经成为一个具有特殊学术含义的词语。20世纪9O年代至今，无论是在文学理论界、批评理论界，还是在语言学界与翻译界，“文本”与“本文”两词的使用一直呈现比较混乱的局面，没有统一准确的使用标准：在语言学界，“文本”与“本文”两词很少有批评理论中所强调的语义内涵，而前者则更多地与“话语”“语篇”“篇章”相近或互用。Text一词在中国学界的学术翻译具有两个特点：1.在最初译介西方理论时，中国学者强调Text在新理论语境中的对等意义，但随着时间的推移，深受西方“同词异意”之影响，逐渐不加区别；2.外文专业的外国文学及批评理论学者倾向于在学术翻译和使用中的“异化”，而中文与哲学专业的学者则倾向于“归化”。但是，无论使用者是否理解Text一词的“历史性”，当代不同理论话语中的Text的确具有不同的学术意义。巴特把文本分为“可读性文本”与“可写性文本”：前者意指具有稳定、封闭、自足意义的文本，后者则是一种阐释开放的话语文本。按此意，Text就成为一个脱离结构控制的书写客体，向读者、社会、文化等完全裸露，可任由阐释者欣赏、玩味、挪用、颠覆。近 30年来，Text的外延无限膨胀。所指拓展到诸如绘画、雕塑、日常行为、衣着装扮、风景空间等所有领域。结果是：文学浓缩或落魄为文本，文本被稀释为文化，文化变形为“快乐的文本”。阐释变成在“叛逆的快感”中进行无穷无尽的文本互证（互文性）。