学术论文投稿/征稿

欢迎您!请

登录 注册

手机学刊吧

学刊吧移动端二维码

微信关注

学刊吧微信公众号二维码
关于我们
首页 > 学术论文库 > 艺术论文 交互式语境下的昆曲视觉编码研究论文

交互式语境下的昆曲视觉编码研究论文

0

2024-04-22 10:41:49    来源:    作者:zhoudanni

摘要:昆曲是融合视听体验的中国传统戏剧艺术 。本文主 要研究昆曲中视觉系统的编码特征 , 关注从传统图像至 技术图像的时间维度中昆曲视觉内容的编码差异性 , 尤 其关注以媒介学家威廉·弗卢塞尔所提出的技术图像①理 论 , 以此探索昆曲视觉系统编码模式 。

  【摘  要】 本文 以 弗卢塞 尔的 “ 技术 图像 ”理论为基础 ,探讨 昆 曲视觉要素在 当代交互 式语境 中 的编码方 式 。 引 用 弗卢塞 尔所提 出的五级阶梯模型观 点 ,解码互联社会中交互式 图像生成的范 式 ,着重 关注 昆 曲视 觉创作 中 能够嵌套交互性的界 面层级 ,并将其分解为 空间性 、映射性、动态性、交互性四个特征要素 ,结 合数字互动昆舞《游园新梦》 中的创作实践手法完成论证分析。

  【关键词】 昆曲,交互,技术图像.,交互界面

  昆曲是融合视听体验的中国传统戏剧艺术 。本文主 要研究昆曲中视觉系统的编码特征 , 关注从传统图像至 技术图像的时间维度中昆曲视觉内容的编码差异性 , 尤 其关注以媒介学家威廉·弗卢塞尔所提出的技术图像①理 论 , 以此探索昆曲视觉系统编码模式 。本文通过分析视 觉系统 的编码 ,进而推导昆曲艺术的视觉形式转码 , 探 索昆曲在技术图像时代下的信息传递 , 以及发展的多样 性 。视觉符号的转码指向技术图像视觉的再创造及交互 式视觉 的生成 , 同时也指向当下及未来正在出现的表现 形式及新兴媒介 , 如: 生成式艺术 、生成式人工智能及脑机接口等多个维度。

  昆曲的传统视觉符号编码分析 , 本文以弗卢塞尔理 论中的传统图像作为参考系 , 即对应弗卢塞尔构建 的五 级 阶梯②前四个历史维度 ; 本文所探讨的视觉符号转码 则对应第五个维度 , 即无维的微粒空间阶段 。研究希望 通过现代媒介理论结合设计实践 , 寻找昆曲视觉表现 中实现转码的有效接口 , 实现传统艺术形式的赋能。

  一、昆曲的经典视觉

  ( 一)纹样视觉元素

  昆曲的视觉表现元素丰富 , 无论是角色的妆面 , 还是服饰纹样与图案 , 都呈现出古典美学的审美风格及造 型风韵 。传统纹样通常是平面化的 ,平铺于三维实体表 层 。 昆 曲 中 的生 、旦 、净 、丑角的妆面风格各异 , 投射 出不同角色的气质 。在传统图像的层级中 , 包含立体 的 雕塑造型 、二维平面化的图案 , 以及一维线性的叙事文本。 昆曲的传统图案元素位于此阶梯中。

image.png

  昆曲研究者王余璇在文献中对昆曲服饰 的 图案有所 列举 , 云纹 、水纹 、 回纹 、如意纹 、蝴蝶纹等都属于民 间吉祥 图案 。其 中 , 云纹属于自然气象纹 , 源于云气, 形态 自然 。③ 图案分别呈现两种编码模式 , 一是人工性 的纹样提炼 , 如抽象化的民间吉祥图案 ; 二是拟仿 自然 的 图案 。根据技术图像理论找到第一种一致性 , 即人类 在传统图像时期 , 尤其在经典的昆曲艺术中 , 所制作 的 平面二维纹样灵感素材来源于物理世界 。 同时 ,抽象形 态的西方洞穴岩画也指 向某种外部实体或自然现象 。可 以看出这是一种跨越地理因素的文化共同性 , 指 向人类共同的体验与认知。

  (二) 身体的视觉元素

  昆曲角色的体态造型 、行为韵律也是视觉系统 中 的 构成要素 。 昆 曲 中舞蹈 、武术的身体性表演 , 承担 了戏 曲中的动态视觉要素 , 构成演员在舞台中 的身体空 间, 并同静态的服饰纹样及妆面图案一 同构成观者的视觉体 验 。身体作为灵活的有机媒介 , 一方面为角色的服饰创 造身体的空间造型及动态 , 另一方面肢体运动携带叙事 信息 , 通过身体的律动及张力引发观者审美体验与心理 共鸣 。 除此之外 , 动态要素的编排及设计还考虑到唱腔 及伴奏的韵律与节奏 , 不同的乐器如曲笛和三弦 , 不 同的唱念语调 , 以及不同的声场环境均会为昆曲建立不同的听觉秩序 。音画关系将两者结合 , 构成编码系统 中两 个最为重要的环节 。 由此来看 , 昆曲视觉系统的编码在 受到自身各要素权重影响的同时 ,还受到外部系统诸如 听觉 、叙事 、环境等多要素的协同调节 。对于经典 的视 觉编码分析 , 应当关注其他感知媒介的特性与间接影 响 。而对于接下来要分析的技术性编码 , 则呈现更为复 杂 的交互关系 , 无论是视觉还是听觉 ,在技术化系统 中将呈现出新的现象。

  二、交互为昆曲视觉赋能

  ( 一) 昆曲与视觉技术编码

  技术阶段主要分析以弗卢塞尔所提出 的技术 图像语 境下的自动化阶段 。空 间 、社会及人类的定义被拓展延 伸 , 以摄影为代表的图像制作技术改变了传统图像意义 生成 的方式 。 昆曲将应对保护 、传承 、拓维 、传播等新的挑战。

  无论是视觉系统中的图案 、行为 、身体空 间 , 还是 听觉系统中念白的行腔与语速节奏 、器乐 的音律 、声环 境等 , 均需要主客体的感官在场 。经典的传播模式受 限 于传统界面 , 使之只能在特定的地点和时间中发生演绎 关系 。 当人类从机械自动化进入模拟时代 ,进而又快速 过渡到数字化的现代社会 , 技术图像预言的合理性被亮 起的像素颗粒所证明 , 由弗卢塞尔所构想的算力互联社 会 已悄然来临 。 当 图案 、 图像的生成不再受人的直觉观 察 、翻译 、描绘行为所支配 ,视觉的合成变为算法文本 的编排和逻辑 的游戏 ,视觉系统编码的复杂性由此开始出现 。经典的昆曲视觉系统中 , 纹样的设计及制作依托于经验及世界体验的认知 , 例如角色服饰中代表着权力 等级象征的龙纹及蟒纹④ ,  来源于人对于 自然及统治性 的崇拜 , 亦是一种思维投射 。在技术图像理论的历史阶 梯 中 , 这将归类为传统图像范畴 。但是传统图像与技术 图像间的界限是否可以打破? 或者说经典 的 昆 曲艺术, 在技术编码万物的语境下 , 如何实现转码 。作者认为这 并非一个视觉形式迁移的过程 , 尽管如今的技术媒介为 昆曲的发挥提供了 一个自由开放的环境 , 如: 合成场 景 、虚拟现实 、增强现实 、混合现实等交互界面 , 但是 媒介的技术性编码正变得愈发复杂 。倘若不能合理编排 这些技术合成背后的逻辑 , 尤其是技术图像所呈现出新 的互联性 、 自动性 、智能性 , 也就无法顺利实现 昆 曲视觉的技术转码 ,更无法实现创新中的逻辑自洽。

  视觉的数字合成可以经由算法驱动屏幕像素来生产 技术 图像 , 也可以通过信号控制光源产生交互式的灯光 照 明 。前者在交互影像中常见 , 后者则偏向于数字舞 台 美术 。但对于创意的探索 , 这种对应关系并非绝对 。这 里 , 人们可以观察昆曲中最具鲜活特色的 唱念做打⑤形 式 。技术的加入对动态视觉的体验增强 , 尤其是身体动 作表现力的赋能 , 效果是可观 的 。 由微软开发的运动体 感捕捉器可以通过摄像头实时捕捉人物体态 ,将身体 的 图像数据量化为骨骼坐标信息 。与此实现功 能相近 的, 由谷歌开源人工智能算法 , 通过计算机视觉库 , 实现光 学分析捕捉人体的骨骼动态 , 实现演员动作的实时分析 与交互 。对于演员角色的空间位移 , 使用激光雷达测距 , 如: 北阳电机及思岚科技等公司开发 的工业雷达,可以在创作中作为界面主体位置的捕捉工具 。 昆 曲 的数 字化项 目 中 , 使用综合性的传感器设备 ,将会为角色 的 身体表现力赋予更多动能 。观者的体验也将在技术赋能下获得更宽阔的感知维度。

  (二) 视觉技术类型分析

  前文谈到两件事 , 一是昆曲视觉中技术层的编码方 法 , 二是编码的工具 , 即当下如井喷式发展的各类交互 技术 、硬件设备 。下面要谈的便是对技术编码的类型解 析 。编码需要有规则 , 规则决定合成的方向 。例如在传 统 昆 曲表现 中 , 文化通过价值取向及故事线索来编码剧 本 , 合成昆曲的叙事 。叙事再经由角色的现场发挥 , 将 其剧本信息转译为表演现场的形式语言 。但是在技术 图 像语境下的编码则包含更加延展的内涵 , 主要将技术编 码视觉的类型分为三个方向: 生成式影像技术 、互动照明技术、身体量化与互动技术。

  对于通过技术手段合成的影像 ,如技术图像的编码, 其是通过计算机文本的循环计算完成的 , 这 是 一个进 程 , 而非终止态 。 因此 ,对于技术图像而言 , 实时性是主要特点 , 并且结束状态也可作为起始信息 , 被再次执 行 , 即任意时刻形式量化的数据亦可成为下一次迭代的输入变量 。技术图像如同绘画 , 同样具有画面构成及叙事性 , 而它却具备传统图像所缺少的能力,即动态可变的形式语言 。在昆曲的视觉系统中 , 无论是角色妆面形 式 ,还是服饰 图案 , 均以静态元素设计而成 。传统 图像 的编码方式决定静态视觉元素生成的不可逆性 。 昆曲的视觉符号定格在图案创作诞生的那一刻 。技术图像式的视觉跨越了这种局限性 。在新的技术性创作范式中 , 编 排者可以通过计算机着色语言⑥创建纹样 、 图案 、虚拟场景等交互式视觉景观。

  灯光是可以实现交互式照明的媒介 , 由算法或数据驱动 。在传统的昆曲演出环境中 , 灯光扮演打光与氛 围 营造 的角色 。如今 , 灯光交互成为一种更加独立的元素 出现于昆曲中 , 辅助以舞台美术的实现 。使用标准灯光 协议⑦驱动照 明设备 , 可以实现交互式灯光与其他表演数据的联动 ,为昆曲的表现力赋予更多样化的形式。

  身体量化技术开创了演员身体与舞台空间的接口。 自 20 世纪 70 年代开始的后人类主义及现代技术催生 的  超人类主义思潮涌动 , 身体和身份性的问题得到学者们  的关注 。无论是有机的湿性身体 , 还是芯片式机器心 智 , 身体的内涵和外延都在重写和定义 。不断创新 的生  物信号传感技术 , 如: 体感 、肌 电传感 、意念传感等方  式 , 拓宽了昆曲中身体性的表达方式 。在这个过程 中, 昆曲演员的表现空间被延展 。例如 , 角色可通过技术性  接 口 , 实现与观者思维 的互动 , 根据现场数据驱动表演  行为 , 或放大某种在常规舞台体验中不易被察觉捕捉的  信息文本 。 因此 , 借助于传感技术 , 身体 的形式语言也  在多种媒介手段的辅助下丰富起来 , 开辟出互联式的信息空间 ,但仍需技术的迭代和实践性验证。

  三、交互式昆曲界面的特性

  弗卢塞尔将人与世界的交互关系划分为五个空 间维 度 ,代表不同的界面 。人通过媒介在相应空间内获取经验 、转化知觉 、驱动行为 。按照技术 图像理论的架构,将传统的昆曲体验视为经典界面 , 则它应当是集合 四维 连续 、三维 的身体 、二维的服饰图案 , 以及一维 的行腔 及叙事于一体 。进入技术图像社会后 , 界面 的拓展性得 到增强 。 网络通信与虚拟合成技术的发展让昆曲表现场 域更加多样化 , 一方面体验行为可以发生于虚拟的介质 中 , 由技术图像营造虚幻的现场氛围 , 另一方面 , 现场 性的昆曲表演也可以通过数字赋能 , 实现视觉体验 的增 强 。界面的特性与昆曲视觉符号的关系值得推敲 , 笔者 的观点中 , 由技术图像所驱动的昆曲视觉界面呈现 出空间性、函数关系、连续与非线性、对话与反馈四种特性。

  ( 一) 昆曲界面的空间性与映射性

  空间是一种场域 , 昆曲是在场体验 的视 听艺术 , 承  载表演行为的场域是其形式语言传达的基础 。空 间 的概  念被当代技术所延展 , 尤其是技术图像理论的提出 , 为  解读抽象的粒子空间提供了方法指导 。 当下 , 空 间可 以  是一种实体界面 , 所有相互关联的角色所组成的交互式  场所 。 昆曲表演的场域即在这个坐标系统中 。空 间也可  以是从虚拟到实体的界面 , 如通过网络通信 、空 间计算  实现在数字媒介中参与真实空间的互动 。另一层面 的空  间则存在于抽象的逻辑世界中 。经由技术化媒介所合成  创造的虚拟坐标系统 ,虚拟性、可编辑性、实时计算性、可改写等性质 ,是这个空间坐标系的特点。

  由规则组合出的输入输出系统具备相应的映射性, 可以描述为由主体和客体建立的函数关系 。操纵 函数者 向其提供指定参数 , 系统则会自行运算并给予反馈结 果 。这个过程类似于计算机中的函数 , 通过编写与封装 功能语句 , 为开发者提供模块式的功能集合 。 昆 曲 的视觉界面在传统语境中也存在这种关系 , 如服饰 图案所呈现的信息是角色身份的投射 。前文所提及的蟒纹与龙纹  象征皇室权力 , 这是一种文化编码的经验系统 , 给予人  知觉反馈 。如果把社会文化视为黑箱系统 , 则服装或任  何昆曲中可能出现的视觉符号均作为函数系统的输入参  数 。系统通过文化经验的投射计算可能性 ,输 出为在场  观众的直觉与判断 。但是在技术图像的语境下 , 函数关  系被分解为更加细小的单元 。例如 , 使用交互式工具创  建模态的转换接口 , 通过对昆曲演员的语言 、动作 、神  态等数据量化 , 生成其他编码系统 的数据 , 如: 声音、 灯光 、影像等 。张鸿远⑧在研究中基于深度学习构建的 昆曲动作识别系统 , 即以数据单元投射复杂性信息结 果 , 通过机器的转码来增强分析能力 。 因此 , 可以将黑  箱的设计模式嵌入昆曲视觉编码系统 , 推动昆曲从信息传达层面的转码。

  (二) 昆曲界面的动态性与交互性

  动态性描述事物的过程特性 ,可分为连续与非连续。 模拟信 号是连续 的 , 数字信号是离散非连续的采样结  果 。如果从技术性启示中类比艺术活动 ,会找到诸多有  趣 的共通性 。在传统的昆曲形式里 , 多 以连续 的叙事、 对 白 、身体语言来塑造表演 。传统纹样中连续的几何造  型也映射出人类对于延绵 、秩序感 、可捕捉物象的审美  偏好 , 这是人们所熟悉的视觉世界 。非线性虽然也时常  出现于昆曲叙事中 , 如角色妆面造型的差异性 , 通过不  同的妆面刻画彼此独立的角色个性 ,但非线性的意义更  多体现于技术 图像 的语境 。数字化基于离散的空间而存  在。数字化媒介结合不同的通信形式 ,如: 网络、影像、 声音等数据流 , 交互维度更加广阔 , 指向性则更加多元 。 因此 , 技术化的昆曲表现中 , 图像可以不再是连续的工艺纹样 , 而是由数据及数组驱动 , 实时扫描技术媒介中的影像。

  在技术图像语境下 ,将昆曲的艺术现场视为一种开 放界面 , 观者与演员之间的角色互动已不再是从传达到 感知 的过程 。每一位在场者将拥有能力深入融合到现场 的表演关系 中 。例如通过数字化传递的信息 , 通常可 以 结合更多的交互式视觉内容元素 ,进行辅助说明性视觉 呈现 。观众对于文化内容的学习 , 也将逐渐脱离枯燥 的 说教式信息文本 ,进而转入无维的技术图像信息捕捉过 程 。另一方面 , 数字化社区平台也将不同身份的爱好者 汇聚起来 , 打破了传统界面中创作角色与欣赏角色 间相 对隔离的身份状态 。人际交互关系逐渐开放 。 同时 , 人 与昆曲作品间的时间 、场域 、叙事参与的关系也同样互通。另一方面 , 审美个体的身份认同性与个性亟需被关注 , 审美经验 、文化背景 、个人情感等非线性 的庞大数据集合 , 需要在当下存在这样一种互动空间 , 为更多 的 审美个体满足情感与关注的需求 。 昆曲作为具有文化背景的视听艺术 , 可 以为体验者 、爱好者创建这样 的对话式界面。

  四、昆曲视觉转码

  ( 一)交互式昆曲实践分析

  数字互动昆舞表演 《游 园新梦》⑨是运用技术媒介探 索传统昆曲艺术转码的实践 。作品从长江文化切入 , 以 中下游地区苏州园林为背景展开创作 。 昆舞者 的表演环 境从传统的舞台迁移至开放的展览空间中 , 观众得 以从新的视角重新获取传统艺术的叙事体验。

  在《游园新梦》 中 , 舞者、光影与音响、装置结构、 交互系统共同组成作品的内容要素 。不同的要素间又通  过技术媒介彼此关联 。动态的计算机图形通过投射附着  于不同的结构体表面 , 组合为丰富且具有偶发性的技术  图像 。灯光与 舞者的现场反应则经由交互系统进行生 成 。通过在垂帘结构上方安置红外传感器 , 感应检测 昆  舞演员的身体活动 。 当舞者进入垂帘空间 , 灯光渐渐点  亮 , 营造诗意与梦境的氛围 。 昆舞演员的运动间接且实  时地控制了作品形式的生成 。 即使表演预先安排好的昆曲内容 , 因现场观众人数 、位置 、行为 的不确定性 , 都将导致每次演出中空间光影效果的不同变化 , 这种随机性增强了作品视觉传达的形式多样性。

image.png

  (二) 交互式昆曲的构想与反思

  从 《游 园新梦》 作 品视角观察前文所提出的影像、 灯光 、身体三者的技术编码论述 , 可以为昆曲艺术 的视  觉表现创新提出一些设想与观点 。提到昆曲表现界面的  空 间性 ,在弗卢塞尔论述中 , 空间可以是一种实时计算  的无维度微粒(像素 )世界 。 因为合成视觉表象 的依据  可以是抽象数据 , 因此形式的生成将被加速 , 且使用更  多的自动化方法来实现 。人们可以依据算法创建视觉形  式 ,在《游 园新梦》 中 , 通过计算机图形技术合成 的动  态纹样 , 一方面展现 了计算机 图形(技术 图像 )凝结视  觉信息 的能力 ; 另一方面则呈现出信息本身的价值 。弗  卢塞尔指出技术图像的生成过程由机器指令与逻辑实 现 , 而非人眼观察的直接投射 。 因此 ,任何操纵机器设  备的创作者都将有更大的责任去保护信息的真实性与有  效性 。 昆曲艺术中的文化样本更应当被人们更 多关注, 而非被技术媒介的强大合成能力所任意改写 。 当然 , 在  生成式艺术 中 ,将算法与逻辑之美视为创作主体的表现手法 , 则是另外的话题。

  灯光与身体在《游 园新梦》 中是交互呈现 的 , 但从 更高层面来看 , 灯光与影像本身具有联系 。现代 的灯光 艺术基本由数字电路控制 。这样来看 , 技术 图像所合成 的像素与数字信号所驱动的照明形式都具有相同的本源 逻辑 。 即使在作 品 中 , 投影出的艺术形象比灯光形式更 加具体 ,表达更加明确的视觉符号 ,但对于表象背后 的 驱动主体都来源于二进制数据 。 因此 , 笔者认为 , 人与 数据交互接口的建立是作品意义成立的前提 。 因为技术 图像可以不经过人脑而自发由电子凝结创造 , 绚丽丰富 的视觉幻象在这个过程中却仅仅指向数据本身 。 当然, 技术媒介的发展已经进入指数增长期 。无论是经典 的生 成式视觉艺术 , 还是使用神经网络创造人工智 能 图像, 目前的趋势都表明技术图像的世界正在发展 。 昆 曲艺术 的创新应当赋 予其视觉表现更多样的手法 , 但 不仅 于 此 ,对于技术图像所呈现出的负面效应 , 尤其是廉价 的 视觉合成所引发的技术图像霸权 , 导致信息文本的多样 性下 降 。充斥于现实中的图像有效性也同样堪忧 , 应 当 进行思辨 。创作者应更加关注数据的来源 , 关注机器合 成过程中数据的意义及指向 , 以及人作为主体 ,在经典艺术的传承中所扮演的重要角色。

  参考文献 :

  [1]威廉·弗卢塞尔.技术图像的宇宙[M].李一君,译.上海:复旦大学出版社,2021.

  [2]计海庆.增强、人性与“后人类 ”未来:关于人类增强的哲学探索[M].上海:上海社会科学院出版社,2021.

  [3]威廉·米切尔.重组 的 眼睛:后摄影时代的视觉真相[M].刘张铂泷,译.北京:中国民族文化出版社,2022.

  [4]张鸿远.基于深度学习的昆曲动作识别与交互技术研究[D].北京:北京邮电大学,2024 年.