<博士論文>
テロップと効果音を用いた効果的な視聴覚情報構成に関する実験心理学的研究

作成者
論文調査委員
本文言語
学位授与年度
学位授与大学
学位
学位種別
出版タイプ
アクセス権
JaLC DOI
概要  本論文では,テロップ(テレビの字幕)と効果音を用いた効果的な視聴覚情報構成の方法を明らかにすることを目的とし,音と映像の構造的調和と意味的調和の概念を用いて実験心理学的な観点から分析を試みた.序論では,映画音楽の機能や役割に関する理論的/実証的な考察を行い,映画理論家も心理学者も映像の音に対する共通した見解を持っていることに言及した.そして,視覚と聴覚の間の相互作用や様相間のマッチングと類似性な...ど,感覚特性に基づく視聴覚情報構成のための基礎的な研究について概観した.また,映画やアニメーションなどの映像メディアにおける音と映像の相互作用と視覚情報と聴覚情報が心内で統合する際の主観的調和(認知的まとまりの良さ)に関する最近の研究を概観し,本論文の背景および位置づけを行った.併せて,テロップと効果音を用いた音と映像の相互作用や主観的調和に関する研究がこれまでになかったことを指摘し,本研究の必要性について論じた.第2章では,実際のテレビ番組のテロップと効果音,合成したテロップと効果音を用いて印象評定実験を行い,音と映像の構造的調和と視聴覚刺激の印象について検討した.その結果,音と映像の構造的調和の要因として,既存の「時間構造の同期」とともに特定の「変化パターンの一致」も有効であることを実証した.なお,時間構造の同期は「一対一の統合」,変化パターンの一致は「一対多の統合」のように,異なる対応関係によって音と映像の主観的調和を形成することが示唆された.テロップと効果音の時間構造の類似に基づく構造的調和においては,音と映像の「開始部」と「終止部」が同期していることの効果が大きい.特に,テレビなどで多用される出現して消えるテロップの場合,両者の「終止部」より「開始部」の同期の効果が優位である.一方,テロップと効果音の変化パターンの類似に基づく構造的調和は,映像の空間的/明るさの変化と音の周波数と振幅エンベロープの変化が一致していることにより得られる.また,本研究によって音と映像を組み合わせた際の「評価」「力動性」「活動性」の評定に関するMarshall and Cohenの「調和-連合モデル(congruence-Associationist Model,1988)」が実証された.つまり,視聴覚情報の力動感は聴覚情報から,活動感は視覚情報から直接に影響を受ける(direct effect)が,評価に関しては視覚情報と聴覚情報の間の主観的調和によって決まることを示した.第3章では,明るい印象のテロップの書体と明るい印象の効果音や,不思議な印象のテロップの書体と不思議な印象の効果音など,様々な側面の音と映像の印象の類似がもたらす意味的調和の効果を印象評定実験により検討した.その結果,印象の類似した音と映像を同期させて呈示すると,調和した印象を受けやすいことが分かった.印象の類似の効果が顕著な視聴覚刺激では,音と映像の時間構造の同期を崩しても主観的調和の変化は僅かである.また,印象の類似した視聴覚刺激では良し悪しの総合的評価において,「良い」と判断される度合いが高い.第2章と第3章では,テロップの非言語的な側面と音との関係のみに焦点を置いたが,実際のテロップ・プレゼンテーションでは文字の意味にふさわしい効果音を付加することが要求される.第4章では,テロップの言語情報の印象と効果音の印象の類似によってもたらされる意味的調和の効果を,印象評定実験により検討した.明るい印象のことばと明るい印象の効果音の組み合わせのように,言語情報と効果音の印象が類似し,視覚情報と聴覚情報の意味的調和が形成される場合には,視聴覚情報の主観的調和が高まる.一方,明るい印象のことばと暗い印象の効果音の組み合わせのように,言語情報と効果音の印象が類似していない場合には,主観的調和は低下する.また,主観的調和が高いと一般にテロップの印象も良いことから,テロップの言語情報と効果音の意味的調和は視聴覚情報の総合的評価を高める効果も持つ.第4章からは,第3章の既存の音と映像の印象の類似の効果と同様に,ことばの言語情報と効果音の印象の類似の効果が実証された.これらの検討により,人の情報処理における非言語的/言語的側面での様々な印象の類似の効果が確認できた.特に,明暗のような比較的に単純な処理で知覚できる心理的な性質の場合,印象の類似(意味的調和)の効果が顕著である.本論文の一連の実験を通して音と映像の構造的調和に基づくものであれ意味的調和に基づくものであれ,人の心内での視覚情報と聴覚情報の統合の度合いが高いと,良い印象(評価)が得られやすいことを実証した.第5章では,本研究から得られた知見をまとめ,視覚情報と聴覚情報が心内で統合される際の認知的メカニズムについて音と映像の主観的調和と関連付けて考察した.最後に,本研究の意義と今後の展望について述べた.続きを見る
目次 目次 第1章 序論 第2章 テロップと効果音の時間構造と変化パターンの類似に基づく構造的調和 第3章 テロップの書体と効果音の印象の類似に基づく意味的調和 第4章 テロップのことばと効果音の印象の類似に基づく意味的調和 第5章 総括 謝辞 引用文献 関連論文

本文ファイル

pdf k053-01 pdf 205 KB 743 表紙
pdf k053-02 pdf 3.79 MB 1,265 第1章
pdf k053-03 pdf 3.01 MB 509 第2章
pdf k053-04 pdf 1.38 MB 386 第3章
pdf k053-05 pdf 1.22 MB 334 第4章
pdf k053-06 pdf 801 KB 430 第5章
pdf k053-07 pdf 55.9 KB 227 謝辞
pdf k053-08 pdf 938 KB 342 引用文献
pdf k053-09 pdf 83.4 KB 293 関連論文

詳細

レコードID
査読有無
報告番号
学位記番号
授与日(学位/助成/特許)
受理日
部局
所蔵場所
所在記号
登録日 2009.08.13
更新日 2020.10.06

この資料を見た人はこんな資料も見ています