人類協調互動之謎─認知科學家如何用音樂做研究

The mystery of interpersonal coordination: How cognitive scientists use music for their research

文章刊載於《科學月刊》574期 （2017年10月）[連結]

點此下載全文PDF檔

張詠沂（Andrew Chang），現為加拿大McMaster 大學心理學博士候選人，研究專長為聽覺與音樂的認知科學與神經科學。

認知科學的一個難題：協調互動

認知科學（cognitive science）是一門新興的科學領域，研究人類行為以及其背後的心理與神經機制。人與人之間的協調互動（interpersonal coordination或joint action）是認知科學中的重要主題（Hari et al., 2015, Neuron; Hasson et al., 2012, TiCS; Sebanz et al., 2006, TiCS）。此能力儘管在日常生活中處處可見，看似簡單，其實涉及很多複雜的認知歷程以及快速的行為反應。無論是進行單純的「多人一起搬重物」，到複雜且抽象的「人與人交談」、「共同演奏音樂」、「球隊組織進攻」，人與人之間都需要不斷地「察覺他人行為」、「即時交換動作意圖」、「微調自身的動作以保持與他人同步」。此外，社會性的因素也對協調互動有很大的影響力，例如在多人合作的情況下，常會需要一個領導者來發號施令，統整個別成員的動作與意圖。因此，協調互動涉及了知覺、溝通、執行功能、社會心理、動作控制等各層面的複雜心智功能，而我們至今仍然對此所知不多。

為求科學研究上的嚴謹，科學家在研究協調互動時，會偏好使用有良好控制的小實驗室進行研究。通常，參與實驗的受試者會進入一小間實驗室，而科學家會事先用電腦程式規劃好要呈現的刺激材料，以及記錄受試者反應的方式。在這樣的實驗設計中，科學家完全地掌控受試者所身處的協調互動環境、受試者執行動作的方法，因此得以清楚地檢驗操作變項對於協調互動的影響。

然而，在這類小實驗室的環境中，時常難以成功營造出人類真實的互動環境。對於認知科學，我們最感興趣的是人類行為對應的心理與神經機制（圖一A，Krakauer et al, 2017, Neuron）。在研究的設計上，科學家會希望藉由實驗的設計，研究某種特定行為，以及其背後的心理、神經機制（圖一B）。然而，在小實驗室中如果無法營造出足以貼近自然情境的的協調互動行為，就算研究出心理和神經的機制，但這樣的機制卻是用來執行一個「非自然」的人類行為，距離理解人類在真實世界中的協調互動行為仍有一段距離（圖一C），缺乏「生態效度（ecological validity）」。畢竟，人類心智演化至今，不是為了適應「與虛擬人物做互動」的演化壓力。（題外話：但或許在未來，和虛擬人物的互動真的會變成人類新的演化壓力也說不定？）

但如果為了追求良好的生態效度，在完全自然的環境中觀察人際互動，各種真實環境中的因素（例如各種噪音）則容易意外地干擾人際之間的協調互動，也讓科學家難以釐清協調互動背後的機制。這類「生態效度」和「實驗控制」的兩難，是認知科學研究上經常會遇到的難題，更是研究協調互動時必然會遭遇到的巨大挑戰。

 

「音樂」幫認知科學家開了一扇大門

音樂是研究人類心智時一個很好的「工具」。近年來認知科學界開始越來越重視音樂，更有文章刊登在認知科學界的頂尖期刊，說明比起在小實驗室中採用「人為的」、「不自然的」實驗環境，音樂尤其適合用來研究協調互動（D’Ausilio et al., 2015, TiCS; Volpe et al., 2016, Phil Trans R Soc B），因為以下這些特點：

1. 音樂是人類自然的活動：儘管形式不同，但音樂普遍存在於人類的各文化中，是重要的人類活動。其中，協調互動（共同演奏音樂、一起跳舞）更是音樂在各文化中的普遍特色（Savage et al., 2015, PNAS）。
2. 音樂可以在科學研究中被掌控：科學家可以藉由設計樂譜、演奏速度，而控制協調互動的內容。科學家也可以藉由改變音樂演奏的情境，例如演奏者之間看不看的到彼此，或是指定某演奏者為領導者，而更進一步掌控互動的情境。
3. 音樂活動涉及各層面的心智活動：聆聽音樂時的聽知覺、音樂訊息的認知處理、與他人合奏音樂時的動作控制、溝通協調，甚至是合奏中彼此的社會關係（領導∕跟隨關係），都是音樂活動會涉及的層面。

綜合以上三點，音樂活動涉及廣泛的心智活動，可以用來同時探討各層面心智活動的交互作用。並且，當採用音樂活動在認知科學的實驗中，科學家有很大的空間可以在「生態效度」和「實驗控制」的兩極端之間取得一定的平衡（圖二）。例如，可以從高度實驗控制的極端（人類只能跟隨電腦預設的節拍彈鋼琴），逐漸降低實驗控制以增加生態效度（讓電腦的節拍跟隨人的彈奏而改變），甚至是增加協調互動的複雜性與真實性（兩人合奏、多人合奏，到有觀眾在現場聆聽）。

 

分解步驟說明：如何用音樂研究協調互動

接下來的篇幅，我將會以我與合作者於今年發表在《美國國家科學院院刊》的一篇研究論文「Body sway reflects leadership in joint music performance（Chang et al., 2017, PNAS）」為例（以下簡稱本研究），以分解步驟的方式，說明認知科學家怎麼用音樂來研究協調互動，以及如何解決研究中碰到的各類問題。

研究目標

我們希望能夠建立出一套研究協調互動的方法。這套方法，我們希望既可以在不改變自然的情境下即時地觀察人與人之間的協調互動，更要可以有效地反映出人與人之間的領導與跟隨的社會關係以及合作品質。

實驗受試者與實驗環境

在本研究中，我們以音樂合奏作為協調互動的模型，邀請了職業的弦樂四重奏樂團參與研究。弦樂四重奏的組成有第一小提琴、第二小提琴、中題琴、大提琴。

在研究環境上，為了在有實驗控制的環境中進行自然的協調互動，我們在隸屬於McMaster 音樂與心智研究中心（McMaster Institute for Music and the Mind）的「大型互動虛擬環境實驗室（LIVELab）」進行實驗。LIVELab歷時5年且耗資800萬加幣建造。它的空間像是一個小劇場，可以同時容納表演者以及近百名的觀眾（圖三A&B）。它獨特的地方在於，在這樣大規模的空間中，仍然能像傳統小實驗室一樣有效控制環境因素：背景噪音可以低到8分貝聲壓，對人類的聽覺是近乎寂靜的程度。又能夠在空間中製造出虛擬的聲響環境：研究人員可以用電腦控制回音設定，能讓實驗室空間輕易地具有像是「小教室」或是「大教堂」的回音。因為這些良好的環境控制，LIVELab可以同時紀錄實驗室內的所有觀眾以及表演者的腦波（electroencephalogram）、交感系統的生理反應（心跳、呼吸速率、流汗）、動態捕捉（motion capture）（圖三C）。

 

 

如何設計實驗？

本研究的目標在研究協調互動時，盡量同時地滿足實驗控制和生態效度這兩個因素。我們要求四重奏樂團演奏數十首巴哈的聖詠曲（chorale）。這些曲子的特色是四個聲部彼此平衡，沒有強烈的從屬關係（圖四），因此給予我們在實驗操作領導跟隨關係上一個很平衡的立足點。另外，我們也事先確認了參與實驗的演奏者們並不曾演奏過這些曲子。因此我們可以測量即時性的協調互動，而非預先演練好的結果。畢竟日常生活中的協調互動通常都是即時發生，而不是事先排練過的。

 

除了提供高生態效度的情境，本研究仍然操弄了音樂演奏時的知覺環境和社會關係，並且檢驗這些操弄對於協調互動的影響。在社會關係的實驗操弄上，我們以「猜領袖遊戲」的方式，操弄領導和跟隨者的關係：在演奏每一首曲子前，每個演奏者都會拿到一張紙條，裡面寫了他在這一首曲子內是「領導者」或是「跟隨者」，而他們彼此都不知道其他人的角色。這樣的設計，讓演奏者在實驗給定的社會角色內，盡力完成與他人合奏的目標，並可以讓我們檢驗社會角色對互動的影響。在視知覺的實驗操弄上，演奏者在演奏某些曲子實看得到彼此，而有些時候則看不到（彼此背對背），這是因為我們希望知道看不看得到彼此是否會影響演奏者之間的協調互動。

 

該測量什麼？

在自然情境下的協調互動有太多的現象同時發生，例如身體活動、神經活動、對話內容等等，都同時在變化，那到底什麼現象是反映協調互動的指標？

我們理想的指標，能夠「簡單」且「有效」反映出人際之間的協調互動。神經和生理反應固然是當代認知科學最感興趣的指標，但這些指標不易在自然情境中被清楚地量測，資料的分析上也較複雜。相對地，動態捕捉是一個在自然情境中容易取得的指標，資料的分析上也較簡單。因此，我們從動態捕捉的方面下手。

動態捕捉經常被用來記錄人體運動的軌跡。最常見的記錄方式，是在人體的各關節處貼上反射紅外光的反光點（圖五A），並且在人體四周架設攝影機，藉由各角度錄製反光點的移動（圖五B），而事後建立出三維的軌跡（圖五C）。現今這項技術的普及程度更高，像是Wii或是Xbox Kinect等遊戲主機都使用了動態捕捉的技術，這些現成的硬體更可以作為研究用的工具。又或是利用影像分析技術，可以直接從自然情境下拍攝的影片中擷取人物的身體動作，更加降低了研究的硬體成本。

本研究聚焦於記錄演奏者在合奏音樂時的身體擺動（圖五D），有以下幾個原因。首先，因為人隨時要保持重心的平衡，身體搖擺的動作可以反映出各局部動作的總和。例如，如果人將手往前舉，身體必然會需要微微後傾，以保持重心的平衡。再來，整體的身體動作並非演奏音樂時必要的發聲動作，而且並不受到樂譜的限制，因此較可能反映出協調互動的歷程。另外，過去的研究曾指出，身體搖擺即便在交談時也會自然產生（Shockley et al., 2009, Top Cogn Sci）。因此，身體搖擺應該會是個反映協調互動的一個簡單且有效的指標。

 

該怎麼分析？

取得了資料之後，怎麼分析它又是另一個難處。身體搖擺是一種時間序列的資料，類似於股票、氣溫的變化曲線。傳統的互相關（cross-correlation）分析，只能夠反映出演奏者彼此之間身體搖擺的相似程度。然而，本研究希望能夠更進一步地了解領導者與跟隨者之間的關係，想要看出彼此之間互相影響力的差異。因此，互相關分析無法完全滿足本研究的需求。

格蘭傑因果（Granger causality）統計分析方法（Seth, 2007, Scholarpedia）可以反映出領導與跟隨者之間的關係。此方法是由2003年諾貝爾經濟學獎得主格蘭傑（Clive Granger）在60年代提出，最早是應用在經濟學上，分析不同經濟活動的時間序列（如股票）彼此之間的漲跌的關係。隨後也被資訊科學家用來量測「資訊流動的量以及方向」，並且廣泛地運用在各學科的研究分析上。在概念上，格蘭傑因果分析會計算出一個時間序列（訊號A）的「歷史」預測另一個時間序列（訊號B）的「現況」的程度，也可以計算其相反的方向的影響程度（圖六）。如果分析上發現，A預測B的能力比起B預測A的能力高，則我們可以推論有較多的資訊從A流向B。儘管格蘭傑因果分析的數學方法仍不足以推論出科學上的「因果關係」（礙於篇幅，無法在此詳細說明 ），但對本研究而言，其方法反映出「資訊流動的量以及方向」，已足夠讓我們了解領導者與追隨者之間的協調互動關係。

 

結果發現了什麼？有什麼用處？

簡而言之，本研究的目標都獲得了印證！首先，藉由格蘭傑因果分析，我們發現資訊從領導者流向跟隨者的量遠大於相反方向，而且在演奏者看得見其他演奏者的情況下，領導者對追隨者的影響力會增加（圖七A）。另外，我們如果將4名演奏者彼此之間所有的資訊流動量加總（可以視為整體合作緊密的程度），這樣的指標會和演奏的品質（由演奏者於每一首曲子演奏結束之後自己評分）有正相關（圖七B）。這兩個結果說明，身體動作不僅可以反映出領導者與追隨者之間的協調互動的方向，更可以反映出整體而言合作的品質（有興趣更深入了解的讀者可以參考原始論文。）

 

這樣的研究結果有什麼貢獻？首先在科學方法上，我們印證了一個可以有效且快速研究人類在自然情境下進行協調互動的方法。我們的研究方法可以被使用在各類自然情境下，藉由觀察身體動作來檢驗協調互動，讓科學家得以探索以前無法了解的互動情境。技術上，測量與分析動態捕捉的經費和技術門檻都低，格蘭傑因果分析也已經有許多簡易的程式可以快速計算，因此技術門檻低。在實用層面上，既然身體動作可以作為人群互動的指標，更有機會被應用在檢驗團隊訓練的成效（如軍隊），或是在臨床上監控治療品質，觀察復健或心理治療師與病人的互動程度（治療師與病人的互動品質對治療成效已知有很大的影響，Roth & Worthington, 2015, Treatment resource manual for speech language pathology） 。

本研究希望提供一個有效的方法，成為後續研究協調互動的一個墊腳石，讓我們更加了解人類的心智。也可以透過應用層面，讓人群之間的合作變得更有效，甚至增進醫療與健康。

延伸閱讀

Chang, A., Livingstone, S.R., Bosnyak, D.J., Trainor, L.J. (2017). Body sway reflects leadership in joint music performance. Proceedings of the National Academy of Sciences, 114 (21), E4134-E4141.

D’Ausilio, A., Novembre, G., Fadiga, L., & Keller, P. E. (2015). What can music tell us about social interaction?. Trends in cognitive sciences, 19(3), 111-114.

Hari, R., Henriksson, L., Malinen, S., & Parkkonen, L. (2015). Centrality of social interaction in human brain function. Neuron, 88(1), 181-193.

Hasson, U., Ghazanfar, A. A., Galantucci, B., Garrod, S., & Keysers, C. (2012). Brain-to-brain coupling: a mechanism for creating and sharing a social world. Trends in Cognitive Sciences, 16(2), 114-121.

Krakauer, J. W., Ghazanfar, A. A., Gomez-Marin, A., MacIver, M. A., & Poeppel, D. (2017). Neuroscience needs behavior: correcting a reductionist Bias. Neuron, 93(3), 480-490.

Roth, F. P., & Worthington, C. K. (2015). Treatment resource manual for speech language pathology. Nelson Education.

Savage, P. E., Brown, S., Sakai, E., & Currie, T. E. (2015). Statistical universals reveal the structures and functions of human music. Proceedings of the National Academy of Sciences, 112(29), 8987-8992.

Sebanz, N., Bekkering, H., & Knoblich, G. (2006). Joint action: bodies and minds moving together. Trends in Cognitive Sciences, 10(2), 70-76.

Seth, A. (2007). Granger causality. Scholarpedia, 2(7), 1667.

Shockley, K., Richardson, D. C., & Dale, R. (2009). Conversation and coordinative structures. Topics in Cognitive Science, 1(2), 305-319.

Volpe, G., D’Ausilio, A., Badino, L., Camurri, A., & Fadiga, L. (2016). Measuring social interaction in music ensembles. Philosophical Transactions of the Royal Soceity B, 371(1693), 20150377.