온라인으로의 전환, 변화 속에서 받아든 숙제

코로나19 방역의 모범 국가로 평가받는 우리나라와 달리 지구촌의 거의 모든 나라들은 공연장의 문을 닫았고, 공연예술축제들은 줄줄이 취소되었다. 공연이 성립되기 위해 당연시되는 배우와 관객의 만남이 어려워졌기 때문이다.

이러한 상황에서 전 세계 공연계에 등장한 것이 온라인 스트리밍이다. PC나 휴대전화의 인터넷 환경에서 음원이나 영상 등을 재생하는 스트리밍을 통해 연극, 오페라, 콘서트, 뮤지컬, 무용 등의 공연을 볼 수 있게 한 것이다.

이미 영상 콘텐츠 제작과 그 유료 서비스의 선두주자였던 베를린 필하모닉 오케스트라와 뉴욕 메트로폴리탄 오페라가 공익을 위해 영상 콘텐츠들을 무료 스트리밍하기 시작했다. 연극 분야에서는 영국 국립극단이 일부 아카이브와 상영 예정작을 ‘NT 라이브 앳 홈’이란 이름으로 홈페이지에 무료 공개했다.

우리나라에서는 예술의전당이 콘텐츠 영상화사업 ‘싹 온 스크린’(SAC on Screen)을 통해 그동안 축적했던 공연들을 유튜브로 스트리밍하기 시작했고, 다른 국공립 기관 및 단체들 역시 아카이빙용으로 만들어놨던 공연 영상을 스트리밍하기 시작했다. 세종문화회관 등 몇몇 공공극장은 예산을 투입해 무관중 공연을 기획한 뒤 스트리밍하기도 했다.

사실 공연의 디지털화는 코로나19 이전부터 차근차근 진행되어 왔다. 영국 국립극장의 공연 영상을 위성으로 전 세계 대형 스크린에 투영하는 ‘NT 라이브’는 2009년 시작된 후 세계적으로 확산돼 2017~2018 시즌(1년) 수익만 90억 원(640만 파운드)에 이를 정도로 큰 호응을 얻었다.

우리나라에서는 포털 사이트 네이버가 2016년 뮤지컬 <팬레터> 전막 공연의 실황 중계를 처음 시도한 이후 공연계에서 일반화됐다.

코로나19가 장기화되면서 이러한 온라인 공연에 대한 관객들의 호응은 예상을 뛰어넘었다. 온라인 공연이 새로운 비즈니스 모델이 될 수 있다는 긍정적 반응이 나오기도 했다. 어차피 다가올 미래에 ‘언택트’(비대면)가 일반화된다면 공연 장르 역시 변화해야만 살아남을 수 있기 때문이다.

하지만 변화의 바람 속에는 늘 극복해야 할 과제들도 함께 주어진다. 공연 영상을 몰입해서 관람하는 시간은 아무리공연 애호가라 하더라도 20~30분을 넘지 못한다는 조사 결과가 있을 만큼, 온라인 스트리밍 방식의 공연 관람은 몰입도가 매우 낮은 편이다.

NT 라이브의 경우 실제 공연에서는 불가능한 클로즈업을 통해 배우들의 표정까지 생생하게 볼 수 있고, 다양한 카메라워크를 통해 프로시니엄 무대를 보는 것보다 훨씬 역동적으로 느낄 수 있는 장점이 있어 만족도가 매우 높은 편이다. 하지만 공연의 가장 큰 강점으로 여겨지는 현장성과 관객과의 인터랙션을 찾아보기는 쉽지가 않다.

특히 우리나라의 경우, 처음부터 공연의 디지털화를 목적으로 공들여 영상을 촬영했던 해외 사례와 달리 홍보용 혹은 기록용으로 촬영했기 때문에 영상의 완성도나 관객의 몰입도가 더욱 더 떨어질 수밖에 없다.

따라서 때문에 코로나19 이후에 온라인 공연이 새로운 장르로 자리 잡기 위해서는 공연의 현장성과 관객과의 인터랙션을 강화할 수 있는 창작 방법과 기술을 개발하는 것이 가장 중요한 화두가 될 것이다.

온라인의 한계를 극복할 새로운 기술들

공연예술과 4차 산업혁명 기술을 융합하여 온라인 공연의 현장성과 관객과의 인터랙션을 강화하고자 한 노력은 최근 몇 년 동안 활발하게 진행되어 왔다. 문제는 10년 후에나 현실로 다가올 것으로 예상하고 가능성을 타진하던 실험들이 코로나19로 인해 당면과제로 다가오게 된 점이다.

비대면 환경에서 생생한 현장성을 전달하고 관객과 인터랙션해야 하는 온라인 공연의 난제는 첨단 테크놀로지의 도움이 없다면 극복하기가 어렵다. 따라서 온라인 공연의 새로운 대안을 찾기 위한 방법으로 국내외 예술계나 산업계에서 이뤄지고 있는 융·복합 기술과 적용 사례들을 알아보는 것은 중요한 의미가 있을 것이다.

① 혼합현실

온라인 공연에서 관객과의 소통 강화를 위한 테크놀로지로 가장 주목할 만한 것은 가상세계와 현실세계를 합쳐 새로운 환경이나 시각화 등의 풍부한 정보를 만들어내는 혼합현실(Mixed Reality, MR)이다. 최근 이 혼합현실을 통해 사용자와 가상 캐릭터가 한 공간에서 움직이는 인터랙티브 스토리텔링(Interactive Storytelling)이 가능해졌다.

기술적으로 접근했을 때 혼합현실이란 ‘증강현실’(Aug mented Reality, AR)과 ‘가상현실’(Virtual Reality, VR)을 통합하고 사용자와의 인터랙션을 더욱 강화한 방식을 말한다. 즉, 현실과 증강현실, 가상현실의 요소가 모두 혼합된 상태를 구현하는 것이다.

이를 위해 우선 현실, 증강현실, 가상현실의 정보를 동시에 보고 들으며 몰입감을 느낄 수 있게 해주는 장비가 필요하다. 현실 상황을 그대로 느끼는 동시에 현실에 없는 내용을 볼 수 있게 해주는 비디오 장치, 현실에 없는 소리를 들을 수 있게 해주는 오디오 장치가 그것이다.

다음으로 사용자 행동이 가상공간에 반영되게 하려면 사용자의 움직임을 파악하는 센서와 이를 전달해 움직임의 결과 상황을 만들어내는 장치가 필요하다. 이를 통해 같은 공간에 있지 않아도 같은 정보를 공유할 수 있는 것이다. 아주 멀리 떨어져 있는 사람들도 공연의 과정을 실시간으로 공유하며 집단지성을 발휘할 수 있게 된다.

② 모바일 디바이스 앱

다음으로 주목할 만한 기술은 스마트폰 세대인 현대의 관객들을 위해 모바일 디바이스의 앱을 활용하는 것이다. 일례로 런던 과학 박물관(Science Museum)과 디자인 스튜디오 유니버설 에브리씽(Universal Everything)이 협업한 전시 ‘1,000개의 손’(1,000 Hands)은 동명의 모바일 앱을 통해 관객들이 작품의 제작 과정에 직접 참여할 수 있게 했다.

관객들이 핸드폰 터치스크린에 그림을 그리면, 전시관 한 가운데 놓여 있는 반쯤 투명한 원형의 홀로그램 망사형 스크린으로 그림이 투영되고, 소프트웨어를 통해 움직이는 형태가 된다. 그림들은 디지털 생명체처럼 보이기도 하는데, 각각 독특하고 다른 형태가 된다.

이렇게 전 세계에서 누구나 다운로드할 수 있는 앱을 활용한다는 것은 작품의 경험이 물리적인 갤러리 공간을 초월하여 디지털 가상 세계까지 확장되는 것을 의미한다. 이 전시 자체가 관객의 참여와 인터랙션을 통해서만 완성될 수 있는데, 멀리 떨어져 있는 관객들도 앱을 이용하기만 하면 이 설치 예술에 참여할 수 있다.

모바일 앱을 통해 관객들이 보내온 핸드폰 그림으로 설치예술 작품을 만든 ‘1,000개의 손’

AR/VR 프로덕션 ‘슈퍼브라이트’(Superbright)는 위치 기반 마케팅 회사 ‘xAd’와 협업한 뉴욕패션위크 패션쇼에서 증강현실 시스템을 사용하여 디바이스의 카메라가 현실 세계의 실질적인 마커(표지)를 인식하는 개념을 도입했다.

앱이 마커를 인식하면 디지털 이미지와 비디오가 디바이스의 마커에 오버랩되어 떠오르고, GPS 기반 증강현실은 의류에 대한 유용한 추가 정보를 이용자에게 제공한다. 이용자들은 앱을 통해 기존의 런웨이에서와는 다른 새로운 관점으로 옷을 바라보며, 더 풍부한 경험을 할 수 있다.

모바일 앱과 증강현실을 이용해 패션쇼를 감상하며 실시간 정보를 얻을 수 있는 ‘증강현실 캣워크’

③ 인터넷 기술

인터넷 기술과 공연과의 결합을 통한 무대기술, 배우, 관객 간의 상호작용도 주목할 만하다. UC 샌디에이고 대학의<캄자와 캄자>(Kamza and Bar Kamza)는 16개의 짧은 장면으로 나누어진 4개의 막이 음향, 시각, 그리고 웹 기술로 구현된 혁신적인 연극 체험으로 두 명의 공연자가 존재하지만 역시 관객들이 직접 참여할 수 있다.

장면과 장면 사이에 코멘터리가 이루어지고, 막과 막 사이에서 토론이 벌어진다. 다양한 관점이 맞부딪히기 위해서는 관객들의 참여가 필요하다. 그래서 관객들은 쇼 중간에 노트북을 이용해 온라인 채팅에도 참여할 수 있고, 다양한 위젯들을 통해 사전 녹화된 비디오 영상들을 볼 수도 있다.

네 면에 설치된 스크린은 관객들이 하여금 두 명의 공연자와 직접 소통하고 공연에 적극 참여할 수 있는 이머시브(immer sive, 컴퓨터 시스템이나 영상이 사용자를 에워싸는 듯한) 환경을 제공했다.

④ 게임 분야와의 결합

끝으로, 실물과 가상의 혼합, 라이브 퍼포먼스와 상호작용성의 결합을 도모하는 과정에서 공연예술 분야와 게임 분야의 결합이 급속도로 확산되고 있음에 주목할 필요가 있다.

아티스트 오토 크라우즈와 밀란 로비스카가 다국적 공학자들과 협업하여 2015년 시작한 ‘써드 라이프 프로젝트’(Third Life Project)는 공연과 게임(마인크래프트)의 결합을 통해 공연의 예술적 측면과 기술적 측면 모두에 집중함으로써, 하이브리드 퍼포먼스에 기여하는 동시에 지식을 나눌 수 있는 플랫폼을 창조해 냈다.

마인크래프트의 실시간 게임을 연극 공연으로 무대에 올린 ‘써드 라이프 프로젝트’

기술이 가능케 한 관객의 새로운 역할

지금까지 포스트 코로나19 시대에 온라인 공연이 관객과의 인터랙션을 강화할 수 있는 테크놀로지들을 살펴보았다. 본래 이 기술들은 공연에서 새로운 미장센을 표현하거나 극장 공간의 물리적 한계를 극복하기 위한 시도로 발전해왔다.

하지만, 현재는 공연과 관객의 상호작용을 활성화하고, 더 나아가 관객들이 관찰자의 영역에서 탈피해 적극적인 참여자로서 역할을 할 수 있도록 발전하고 있다. 기술이 관객에게 새로운 역할을 부여하면서 이전과는 다른 새로운 감동을 불러일으키는 것이다.

앞으로의 세계는 코로나19 이전과 구분될 것이라는 의견이 지배적이다. 코로나19 이후에는 무엇보다도 사람들 사이의 비대면 소통방식이 강화되고, 그에 맞는 생존방식이 필요할 전망이다. 문화예술 분야도 예외는 아니다. 전통적 의미의 예술과 관객이 재정의되고, 온라인 공연이 콘텐츠의 소비 수단이자 새로운 비즈니스 모델로 자리매김할 것이다.

이에 따라 문화예술 특히, 공연예술의 불변의 가치로 여겨지는 ‘현장성’과 ‘관객과의 인터랙션’을 비대면 환경에서도 강화할 수 있는 테크놀로지의 개발과 발전은 더욱 바삐 이루어져야 할 것으로 보인다.

글. 권용(한양대학교 연극영화과 교수)