바야흐로 1인 미디어 시대! VR 기기로 콘텐츠를 즐기는 것뿐만 아니라 콘텐츠를 제작할 수도 있다는 사실을 아시나요? 단순히 VR 게임플레이 화면을 녹화하는 것이 아니라, VR 기기를 활용한 아바타와 가상세계를 아우르는 방송, 공연 콘텐츠가 생겨나고 있습니다. 본 아티클에서는 이러한 가상 현실 콘텐츠가 어떤 방식으로 제작되고, 어떻게 발전할지에 대해 얘기해보겠습니다.

가상 현실 아바타로 연출되는 방송 콘텐츠

'버추얼 유튜버'라고 들어보셨나요? 구글의 동영상 공유 서비스인 유튜브(www.youtube.com)에서 활동하는 개인 크리에이터를 유튜버라고 합니다. 반면, 버추얼 유튜버는 가상의 캐릭터를 전면에 내세운 동영상 콘텐츠를 제작하는 차별화된 유튜버를 일컫는 신조어입니다.
2016년 버추얼 유튜버가 처음 시작된 일본에서는 유튜브 사용자들로부터 많은 관심과 흥미를 이끌어내며 현재는 약 6,000여명의 버추얼 유튜버들이 활동하고 있습니다. 일본 이외의 국가에서도 버추얼 유튜버가 증가하고 있으며 한국은 2018년 7월, 기업 소속 버추얼 유튜버인 '세아'가 첫선을 선보인 뒤 새로운 버추얼 유튜버가 속속 등장하고 있습니다.

[그림 1] 버추어 유튜버의 시초로 불리는 AIChannel의 Kizuna Ai ^[1]

버추얼 유튜버가 사용하는 가상 캐릭터는 통상 3D로 모델링 되어 있으며, 모션 캡처(Motion Capture) 기술을 통해 가상 현실 속에서 실제 사람처럼 말하고 행동합니다. 여기서 모션 캡처란 사람의 신체에 동작 감지 센서를 부착하여 컴퓨터 프로그램으로는 일일이 구현하기 힘든 세세한 움직임들을 3D 그래픽으로 재현할 수 있는 기술을 말합니다. 덕분에 스트리머는 원하는 콘셉트의 가상 캐릭터로 변신하여 자신의 실제 손발짓과 움직임을 그대로 반영한 색다른 모습으로 콘텐츠를 중계할 수 있습니다.

요즘은 주변에서 쉽게 접할 수 있는 VR 기기만 있으면 모션 캡처 장비와 같은 추가적인 센서 없이도 누구나 버추얼 유튜버처럼 가상의 3D 캐릭터에 나의 움직임을 반영한 콘텐츠를 제작할 수 있습니다. VR 인버스 키네메틱스(Inverse Kinematics) 기술을 사용하면 머리와 손의 위치만으로 사람의 전체 자세 움직임을 추정 계산하여 신체 동작을 어느 정도 자연스럽게 시뮬레이션 할 수 있습니다. 이를 소프트웨어에 적용하면 동작 감지 센서 없이 HMD와 컨트롤러의 입력정보만으로 가상 캐릭터를 충분히 생동감 있게 움직일 수 있게 됩니다. 뿐만 아니라 가상 캐릭터 모델에 블렌드 셰이프(Blend Shape) 얼굴 디자인을 적용하면 상황 별로 다양한 얼굴 표정을 재미있게 연출할 수 있습니다.

[그림 2] VR 인버스 키네메틱스와 블렌드 셰이프를 활용해 제작된 VRChat 아바타 ^[2]

가상 현실 공간으로 연출되는 공연 콘텐츠

모션 캡처 장비나 VR 기기를 사용해 제작되는 3D 그래픽스 가상 현실 콘텐츠는 보통 동영상 포맷으로 인코딩 녹화되어 공유됩니다. 그렇다면 시청자는 일반적인 동영상 형태로만 이런 콘텐츠들을 감상해야 할까요? 앞서 언급한 아바타뿐 아니라 그의 퍼포먼서, 그로 인해 발생한 사건, 그곳의 환경 등 가상 공간을 구성하는 전체 요소가 바로 새로운 형태의 몰입형(Immersive) 콘텐츠가 될 수도 있습니다.
가상 현실 소셜미디어 애플리케이션 알트스페이스 VR(Altspace VR)이 2016년 11월에 발표한 VR Capture 기능을 되짚어볼 필요가 있습니다. VR Capture를 사용하면 가상 캐릭터의 움직임, 아바타, 음성 및 음악을 포함한 가상 현실 공간 전체를 데이터로 기록하여 시청자가 원하는 시점에 가상 현실 콘텐츠로 다시 재생할 수 있습니다. 이는 앞서 언급한 동영상 포맷으로서의 기록, 재생과는 매우 큰 차이가 있습니다. 일방적으로 송출되는 고정된 시점의 화면을 감상해야만 하는 동영상 포맷과 달리, VR로 재생 가능한 콘텐츠는 시청자가 기록된 공간을 마음껏 돌아다니며 원하는 시점에서 원하는 대상을 능동적으로 감상할 수 있습니다. 더욱 흥미로운 부분은 기록된 가상 오브젝트와 직접 실시간 상호작용도 가능하다는 점입니다. 예를 들면 녹화된 아바타가 내민 아이템을 건네 받거나, 악수를 할 수도 있습니다.

[그림 3] Altspace VR의 VR Capture 시연 장면 ^[3]
- 녹화된 아바타가 건네는 형광봉을 플레이어가 실시간 상호작용을 통해 전달받고 있다.

알트스페이스는 이를 통해 Reggie Watts나 Duncan Trussell과 같은 미국의 유명 스탠드업 코미디언들의 VR 공연과 공간을 가상 현실 녹화본으로 제공하여, 공연 시간을 놓친 시청자들도 마치 라이브 쇼를 보는 것처럼 생생하게 즐길 수 있도록 서비스 할 수 있었습니다.

[그림 4] 알트스페이스 VR, Reggie Watts 쇼의 한 장면 ^[4]

VR Capture처럼 가상 공간에서 일어난 일들을 모두 기록할 수 있는 콘텐츠를 만들려면 어떻게 해야 할까요? 콘텐츠 생산자는 사용자가 가상 공간에 접속해 있는 동안 그 안에 존재하는 모든 데이터를 종합하여 저장할 수 있는 기능과 이를 다시 복원하여 재생할 수 있는 인터페이스를 구현하면 됩니다.

VR 콘텐츠 개발자를 위한 가상 공간 이벤트를 저장하는 방법

일반적인 이벤트 데이터들은 properties 파일에 key-value 형태로 저장하고 음성과 음악은 개발 VR 엔진이나 플랫폼 라이브러리의 관련 API를 호출하여 범용 오디오 포맷 파일로 저장합니다. 가장 중요한 가상 캐릭터의 움직임은 애니메이션 클립 형태로 저장하는 것이 좋습니다.

애니메이션 기록 방법에 대해 조금 더 자세히 살펴보겠습니다. 가상 현실에 존재하는 모든 객체는 Transform 값을 가지고 있습니다. 객체가 움직이면 VR 공간좌표에 따른 해당 객체의 Transform 값인 x, y, z 위치와 회전 값이 바뀌게 됩니다. 이때 이 일련의 변화 값들을 객체에 대한 애니메이션 키프레임 데이터로 각각 실시간 저장하고 이를 에셋으로 만들어 둡니다. 이렇게 만들어둔 정보가 객체의 움직임을 언제든 다시 재현할 수 있는 애니메이션 클립이 되는 것 입니다.

[그림 5] Unity 에디터에서의 애니메이션 키와 커브 ^[5]

이와 같은 작업을 가상 휴머노이드 캐릭터의 움직임을 위한 모든 뼈대, 관절 객체에 대해 수행하면 하나의 캐릭터 애니메이션 클립으로 가상 캐릭터의 모든 동작을 기록할 수 있습니다. 이렇게 기록된 애니메이션 클립은 필요한 시점에 간편하게 로딩되며 캐릭터 모델에 쉽게 반영하여 재생 가능합니다. 또한 애니메이션을 생산한 캐릭터와 동일한 구조의 모델이라면 출처에 관계없이 모두 적용되므로 다른 모습의 아바타로 움직임을 재현해 보기에도 좋습니다.

3D 그래픽스로 이루어진 가상 현실 기반의 콘텐츠는 2D 동영상이나 360도 영상이 아닌, 실감형 가상 공간의 내용이 그대로 제공될 때 시청자 경험이 극대화 될 수 있습니다. 가상 공간 속에서의 자유로운 이동과 실시간 상호작용을 지원하는 콘텐츠는 시청자를 시청자로만 머물게 하지 않고 능동적인 체험자, 사용자 혹은 게임 플레이어로 탈바꿈 시켜줍니다.

새로운 타입의 가상 현실 콘텐츠

클릭 한 번으로 가상 현실 공간을 기록하고 재생할 수 있다면 어떤 더 재미있는 일을 할 수 있을까요? 가상 현실의 기록과 재생 기능을 활용하면 이미 기록된 가상 공간에 누군가 다시 참여하여 기존의 공간 내용을 변경시켜 재기록하는 형태의 콘텐츠도 기획해 볼 수 있습니다. 또한 제작자와 시청자가 함께 창작자가 되어 볼 수 있는 새로운 타입의 가상 현실 콘텐츠가 탄생할 수도 있을 것 입니다. 이를 응용하면 영화나 드라마에서 보던 1인 2역 콘텐츠도 가상 캐릭터를 통해 간편하게 만들 수 있을 것이고, VR 장비를 착용하고 가상 현실 속 악기를 여러 번 연주해가며 기록을 반복하면 기타, 베이스, 드럼, 키보드를 한꺼번에 협주하는 가상세계의 1인 다역 밴드가 되어볼 수도 있습니다. 마찬가지로 K-Pop 그룹의 단체 안무 댄스를 혼자서 춰 볼 수 있는 콘텐츠를 만들어 보는 것도 아주 재미있을 것 같습니다.

[그림 6] Unity로 구현해 본 1인 3역 드럼 연주 ^[6]

가상 현실의 경험은 현실을 바탕으로 하되 가상 세계다워야 더 매력적입니다. 가상 공간을 기록함으로써 버추얼 유튜버 같은 콘텐츠 제작자들이 새로운 방식으로 그들의 콘텐츠를 공유할 수 있다면, 우리는 그들의 가상 현실 세계를 직접 방문하여 색다른 경험을 할 수 있을 것입니다.
최근 들어 영화나 드라마 장르에서는 인터랙티브 콘텐츠가 이목을 끌고 있습니다. 인터랙티브 콘텐츠란 이용자들의 참여를 전제로 그들의 선택에 따라 콘텐츠의 줄거리와 결말이 다르게 진행되는 방식의 서비스입니다. 동일한 콘텐츠를 즐겨도 개인 선택에 따라 전혀 다른 이야기를 경험할 수 있습니다. 일례로 넷플릭스는 2017년 6월부터 “장화 신은 고양이: 동화책 어드벤처”, “마인크래프트: 스토리 모드”, “블랙 미러: 밴더스내치” 등 다양한 인터랙티브 무비를 선보이면서 상당한 반향을 불러 일으키고 있습니다. 넷플릭스는 인터랙티브 무비를 서비스하기 위해 기존에 단방향 영상 스트리밍이 아닌 시청자의 입력을 받을 수 있는 추가적인 채널도 도입했습니다. 가상 현실 기반으로 제작된 컨텐츠도 이와 유사한 양상을 띨 것으로 예상됩니다. 일방향적인 스토리텔링을 하는 콘텐츠보다 흡사 게임과 같이 사용자가 직접 참여하는 콘텐츠가 더욱 각광받게 될 것입니다. 물론 이를 위해서는 가상 세계를 기록하고 재생하는 기술을 잘 활용할 수 있어야 할 것입니다.
발전해가는 가상세계에서 더 많은 사람들을 만날 수 있기를 기대합니다.


Reference
[1] https://www.youtube.com/watch?v=EaRByR8FB_0
[2] https://youtu.be/dYuWX6h-8ok
[3] https://altvr.com/vrcapture
[4] https://altvr.com/vrcapture
[5] https://docs.unity3d.com/kr/2017.4/Manual/animeditor-AnimationCurves.html
[6] 에스코어(주) 자체 제작

▶   해당 콘텐츠는 저작권법에 의하여 보호받는 저작물로 기고자에 저작권이 있습니다.
▶   해당 콘텐츠는 사전 동의없이 2차 가공 및 영리적인 이용을 금하고 있습니다.