증강현실의 등장

증강현실 개념이 처음 등장했던 것은 언제일까요? 놀랍게도 지금으로부터 약 50년 전입니다. 1968년 미국 유타대에서 컴퓨터공학을 연구하던 이반 에드워드 서덜랜드(Ivan Edward Sutherland)는 가상현실과 증강현실을 위한 HMD(Head Mounted Display)를 개발합니다. 다모클레스의 검으로도 불리는 이 장치에는 양안 디스플레이와 머리의 움직임을 추적하는 센서가 달려 있었습니다. 그러나, 너무 무거워서 천장에 매달아 놓고 사용해야 했고 가상공간이 선으로만 표현되는 그래픽 기술의 한계 등으로 인해 실용화되지는 못하였습니다. 하지만 그가 고안한 최초의 HMD는 새로운 패러다임을 제시하였고 이후 등장하는 다양한 기기들의 모티브가 되었습니다. 최근 출시되는 HMD 기기들은 성능이 비약적으로 발전하여 궁극의 디스플레이에 점점 가까워지고 있습니다.

[그림 1] 최초의 HMD 모습

증강현실이 가져온 변화

증강현실은 실제 환경에 가상의 사물이나 정보를 합성하여 마치 원래 존재하는 것처럼 보이도록 하는 컴퓨터 그래픽 기법입니다. 증강현실에서의 현실은 우리가 살고 있는 실제 세계를 뜻합니다. 현실에 가상의 정보를 덧붙여 우리의 삶에 어떠한 영향을 줄 수 있다는 의미입니다. 증강현실 기술은 우리의 삶을 얼마나 변화시켰을까요? 우리의 삶에 얼마나 녹아 들어 있는 것일까요?

포켓몬Go는 우리의 일상에 들어와 있는 증강현실 서비스의 대표적인 예입니다. 2016년 7월 미국, 호주, 뉴질랜드를 시작으로 2017년 1월에는 우리나라에도 출시되어 수많은 사용자들이 포켓몬을 잡기 위해 거리로 나섰습니다. 포켓몬Go는 2016년 구글 올해의 검색어에서 전세계 기준 1위를 차지했습니다.

[그림 2] 나인언틱의 증강현실 게임 포켓몬Go

포켓몬Go를 시작으로 다양한 증강현실 앱이 출시되기 시작했습니다. 특히, 애플과 구글이 별도의 하드웨어 없이 스마트폰에서 바로 동작 가능한 증강현실 플랫폼인 ARKit와 ARCore를 출시하면서 누구나 증강현실 앱을 손쉽게 제작하여 배포할 수 있는 환경이 마련되었습니다.

삼성전자는 삼성닷컴 앱에서 가전 제품을 실제로 배치해 볼 수 있는 증강현실 경험을 사용자에게 제공합니다. 부피가 큰 가전의 특성 상 치수를 정확히 측정하지 않으면 기껏 구매한 제품을 다시 반품해야 하는 경우가 발생합니다. 삼성닷컴 앱을 이용하면 가전을 배치하기 위한 공간이 충분한지를 미리 확인할 수 있습니다.

[그림 3] 삼성닷컴 앱을 통해 구매 전 냉장고를 배치해 본 모습

일상에서뿐만 아니라 산업 현장에서도 증강현실은 널리 퍼져 있습니다. 다만, 기술 난이도로 인해 높은 정확도가 요구되는 현장 작업에는 증강현실을 적용하는 것이 쉽지 않았고 대신 방송이나 광고, 마케팅 분야에서 주로 사용해 왔습니다. 그런데 최근 들어 증강현실 기술이 비약적으로 발전하면서 많은 기업들이 생산성을 높이기 위한 도구로 이를 적극 활용하고 있습니다.

세계최대 항공기 제조기업인 보잉은 증강현실 기술을 제조 공정에 적용하여 비행기 부품 연결 작업 시간을 단축시키고 있으며 산불 대비 훈련 등에도 적극 활용하고 있습니다. 산불 정보와 항공 정보를 실시간으로 접수받아 가장 효율적인 대응 전략을 수립할 수 있게 되었다고 합니다.

GE의 자회사인 GE리뉴어블에너지는 풍력발전 터빈 제조 공장의 작업자들에게 스마트 글래스를 착용케 하여 작업 효율을 높이고 있습니다. 한 연구 결과에 따르면 이 새로운 작업 방식은 기존의 전통적인 표준 작업 방법에 비해 생산성이 34% 개선되었다고 합니다. 작업자에게 필요한 정보가 실시간으로 제공되기 때문에 작업을 보다 효율적으로 할 수 있게 되었습니다. 작업자의 숙련도 차이에서 오는 생산성 격차를 증강현실 기술을 통해 극복한 셈입니다.

[그림 4] 스마트 글래스를 산업 현장에 도입하여 작업하는 모습

국내 기업들도 증강현실 기술을 산업 현장에 적용하기 위해 다양한 시도를 하고 있습니다. 모 선박 제조 회사는 3D 설계 도면 모델을 모바일 기기로 보여주고 현장에서 바로 작업 목록, 설치 오류 등을 확인할 수 있게 했습니다. 또한 증강현실 플랫폼을 이용하여 영상을 식별하고 사물을 인식함으로써 작업자의 실적을 자동으로 수집할 수 있는 기술을 연구 중에 있습니다. 이렇듯 증강현실은 알게 모르게 우리의 삶 가까운 곳에 근접해있습니다. 그러면 증강현실 기술은 어떻게 발전해왔으며 현재 어느 수준에 도달해 있는지 그 변천사와 향후 전망을 살펴보도록 하겠습니다.

증강현실을 구현하기 위해서는 세 가지 요소가 필요합니다. 현실 세계와 가상 세계의 정합을 위한 트래킹 시스템, 트래킹 시스템을 통해 얻은 정보를 바탕으로 현실 세계의 영상과 결합시켜 사용자에게 보여줄 그래픽 시스템, 마지막으로 그래픽 시스템과 트래킹 시스템을 통해 생성된 결과물을 시각화 하는 디스플레이 시스템이 그것입니다. 이 중 하드웨어에 해당하는 디스플레이 시스템의 변천사를 알아보도록 하겠습니다.

스마트폰의 보급

2000년대 중반 스마트폰이 보급되면서 다양한 증강현실 앱이 출시되었습니다. 주로 스마트폰의 GPS를 이용하여 구현하면서 사용자 위치에서 가까운 레스토랑, 병원 등을 쉽게 찾을 수 있도록 도움을 주었습니다. 또한 (뒤에서 다시 설명할) 마커를 이용해 간단한 엔터테인먼트를 즐길 수도 있었습니다. 이 시기 스마트폰은 빠른 속도로 확산되었지만 증강현실 기술은 제한적으로 활용되었습니다.

[그림 5] 모바일 증강현실 앱을 이용해 주변 상점의 정보를 얻는 모습

뎁스 카메라

2009년 마이크로소프트는 컨트롤러 없이 사용자의 신체를 이용하여 게임과 엔터테인먼트를 경험할 수 있는 동작인식 키트인 키넥트(Kinect)를 출시하였습니다. 키넥트는 센서를 통해 사용자의 움직임을 인식하여 플레이 중인 게임, 즉 가상현실 속으로 전달합니다. 이는 증강현실이라기보다 증강가상(Augmented Virtuality)에 가깝지만 기술적 맥락은 동일합니다. 이를 가능하게 해 주는 것은 키넥트에 부착된 뎁스 카메라 덕분입니다.
뎁스 카메라는 카메라와 사물 사이의 거리를 측정합니다. 카메라가 발사하는 적외선이 물체에 부딪혀 반사되어 돌아오는 시간을 측정해 거리를 계산하는 방식입니다. (ToF, Time of Flight 방식) 이를 통해 눈 앞에 있는 사물의 실제 거리를 매우 정확하게 측정할 수 있습니다. 하지만 이 간단하고 손쉬운 방법에도 치명적인 단점은 존재합니다. 빛이나 노이즈 등 외부 간섭에 매우 취약하기 때문에 실내에서만 사용 가능한 제약이 그것입니다.

[그림 6] 뎁스 카메라의 동작 원리

2014년 구글은 프로젝트 탱고(Project Tango)를 발표합니다. 탱고는 컬러 카메라 외에 추가적인 뎁스 카메라와 모션 카메라를 사용하여 모바일 상에서 증강현실을 구현하는 플랫폼입니다. 외부 전원이 필요하고 무게가 1.4kg에 달했던 키넥트와 달리 휴대성이 좋고 사용하기 쉬운 장점이 있습니다.
다만 추가 하드웨어가 필요하기 때문에 기존의 안드로이드 디바이스를 그대로 활용할 수 없고 새로운 디바이스를 구매해야 하는 장벽이 있습니다. 그리고 뎁스 카메라의 구조적 한계를 극복하지 못하여 실내 공간에서만 증강현실을 체험할 수 있다는 것 또한 큰 문제였습니다. 탱고 플랫폼을 탑재한 디바이스는 단 2종만 출시되었는데 기존 안드로이드 디바이스보다 크게 매력적이지 않았습니다. 때문에 디바이스의 보급이 원활하게 이루어지지 못하였고 탱고 플랫폼을 더 이상 확산시키지 못했습니다. 결국 2018년 3월, 구글은 프로젝트 탱고를 공식 중단하게 됩니다.

[그림 7] 탱고 디바이스를 이용하여 주변 뎁스를 측정하는 모습

ToF 방식 뎁스 카메라의 단점을 뛰어넘는 스테레오 방식의 뎁스 카메라도 존재합니다. 사람의 두 눈을 사용하여 거리감을 인식하는 것과 마찬가지로 두 개의 카메라로 촬영된 영상에서 픽셀의 차이를 인식하고 이를 계산하여 뎁스를 측정하는 방식입니다. 이 방식은 더 먼 거리까지 뎁스를 측정할 수 있고 빛 등의 외부 간섭에 덜 취약합니다. 그래서 ToF 방식의 뎁스 카메라보단 활용할 여지가 많아 스테레오 카메라를 모바일 디바이스에 부착하여 증강현실을 구현하려는 몇몇 시도들이 있었습니다. 대형 장비를 다루거나 빛 반사 등이 많은 중공업 건설 현장에서 사용하는 것이 대표적인 예입니다. 하지만 이 역시 연구 차원에 그쳤습니다. 측정 정보 계산량이 많아 실시간 처리가 힘들고 무게가 무거워 현장에서 사용하기에는 다소 무리가 있었기 때문입니다.

웨어러블 기기의 등장

서덜랜드가 최초로 고안한 HMD는 많은 사람들에게 새로운 모티브를 주었고 계속 발전을 거듭하고 있었습니다. 2012년 크라우드 펀딩 서비스인 킥스타터(Kick Starter)에 가상현실을 지원하는 HMD인 오큘러스 리프트(Oculus Rift)가 소개되어 주목을 끈 이후 다양한 가상현실 디바이스들이 출시되며 사용자에게 큰 몰입감을 선사하였습니다. 대중의 뜨거운 관심에 비례하여 가상현실 디바이스 기술도 빠르게 발전하게 됩니다.

증강현실에서도 HMD를 이용한 방식의 시도들이 계속되었습니다. 2012년 구글은 구글 글래스(Google Glass)라는 혁신적인 웨어러블 기기를 발표하였습니다. 일반 안경과 유사한 디자인의 이 기기는 안경 렌즈 위에 소형 디스플레이를 부착한 형태입니다. 웨어러블 기기의 혁명이 될 것으로 기대됐던 이 제품은 그러나 시장에 제대로 출시조차 되지 못했습니다. 좁은 시야각뿐만 아니라 고정된 초점거리로 인하여 사용자에게 큰 피로감을 주었습니다. 디바이스 무게와 배터리 용량은 상충관계지만 구글 글래스는 일상적으로 사용하기 어려운 수준이었습니다. $1,500에 달하는 비싼 가격도 큰 문제점으로 지적되었습니다.

[그림 8] 구글 글래스

키넥트 출시 이후 잠잠하던 마이크로소프트는 2015년 HMD 증강현실 기기인 홀로렌즈(HoloLens)를 발표하며 다시 증강현실 시장에 뛰어 들었습니다. 홀로렌즈는 구글 글래스나 스마트폰에서 동작하는 증강현실과 비교하면 압도적인 성능을 보여줍니다. 홀로렌즈에 부착된 뎁스 카메라와 공간 맵핑(Spatial Mapping) 기술을 이용하여 위치를 정교하게 잡아서 현실 세계와 가상 세계를 연결합니다. 또한 두 개의 렌즈를 통해 보여지는 홀로그램은 가상현실 속의 그것처럼 높은 몰입감을 제공합니다. 하지만 좁은 시야, 579g에 달하는 무게, $3,000가 넘는 가격 등 단점도 존재합니다. 마이크로소프트는 이를 개선한 후속 제품을 B2B 산업용으로 2019년말부터 공급하기 시작했습니다.

[그림 9] 홀로렌즈를 착용한 모습

현재 가상현실 분야의 HMD 기기는 상용화 단계를 거쳐 다양한 제품들이 출시되고 있는 반면, 증강현실용 기기는 아직 기술적으로 완성되지 않은 상태입니다. 주로 고정된 공간에서 사용하는 가상현실 HMD와는 다르게 일상 생활에서 사용되어야 하는 증강현실 웨어러블 기기는 배터리 용량과 무게에서 자유로울 수 없습니다. 아직은 하드웨어 성능이 부족하고 시기상조로 보여지나 구글, 애플, 마이크로소프트 등 거대 IT 기업들을 중심으로 디바이스를 개량하기 위한 투자와 연구 활동이 활발히 전개되고 있어 미래는 밝을 것으로 예상됩니다.

다시 모바일로

2017년 이전에는 증강현실 기술을 구현하기 위해서는 별도의 장비가 필요했습니다. 이 장비들은 대체로 고가였고 활용할 인프라는 부족했습니다. 또한 증강현실을 체험하기 위해서도 별도의 장비가 필요했는데 이 역시 충분히 보급되지 못했고 그렇다 보니 콘텐츠도 부족했습니다. 고가의 장비가 콘텐츠 보급을 막고, 즐길 콘텐츠가 충분치 않아 장비가 팔리지 않는 아이러니한 상황인 것이죠. 증강현실 생태계가 제대로 갖춰지지 않았기 때문에 벌어진 일이었습니다.

하지만, 2017년 애플이 별도의 추가 하드웨어 없이 이미 널리 보급된 아이폰, 아이패드에서 바로 동작이 가능한 증강현실 플랫폼인 ARKit을 발표하면서 이 판도는 완전히 바뀌게 됩니다. 아이폰, 아이패드라는 생태계가 존재하기 때문에 이를 그대로 이용하기만 하면 되는 상황이었습니다. 마침 구글도 별도의 뎁스 카메라가 필요했던 탱고 플랫폼을 버리고 기존 안드로이드에서 바로 사용 가능한 ARCore를 발표하면서 증강현실은 다시 모바일로 옮겨가게 되었습니다. ARKit과 ARCore 플랫폼의 가장 중요한 특징은 증강현실을 즐기기 위해 스마트폰 외에는 아무것도 필요하지 않다는 점입니다. 게다가 스마트폰은 점점 진화하고 있습니다. 초기 스마트폰은 한 개의 컬러 카메라를 탑재하고 있었으나 최근에 출시되는 스마트폰은 2~3개의 카메라뿐 아니라 뎁스 센싱이 가능한 심도인식 카메라 등 다양한 센서들이 부착되어 있습니다. 스마트폰의 비약적인 발전이 모바일에서 증강현실을 구현하는 날개가 된 것입니다.

[그림 10] ARKit이 탑재된 아이패드로 증강현실 게임을 즐기는 모습

그렇다고 웨어러블 디바이스가 위축될 것으로 보이진 않습니다. AR과 VR이 주축이 되는 실감미디어 산업이 4차 산업혁명의 한 축으로 부상하였고 애플을 비롯한 많은 대기업들이 투자를 지속하고 있기 때문입니다. 현존하는 웨어러블 기기들이 아직 충분한 성능을 발휘하지 못하고 있으나 디바이스가 발전하는 속도는 매우 빠르기 때문에 결국 증강현실의 무게 중심은 양손을 자유롭게 사용 가능한 웨어러블 기기로 옮겨가게 될 것입니다.

다음 편에서는 ‘산업 현장에서 활용 가능한 증강현실’에 대해 자세히 살펴보겠습니다.


# References
[1] >https://it.donga.com/21254
[2] https://pokemongolive.com/ko
[3] https://news.samsung.com/kr
[4] https://www.gereports.kr
[5] https://www.wikitude.com/blog-top-travel-apps-enjoy-summer
[6] https://pdfs.semanticscholar.org/0367/5af6a00f65b5b16b0089510733bd69f53132.pdf
[7] https://www.youtube.com/watch?v=Qe10ExwzCqk
[8] https://www.google.com/glass/start
[9] https://www.microsoft.com/en-us/hololens
[10] https://www.apple.com

▶   해당 콘텐츠는 저작권법에 의하여 보호받는 저작물로 기고자에 저작권이 있습니다.
▶   해당 콘텐츠는 사전 동의 없이 2차 가공 및 영리적인 이용을 금하고 있습니다.