디지털 휴먼(Digital Human). 의미를 생각해보면 익숙하면서도 무언가 막연한 이 단어가 근래 사업 또는 대상 또는 기술로서 자주 소개되고 있다. 멋들어진 춤을 선보이며 신한은행의 ‘신한라이프’앱과 서비스의 이미지 광고에 등장한 로지(오로지, Rozy)라는 인물이 실제 존재하지 않는 디지털 휴먼이었다는 놀라웠던 순간이 2021년이었다. 브라질계 미국인의 설정을 가진 19세의 릴 미켈라(Lil Miquela)가 2016년 등장해 2022년 현재 인스타그램(instagrma) 팔로워 300만 명을 가지고 활동하고 있다. K팝 그룹 에스파(Aespa)는 현실세계의 4인, 가상세계의 4인이라는 총 8인 그룹으로서 2020년 데뷔했다. 코드미코(Codemiko)와 같은 버추얼 유튜버들은 자신의 모습과 움직임을 실시간 모션 캡쳐하며 유튜브 콘텐츠를 이끌며 시청자들과 소통하고 있다.
이렇게 사실적으로 구현된 3D 인간의 모델로서 디지털 휴먼은 최근 소개되고 있는 개념이라는 것과 상반되게 생각보다 오래된 대상이다. 전 세계 음악인들을 끓어오르게 만드는 음악 행사 중 하나인 코첼라 뮤직 페스티벌(Coachella Valley Music and Arts Festival)의 마지막 날, 닥터 드레(Dr. Dre)와 스눕 독(Snoop Dogg)과 함께 무대에 올라 페스티벌에 참여한 모든 이들을 열광시킨 투팍(2Pac). 여기의 투팍은 1996년 사망 후 16년 만에 홀로그램으로 4분 35초간 무대에 선 것이 2012년이었다. 압도적인 사실감과 환상적인 세계를 묘사하며 사람들을 매혹시켰던 너무나 현실적이었던 제임스 카메론의 영화 아바타(Avatar)의 나비족이 등장한 것이 2007년이었다. 디지털 휴먼, 버추얼 휴먼, 메타 휴먼. 알듯 모를 듯, 유사한 개념까지 함께 다가오고 있는 이들은 무엇일까. 그리고 왜 지금일까.
통칭 ‘디지털 휴먼’에 대해 좀 더 구체화하기 위해 가상 프로덕션 회사이자 플랫폼인 버추얼스(Virtuals)의 정리를 가져올 와 볼 수 있을 것이다. 그들은 디지털 휴먼을 ‘사실적인 3D 인간의 모델(Photorealistic 3D Human Models)’이라고 정의한다. 그리고 이들의 하위 개념으로 실존하는 인간을 스캐닝 또는 모델링하여 구현한 디지털 더블(Digital Doubles)과 디지털 휴먼에 이를 더욱 사실적이고 풍부하게 만들기 위한 캐릭터성 또는 서사를 부여한 가상 인간(Virtual Humans)를 설정했다. 그렇다면 이러한 개념이 왜 지금 새삼스레 떠오르고 있는 것일까. 강한 영향을 줄 수 있는 기술의 등장과 접목, 그리고 그로 인해 열린 접근성이 중요하다. 디지털 더블을 위한 실제 인물에 대한 모션 캡쳐(Motion Capture), 또는 스캐닝하여 정교한 3D 데이터화 할 수 있는 볼류메트릭(Volumetric)기술은 작은 단체나 개인이 감당할 수 없는 막대한 돈과 시간이 소요되는 분야였다. 하지만 기술의 발달은 사용해야 하는 소프트웨어와 기기의 가격을 대폭 낮추었으며 많은 인력이 투입되어야 하는 상황을 소수 또는 개인이 가능토록 자동화했다. 인공지능 기술의 일환인 머신러닝(Machine Learning)은 어떠한 대상, 상황에 대해 심지어 실제 인간을 필요치 않은 상황으로 전개시켰다. 대역 또는 어떤 배우가 연기한 것을 특정 배우 또는 세상에 없는 존재가 행하는 장면으로 연출이 가능해졌고 어떤 가상의 인물이 실시간으로 나와 소통하며 무언가를 실행하거나 해결하는 장면은 상상이 아닌 현실이 되었다. 기술적으로 엄밀히 구분되어있던 가상의 인간에 대한 영역과 기능은 점차 통합되어가고 있으며 이들이 위치한 곳은 영화나 영상의 프레임 안에서 점차 우리와 상호 소통할 수 있는 세상으로 확장되고 있기에 많은 이들이 접근하고 가능성을 타진하는 영역이 된 것이다.
이와 관련한 행사로 휴먼 캐릭터를 활용한 XR 콘텐츠 연구를 위해 발족한 리본(Reborn) 제작 랩에서 <디지털 휴먼을 활용한 리얼타임 XR 콘텐츠 제작 연구>가 진행 중이다. DMC 첨단산업센터에 입주한 기업과 한양대학교 디자인대학이 함께 진행 중인 이 사업은 디지털 휴먼을 주제로 연구모임과 세미나, 전문 특강이 운영되고 있다. 그중 6월부터 진행 중인 네트워킹 행사가 무게감이 크다. 오픈랩 세미나로 운영 중인 네트워킹 행사는 6월부터 8월까지 3개월간 해당 월별 주제를 중심으로 다양한 연사들이 디지털 휴먼에 관련한 다양한 관점의 이야기를 공유했다.
6월은 디지털 휴먼을 다루기 위한 툴과 기술에 대한 소개와 활용 방향에 대한 이야기가 주를 이루었다. 에픽게임즈 교육 에반젤리스트인 권오찬은 현재 디지털 휴먼 창작 툴이자 세계 구축 도구로 주목받고 있는 언리얼 엔진 5의 메타휴먼(Meta Human) 기능을 중심으로 관련 콘텐츠의 발전 방향과 가능성, 그리고 이에 대한 프로그램의 활용 방안을 소개했다. AI 기반 3D 공간 정보를 다루는 스타트업 모빌테크 대표 김재승은 3D 모델 생성 도구인 리얼리티 캡처(Reality Capture)를 중심으로 공간을 3D로 다루며 최적화하는 방법에 대한 이야기를 진행했다. 메타버스와 연관된 콘텐츠의 연구, 제작을 진행하는 메타버스엔터테인먼트(주)의 리얼타임 콘텐츠팀 팀장 조영조는 언리얼엔진의 메타휴먼 기능의 소개와 세부 기능을 활용한 창작 과정을 소개했다.
7월에는 6월 진행 내용을 기반으로 참여 인원의 내부 세미나와 청소년을 대상으로 한 디지털 휴먼 프로젝트 시연과 VR 작품 체험이 마포구 청소년 문화의 집에서 진행되었다. 전문가로는 메타휴먼 크리에이터와 언리얼 엔진을 활용한 뮤직비디오를 제작한 이상민, 지속적으로 인기를 누리고 있는 수퍼히어로 영화 중 DC 확장 유니버스의 6번째 영화인 <아쿠아맨(2018)>의 VFX를 담당한 최길남 감독 이 초청되어 각자 진행한 디지털 휴먼 연관 프로젝트에 대한 과정과 기술을 소개했다.
그리고 8월은 디지털 휴먼보다는 더욱 폭넓은 3D 디지털 콘텐츠 영역에 대한 소개가 진행되었다. 디지털 문화재 복원가 박진호 박사는 디지털 헤리티지 분야에서 활용 중인 3D 구현 기술 및 관련 프로젝트에 대해 소개했다. 모빌테크 대표 김재승은 6월에 이어 리얼리티 캡처를 통한 활용방안과 360 카메라와의 연결 시연을 진행했다. 그리고 8월 말 현장과 유튜브 실시간 중계를 함께 진행한 디지털 휴먼 포럼에서는 최길남, 이상민, 김재승, 허대찬, 최석영이 ‘디지털 휴먼’이라는 현상, 기술, 창작, 문화에 대한 다양한 현황, 활용 방법, 관점을 공유했다.
“ReBorn”제작 랩은 제작 및 활용에 대한 리서치 외에도 직접적 실행을 계획 중이다. 올해 9월 4일 성남아트센터 앙상블시어터에서 진행된 <대가들의 수다>에 참여하여 XR 오페라로서의 사례를 남겼다. 그리고 이후 랩에서 제작한 디지털 휴먼 ‘휴’가 직접 출연하여 새로운 XR적 시도를 진행할 계획을 가지고 있다고 한다. 또한 소프라노 성악가 조수미에 대한 디지털 휴먼 제작 프로젝트에 참여하는 한편 연구소가 위치한 DMC 첨단산업센터 내 XR 실증센터에 입주한 16개 기업과 연계한 프로젝트 및 실증 공간을 준비 중이라고 한다.
디지털 휴먼에 관련한 기술과 콘텐츠, 창작 및 제작 활동은 기존 고비용, 대규모, 다인원을 필요로 하던 높은 자원 기반 조건에서 소수 및 개인이 보다 자동화 및 고도화된 소프트웨어 및 도구, 플랫폼을 통해 접근할 수 있도록 진입 장벽이 낮아졌다. 또한 인공지능 기술의 발달을 통해 고정된 콘텐츠가 아닌 실시간으로 상호 작용이 가능해져 그 가능성과 활용의 폭이 유의미하게 확장되었다. 코로나로 인해 급격히 가속화된 디지털과 물리 세계의 중첩, 가상과 현실의 교차와 확장은 디지털 휴먼에 대한 익숙함과 호감, 당위성을 더욱 우리 곁 가까이 위치시켰다. 물론 이러한 발전과 밀착에 대해 페이크 뉴스와 같은 오남용과 부작용의 우려는 무겁다. 가능성을 더욱 확장하고 다양한 활용을 맞이하기 위해, 또한 위험과 부작용을 이해하고 대응하기 위해 리본 제작 랩의 활동과 같은 연구를 기반한 이해와 활용, 그리고 접촉면을 넓히는 시도가 더욱 많은 플레이어에 의해 지속되기를 기원한다.
허대찬 (aliceon 편집장)
본 글은 메타휴먼랩 주식회사 감성놀이터의 지원으로 작성되었습니다.