이것은 사실 모든 새로운 매체 기술이 겪는 초기 국면이다. 1895년 뤼미에르 형제(Auguste Marie Louis Nicholas Lumière)의 《열차의 도착 L’arrivée d’un train à La Ciotat》이 관객을 놀라게 한 것은 영화라는 서사 형식의 힘이 아니라 ‘움직이는 이미지’라는 기술적 사실 그 자체였다. 관객은 스크린 위의 기차를 보고 몸을 피했다고 전해지지만, 그 놀라움은 반복될수록 빠르게 소진된다. 기술적 경이가 서사적 경험으로 전환되기까지, 뤼미에르에서 멜리에스(Georges Méliès)의 환상으로, 다시 그리피스(David Wark Griffith)의 몽타주로 전이되기 위해 영화는 십 수 년의 시간이 필요했다. 지금 AI 실사화 숏폼의 대부분은 아직 뤼미에르의 단계에 머물러 있다. 기차가 달려오는 것을 보여주는 것만으로 충분한 시기라는. 나도 연구에 대한 현상의 탐색이었고 어느정도는 무덤덤함 속에 있었다.
다만 무채색의 일관도였던 것은 아니었다. AI 영상 기술의 질주는 문화 영역 전반에서 체감되고 있고, 특히 내 흥미를 끌었던 것은 특정 IP의 시청자들이 AI 영상 툴을 활용해 적극적으로 창작에 나서는 현상이었다. 최근 넷플릭스 <흑백요리사> 시즌2를 소재로 한 일본 애니메이션풍 오프닝과 클로징 영상을 보며 감탄한 적이 있다. 이 제작자는 애니메이션 문법을 이해하고 있구나, 조림핑을 주인공으로 세우고 요괴를 최종 보스로 각색하면 꽤 재미있는 구조가 되겠는데, 라는 그런 종류의 흥미. 기술에 대한 감탄이라기보다 창작적 해석에 대한 관심이었고, 그 자체로 즐거운 경험이었지만 감정의 깊은 층위를 건드리지는 않았다.
전환점은 우연히 찾아왔다. 며칠 전, 판타소너(Phantasonar)라는 유튜버의 영상을 발견했다. 슬램덩크 산왕공업전 마지막 1분의 AI 실사화였다. 재생 버튼을 누른 순간부터 감탄사가 멈추지 않았다. ‘AI는 실사화가 답이다.’ ‘이게 이렇게 위화감이 없다니.’ 솔직히 나는 만화 및 애니메이션의 실사화에 대해 특별한 호감은 없었다. 일본의 만화-애니메이션 전환은 이미 높은 경지에 도달했지만, 실사화만큼은 기대치에 미치느냐를 떠나 매체적으로 애초에 맞지 않는다고 생각해왔다. 각 매체에는 고유한 특성이 있고, 이를 반영한 각색과 해석이 수반되어야 완성도 있는 전환이 가능하다는 확신이 있었기 때문이다. 그런데 이 AI 실사화는 전혀 달랐다. 그 확신에 균열이 생긴 것이 고작 5일 전의 일이다. 그런데 오늘, 일정을 마치고 길을 걷다가 유튜브 피드에 뜬 영상 하나가 눈에 들어왔다. 판타소너가 새로 올린 슬램덩크 팬메이드 뮤직비디오. 재생했고, 더 깊은 충격을 받았다.
영상은 만화의 첫 장면부터 시작한다. 주인공 강백호 앞에 선 소연의 “농구 좋아하세요?” 그 한마디에서 출발하는 서사. 초보자의 트레이닝, 첫 시합 참가, 고교 리그 강호 팀들의 주역이 한 명씩 등장하는 장면들, 명경기의 하이라이트가 실사의 얼굴과 신체를 가진 채 눈앞에 펼쳐진다. 고등학교 시절을 슬램덩크 만화책과 NBA 중계, 농구대잔치의 열기로 통과했던 나에게 이것은 추억이 현현하는 순간의 연속이었다. 만화책 페이지를 넘기며 가슴이 뛰었던 감각, 점심시간 교실에서 돌려 읽던 단행본의 촉감, 운동장에서 친구들과 흉내 내던 동작들. 그 모든 것이 전혀 다른 시각적 표면 위에서 정확히 같은 감정의 파장으로 되돌아오고 있었다. 스스로가 박상민이 부른 주제곡 <너에게로 가는 길>의 세대였기에 더욱 그랬는지도 모른다.
그리고 극장판 <더 퍼스트 슬램덩크>가 조명한 송태섭의 이야기까지 이어진 뒤, 마지막 장면. 산왕전, 강백호와 서태웅의 하이파이브. 이전 산왕전의 1분 실사화 콘텐츠에서 빠져 있어 아쉬웠던 바로 그 장면이 눈앞에서 실현되는 그 순간. 기억 속에 미완으로 남아 있던 장면이 마침내 완결되는 감각, 지연되어 있던 감정이 한꺼번에 해소되는 충격. 도파민 쇼크라는 말이 과장이 아니었다.
만화 또는 애니메이션의 실사화는 오래된 시도이고, 오래된 실패의 목록이다. 특히 일본에서 이 실패는 개별 작품의 완성도 문제를 넘어 거의 구조적인 양상을 보인다. 그 첫 번째 요인은 제작위원회(製作委員会) 시스템일 것이다. 출판사, 방송국, 영화사, 광고대행사 등 다수의 투자자가 리스크를 분산하는 이 구조는 일본 콘텐츠 산업의 독특한 발명이지만, 동시에 창작적 모험을 체계적으로 억제하는 메커니즘이기도 하다. 각 투자자의 이해관계가 교차하는 지점에서 연출적 결단은 희석되고, 결과물은 누구도 크게 불만스럽지 않지만 누구도 깊이 만족하지 않는 중간 지대에 안착하게 된다.
두 번째 요인은 소비자 시장의 독특한 충실성 요구다. 일본의 만화·애니메이션 팬덤은 원작의 완전한 재현을 기대하는 경향이 유독 강하다. 캐릭터의 외모, 대사의 뉘앙스, 심지어 특정 컷의 구도까지, 원작과의 편차는 곧 비판의 대상이 된다. 이것은 단순한 팬덤의 보수성이 아니라, 만화라는 매체가 일본 문화에서 차지하는 위상과 관련이 있다. 만화 원작은 단지 ‘원작 소재’가 아니라 그 자체로 완결된 미학적 경험이며, 실사화는 그 경험의 열화 복제로 인식되기 쉬운 구조다.
그러나 이 두 가지보다 더 근본적인 문제가 있다. 만화라는 매체 자체의 정보 밀도와 시간 구조다. 이노우에 다케히코(井上雄彦)의 <슬램덩크>를 예로 들어보자. 산왕전의 마지막 시퀀스에서 강백호가 점프슛을 쏘는 한 컷. 그 안에는 신체의 역학적 긴장, 주변 선수들의 시선이 만드는 공간적 압력, 시간의 극단적 정지, 그리고 독자가 수십 권에 걸쳐 축적해온 서사적 무게가 동시에 압축되어 있다. 만화의 컷은 물리적 시간 밖에 존재한다. 독자는 한 컷에 1초를 쓸 수도, 30초를 머물 수도 있다. 이 자유로운 시간성이 감정의 밀도를 가능하게 한다.
이것을 실사로 옮기는 순간, 이 압축은 풀려버린다. 배우의 신체는 물리 법칙에 종속되어 있고, 카메라 앞의 시간은 현실의 속도로 흘러간다. 만화에서 한 컷이 담당하던 감정의 정지를 실사영화는 슬로모션으로 대체하지만, 슬로모션의 시간은 여전히 물리적 시간의 변형이지 만화적 시간의 재현이 아니다. 결과적으로 만화가 만들어낸 감정의 리듬, 정지와 가속, 압축과 폭발의 교차는 실사라는 매체로 넘어오는 과정에서 체계적으로 손상된다. 아이러니하게도 현실성, 물리적 법칙이 만화 컷에서의 많은 것들을 제거해버린다. 이것이 매체의 차이다.
서구는 이 매체 전환의 문제에 대해 상대적으로 세련된 접근을 축적해왔다. 할리우드의 IP 각색 산업(Adaptation Industry)은 코믹스에서 영화로, 소설에서 시리즈로의 전환을 수십 년간 시스템으로 반복해온 역사가 있다. 원작에 대한 충실성보다 도착 매체의 문법에 맞는 재해석을 우선시하는 전통이 있고, 이를 뒷받침하는 각본, 연출, 프로덕션 디자인의 전문 인력 풀이 존재한다.
그러나 세련됨이 정동적 임팩트를 보장하지는 않는다. MCU(Marvel Cinematic Universe)는 코믹스의 영화화를 산업적으로 가장 성공적인 시스템으로 만들었지만, 잭 커비(Jack Kirby)나 스탠 리(Stanley Martin Lieber)의 원작 코믹스가 특정 페이지에서 만들어낸 시각적 전율이 영화에서 동일한 강도로 재현되느냐는 별개의 문제다. 시스템의 정교함은 평균적 품질을 보장하지만, 매체를 건너뛰는 정동적 충격은 시스템만으로 설계되지 않는다.
피터 잭슨(Sir Peter Robert Jackson) 감독의 <반지의 제왕 Lord of the Rings> 3부작이 예외적 사례로 기억되는 이유가 여기에 있다. 잭슨이 한 것은 J.R.R. 톨킨(John Ronald Reuel Tolkien)의 텍스트를 영화로 ‘옮긴’ 것이 아니다. 톨킨이 언어로 구축한 중간계(Middle-earth)의 체감, 즉 광활함, 고대성, 경외와 상실의 정서를 영화라는 매체의 고유한 자원, 즉 뉴질랜드의 지형, 하워드 쇼어(Howard Shore)의 장중한 음악, 웨타 워크숍(Wētā Workshop)의 물성으로 다시 구축한 것이다. 매체 번역이 아니라 매체적 재창조이다. 원작의 정동적 핵심을 보존하되 그것을 도착 매체의 문법으로 완전히 새롭게 실현하는 작업인 것이다. 이런 성취가 드문 것은 그만큼 이 과제가 본질적으로 어렵다는 방증이다.
제이 데이비드 볼터(Jay David Bolter)와 리처드 그루신(Richard Grusin)은 이 문제를 재매개(remediation)라는 개념으로 이론화했다. 새로운 매체가 이전 매체의 콘텐츠를 재매개할 때, 매개를 의식하지 않고 콘텐츠에 몰입하는 상태인 투명한 즉각성(immediacy)을 추구할수록, 역설적으로 매개 행위의 흔적(hypermediacy)이 더 선명하게 드러난다는 것이다. 만화를 실사로 옮기면서 ‘진짜처럼’ 보이게 하려 할수록, 관객은 오히려 ‘이건 만화를 실사로 만든 것’이라는 매개의 사실을 더 강하게 의식하게 된다. 기존의 실사화가 반복적으로 위화감을 생산해온 것은, 이 역설을 정면으로 맞이한 결과다.
그런데 AI 실사화에서 일어나는 일은 이 구도와 질적으로 다르다. 판타소너의 슬램덩크 영상을 보며 ‘위화감이 없다’고 느낀 것은, 기술적 완성도가 임계점을 넘었다는 단순한 사실만으로 설명되지 않는다. 물론 AI 영상 생성 기술의 비약적 발전은 전제 조건이다. 불과 1~2년 전만 해도 AI 생성 영상은 손가락 개수의 오류, 얼굴의 미세한 왜곡, 동작의 부자연스러운 보간 등으로 즉각적인 불쾌한 골짜기(uncanny valley)를 생산했다. 이 기술적 문턱이 낮아진 것은 분명한 사실이며, 이것 없이는 이후의 논의가 성립하지 않는다.
이 차이가 결정적인 효과를 만든다. 시간의 극단적 정지, 감정의 과장된 압축, 동작의 비물리적 도약같은 만화의 시각적 리듬이 실사의 외피를 입고도 손상 없이 살아남을 수 있게 되는 것이다. 실사영화에서 슬로모션이 대체할 수 없었던 만화적 시간의 정지를, AI 실사화는 애초에 물리적 시간에 묶여 있지 않기 때문에 자연스럽게 수용한다. 배우의 신체가 풀어버렸던 감정의 압축을, 신체를 갖지 않는 AI 생성 이미지는 그대로 보존한다. 독자와 함께 했던 강백호의 그간의 땀과 열정이 단 1초로 압축되고 풀어져나오는 그 장면같은.
이것은 ‘실사’이되 실사영화가 아닌, 제3의 매체 범주일 것이다. 만화의 시간성과 실사의 시각성이 공존하는 새로운 지대. 볼터와 그루신의 역설, 즉각성을 추구할수록 매개가 드러남을 AI 실사화는 정면 돌파가 아니라 우회한다. 실사영화의 문법을 따르지 않음으로써, 실사영화가 도달하지 못했던 곳인 원작 만화의 정동적 밀도에 오히려 더 가까이 도달하는 것이다. 위화감이 사라진 것은 AI가 실사를 완벽하게 모사했기 때문이 아니라, 실사영화라는 매체의 제약 자체를 경유하지 않았기 때문이다.
물론 이 새로운 매체적 가능성은 그 자체로 작품이 되지 않는다. 가능성과 실현 사이에는 건너야 할 다리가 있다. 숏폼 플랫폼에 범람하는 수많은 AI 실사화가 여전히 기술 시연의 층위에 머물러 있다는 사실이 이를 증명한다. 동일한 기술적 조건 위에서 판타소너의 작업만이 정동을 불러일으킨 이유는 AI의 성능이 아니라 다른 곳에 있다. 그렇다면 이 매체적 가능성을 기술 시연이 아닌 작품으로 전환시키는 조건은 무엇인가.
