[TAG 13] 동시대 영상예술의 지형도 그리기 : Part 1. 알고리즘을 통한 영상예술의 자동화

동시대 영상예술의 지형도 그리기

: Part 1. 알고리즘을 통한 영상예술의 자동화

최근 영상예술은 보다 적극적으로 기술 매체와 결합하여 새로운 양상을 드러내고 있다. 본래 영상 예술은 여러 장의 이미지를 동적으로 전개시켜 발생하는 움직임에 관한 기술적 증명으로부터 시작되었지만, 현대에 이르기까지 그 이상의 기술적 특성과 적극적으로 결합하지는 못하였다. 이는 과거 이미지가 수행했던 현실에 대한 지시 근거의 역할을 대행해왔던 영상의 특성에 기인하는 것일 수도 있지만 움직임에 기술적 특성을 부가하기 어려웠던 기술적 맥락 때문이기도 하다. 그러나 최근 영상 예술은 그것을 작동시키는 근본적 요소에서부터 알고리즘적으로 처리되거나 그것이 재생되는 과정에서 실시간으로 합성되는 면모를 드러내고 있다. 이러한 최근 영상의 기술적 특성은 과거와는 다른 예술적 의미를 생성할 수 있다. 본 기획의 첫 번째는 이러한 최근 영상 예술의 기술적 변화를 기반으로 발생하는 동시대 영상예술의 지형도의 출발점을 알고리즘 예술에서 찾고자 한다. 알고리즘을 기반으로한 초기 생성 예술을 시작으로 아직은 낯선 머시니마로 이어지는 동시대 영상예술의 지형도를 그려볼 것이다.

사진, 영화 이후의 뉴미디어는 과거의 문화적 형식이나 언어들에 어떻게 의존하고 과거의 전통과 단절되는가에 집중하였고, 현실의 환영을 어떻게 만들어내는가에 대한 기술적 실험을 지속해왔다. 포스트-인터넷 상황은 많은 이미지 제작술과 인식의 차원에 진동을 가져왔다. 이제는 물리적 스크린을 벗어나 가상적 스크린으로, 그리고 새로운 인터페이스의 개념 등장으로 진화하고 있다. 이러한 진화 속에 새로운 알고리듬 환경에 의한 비물질 예술의 등장은 영상 예술의 창작 환경에 상당한 영향력을 가진다. 우리가 반복해서 기술하는 벤야민식의 기술복제시대 복제성은 현대 디지털화된 사회에서의 디지털 예술작품의 복제성으로 전환되고, 이제는 복수화된 복제의 재가공을 뛰어넘어서 비물질화된 통합예술로서의 모습에 조력하며 새롭게 도약하고 있다. 디지털화된 그래픽, 동영상, 사운드, 텍스트, 형태 그리고 공간 등으로 구성된 모든 것들은 이제 컴퓨터에 저장된 또 하나의 데이터가 되었고, 디지털적 상황으로 넘어온 현재의 비물질적 이미지들은 사이버스페이스에서 부유하고, 그 이미지들은 다시 예술가들에 의해 새로운 의미를 생성하는 생태계에 있다.

보리스 그로이스(Boris Groys)는 디지털 커뮤니케이션 네트워크 속에서 이미지의 생산과 순환이 특정한 물리적, 기술적 차이들을 초월하고 이질적으로 변모했다는 점을 현대미술의 동시대적 조건 중 하나로 제시한다. 실례로 동시대 영상예술에 지대한 영향을 미치고 있는 히토 슈타이얼(Hito Steyerl)의 스타일을 따르는 영상예술의 특성처럼 일정 길이의 영화나 아카이브 푸티지는 누군가의 웹사이트상에 올라가기도 하고, 블랙박스에서 상영될 수도 혹은 비디오 설치작업으로 화이트 큐브의 공간 속에 놓일 수도 있다. 소위 포스트 인터넷 시대를 향유하고 있는 많은 영상작가는 과거 영화의 문법이나 특정성을 넘어서는 디지털 융합의 논리로 무수히 다양한 ‘매시업(mash-up)’을 실천하고 있다. 비록 대중음악 분야에서 세기적 전환기의 혁신들을 묘사하기위해 최초로 도입되고 활용되기는 했지만, 신조어 ‘매시업’은 이 특정한 시간대와 소재에만 국한되지 않는다. 매시업이라는 용어는 음악뿐만 아니라 어떠한 예술 형식에도 적용될 수 있다. 그 방법론 자체가 현재 사회와 디지털 DIY 문화를 확장시키고 있기 때문이다. 매시업은 콘텐츠 융합으로 볼 수 있다. 즉 두 가지 이상의 원자료들에서 가지고 온 기존 데이터를 혁신적인 방식으로 결합시키는 것이다.1

미국 기술철학자이자인 데이비드 건켈(David J.Gunkel)은 예술가는 다른 사람들의 창조적 작업을 단순히 샘플링하고 복제하는 매시업 디제이와 동일하다고 표현한다.2 웹 기반을 시작으로 한 일종의 매시업의 태도는 무수히 많은 이미지나 영상의 사생아들을 낳았다. 물론 이러한 전유 예술과 그 실천은 여러 이름으로 상호교환될 수 있을 것이다. 콜라주, 브리콜라주, 레디메이드, 파운드 푸티지, 매시업, 리믹스, 포스트프로덕션 같은 용어들로 그 계열을 완성할 수 있다.

 

영상예술에서의 상황은 어떠한가. 근자에 포스트-인터넷의 상황을 대표하는 히토 슈타이얼식의 작업들은 가속화된 자본주의식 형식 전환을 요구하며 파편적 이미지들의 조합들로부터 새로운 무빙이미지들을 재생산하고 있지 않은가. 매시업의 정신이 그대로 반영된 포스트 프로덕션은 이제는 그저 후반 작업의 무엇이 아니라 작품 제작과 편집이 그 중심에 있다. 이제는 영화감독들 조차 카메라 없이 영화를 만들 수 있는 시대가 되었고, 사이버 스페이스에서는 물리적 삶을 초월하는 시뮬라시옹의 세계로도 충만하며 우리의 인식체계조차 가짜든 진짜든 구분하지 못하고 중요하지도 않은 탈현실화 과정을 거치게 된 것이다. 이미지의 지시대상은 이제 실재하지 않아도 좋을 부재의 부재를 낳고, 슈타이얼식으로 말하자면 ‘빈곤한 이미지(poor image)’3를 재생산한다. 필름과 아날로그 비디오, 디지털 비디오와 다큐멘터리와 실험영화의 문법들을 종횡무진 가로지르는 글쓰기는 패러디를 낳고, 또 낳아 그것 자체가 새로운 어떤 것으로 인정받기에 이른다. 또한 빨리 업로드되고, 공유되며 또 다른 뉴(new)한 소위 ‘짤방’이 생산되면 온라인상에 부유되며 떠돌아다니는 주인 없는 디지털적 미아가 되어 우리 인식에서 사라지는 것도 빠르다.

이제는 웹상에 떠돌아다니는 무수한 이미지를 모으고, 다운로드하고, 채집하거나 공유하며 그것들을 다시 재편집한다. 휴대전화는 사진이나 동영상을 찍을 수 있는 카메라이며 또한 텔레비전이자 컴퓨터이기도 하다. 그리하여 개인은 다소 특이하게도 자신을 물리적으로 둘러싸고 있는 즉각적인 주변으로부터 온전히 독립된 지적, 음악적, 시각적 환경 속에서 살 수 있다. 이러한 매체적 상황은 새로운 의식 형태로의 출발점이자 창작환경적 측면에서 동시대 예술의 지형도를 바꾼다.


Still from Hito Steyerl, “HOW NOT TO BE SEEN: A Fucking Didactic Educational .Mov File,” 2013


Still from Documentation of Hito Steyerl’s lecture “Is the Museum a Battlefield”, 2013

이러한 이미지의 재생산의 가속화와 생태계는 우리의 매체와 인식적 환경에서 비롯된다고 할 수 있다. 매체철학자인 폴 비릴리오(Paul Vrilio)는 우리가 이미지를 인식하는 차원을 속도 개념을 통해 설명하였다.4 세계를 바라보는 우리의 시각을 새롭게 해주는 이 가속도는 스펙타클한 이미지를 인식하고 독해하고 창작하는 일련의 과정에 영향을 미친다. 마치 카타리가 디지털혁명과 인터넷으로 형성되는 ‘포스트-미디어’시대를 지배적 매체의 이행기에서 찾았던 것처럼, 이제 우리의 인식 과정과 매체 이용 방식에 미치는 질적 변화는 텔레비전으로 상징되는 물신의 조장과 매체 소비자의 동질화 경향을 벗어나 새로운 분산형 네트워크이자 인터넷을 활용하는 능동적 주체로 변모시킨다. 소위 리좀적 주체들이 펼치는 미디어의 민주적 생태계와 맞물려 이제 능동적 주체들은 가속화되는 빠른 이미지 소비와 해석 과정의 단계를 선호하며, 완벽한 창작은 없는, 그리하여 이제 창조성은 다른 사람들에게 의존해 있거나 무엇으로부터 차용되고 있음을 보여준다. 단순히 이전의 것을 재생하고 반복하며 재활용할 뿐만 아니라 동시대 문화의 모든 측면을 재구성하는 혁신적인 발전으로 여기는 것이다. 디지털 영상예술은 촬영과 편집 과정에서 더는 고전적인 영화적 문법을 따르지 않아도 된다. 이제는 사건과 인물이 등장하지 않아도, 자본과 인력이 많이 들어가는 카메라 촬영을 하지 않아도 충분히 떠돌아다니는 이미지들의 조합만으로 영화 혹은 영상작품을 만들어 내는 현재에 있다. 대표적인 실험영화 감독 브루스 코너(Bruce Coner)는 아카이브 푸티지(Archive footage)를 재편집하고 새로운 사운드트랙을 추가하는 리믹스 방식으로 그의 대표작 <무비 A Movie>(1958)를 만들었다. 그의 영화에는 차와 카우보이들이 펼치는 광란의 레이스와 추격씬 같은 장면부터 난민, 처형, 항공기 사고처럼 감정적인 영향을 불러일으키는 장면들까지 총망라하여 뒤섞어 놓았다. 2012년 영국 터너 미술상을 수상한 비디오 아티스트 엘리자베스 프라이스(Elizabeth Price)만 보더라도 일상생활 속에 숨어 있는 뜻밖의 이미지, 뉴스 클립 속의 충격적인 사건 사고 등을 색다르게 변주해 작품을 완성했다. 그녀의 출세작 <울워스 합창단 1979 (The Woolworths Choir of 1979)>(2012)은 1979년 영국 맨체스터 울워스 백화점 화재 사건을 소재로 한 영상작품으로 텍스트와 영상, 음악을 신선하게 구성했다. 시대를 아울러 이 얼마나 전위적인가. 이미지를 사용하는 방식은 이제는 채집과 수집, 종합적 차원으로 바뀌고 있음을 예술가들은 그 창작물들로 몸소 보여주고 있다.

일찍이 영화씬에서 이러한 ‘파운드 푸티지'(Found footage) 개념이 실험적인 영화를 대변하게 되었다면, 당시 현대미술 씬에서는 매체적 기술 실험이 백남준을 대표하며 일어나고 있었다. 1960년대 백남준이 시도한 여러 기술적 실험은 우리의 의식이 반영된 기술을 요청하고, 변화된 기술은 또한 그 의식을 다양하게 조망했다. 초기 대표적인 시도로는 백남준의 신디사이저를 이용한 비디오 예술을 들 수 있다. 1965년 백남준이 미국에서의 첫 개인전 《백남준: 사이버네틱스 예술과 음악》에서 선보인 작품 중 하나인 <자석 TV>(1965, 1969)는 관객들이 자석을 움직여서 모니터의 화면을 변화시키는 작품이다. 강력한 자력은 텔레비전 전자 빔에 간섭 현상을 일으켜 전자 빔의 방향을 왜곡시키고 백남준이 의도했던 대로 관객의 참여로 인해 추상적이고 아름다운 패턴이 텔레비전에 나타난다. 단순한 원리로 화면을 조작하여 아름다운 화면을 만들어내는 백남준은 일방적인 정보전달의 통로로 여겨졌던 텔레비전을 쌍방향의 피드백이 가능하도록 조작하는 것에서 그치지 않고 궁극적으로 누구든지 피아노 건반처럼 영상을 연주할 수 있는 기계로 만들고자 했다. 백남준이 보여준 이런 혁신은 현재의 시점으로 보아 이미지와 사운드를 믹싱하는 기술을 전망했다. <백-아베 비디오 신디사이저>(1969)는 이러한 백남준의 의도에 따라 1964년부터 일본의 공학자 슈야 아베와 함께 연구를 거듭한 끝에 1969년 처음 제작되었다. 완성된 신디사이저는 카메라 등 여러 외부 영상 소스를 받아 실시간으로 색과 형태를 변형하는 영상편집이 가능한 기계다. 이후 1970년 보스턴의 WGBH 방송국을 통해 방영된 <비디오 코뮨>과 1977년 뉴욕의 WNET을 통해 방영된 <미디어 셔틀 – 뉴욕/모스크바>등의 영상을 제작하는 데 사용되었다.

백남준의 작업을 크게 주목했던 빌렘 플루서(Vilem Flusser)5는 1984년 자신의 한 에세이에서 백남준을 미래 텔레마틱 사회의 혁명적 아티스트로 내다봤다. 플루서는 아방가드적 전용을 주요하게 삼는 백남준을 단순한 비디오아티스트가 아니라 컴퓨터예술의 중심인물로 보았다. 플루서는 한 사회의 체제를 지배하는 이들을 ‘프로그래머’라 부르면서 기술관료, 미디어작동자, 여론형성자를 동일 선상에 올린다. 소위 미디어작동자에 의해 조정되는 텔레비전의 전체주의적 프로그래밍의 억압에도 불구하고 대중 스스로 해방되고 자기결정력을 키울 수 있는 저항의 근거지를 예견했다.6 플루서는 ‘기술적 이미지’의 등장 이후의 시대를 ‘탈역사 시대’라고 지칭한다. 그는 탈역사 시대에서 대표적 매개물인 기술적 이미지는 전통적 이미지와의 근본적인 차이로 알파벳 시대의 경험 유무에 있다고 본다. 알파벳이 등장하기 이전의 전통적 이미지는 세계를 즉각적으로 추상화하였다. 그러나 기술적 이미지들은 알파벳(문자) 시대를 경험했기 때문에, 세계를 이미지로 추상화하는 과정(픽셀화)은 텍스트가 개입될 수밖에 없다. 즉 기술적 이미지는 텍스트로 개념화된 세계를 기술적 장치라는 매개물을 통해 다시 이미지로 추상화하는 것이다. 비트와 픽셀로 수치화된 디지털 기술은 탁월한 검색 기능을 갖추게 되었고, 디지털 자료들을 리믹스하고 재활용하는 것을 일상적으로 가능하게 했다. 이러한 기술적 또는 매체적 상황은 인간들 간의 관계를 본질적으로 변화시켰다는 견지에서 이제 이미지는 텍스트가 되고, 기호학자들 역시 영화라고 말하기보다는 텍스트라고 말하는 것을 더 선호하기에 이른다. 텍스트라는 개념은 이미지든 영화든 리얼리티의 모방이 아니라 인공물이자 구성물이라는 것을 강조한 경향에서 그렇다.

이제는 아날로그 매체를 넘어 디지털 매체 예술이 등장하고, 이러한 예술에서는 작품이라는 전통적인 미학적 범주도 그리고 예술가의 창작이라는 미학적 범주도 예전만큼 중요하게 여겨지지 않게 되었다. 그 대신에 프로그램화된 이미지들이 등장했고, 이러한 이미지들은 예전과는 다른 방식으로 수용되었다. 이제 중요한 것은 작품들의 창작 그 자체가 아니라 주변 환경의 프로그래밍된 센세이션 만들기이다. 이러한 명맥을 이어 적극적으로 융합적 실천을 가능하게 한’ 컴퓨터 아트’는 컴퓨터를 이용하여 창조하는 미술로서 초기단계에서는 계산기를 가지고 어떻게 그림을 그릴 수 있는지에 대한 창작자의 표현에 새로운 가능성을 연 신예술 분야로 여겼다. 그리고 과감히 컴퓨터 프로그램 환경을 자연스레 예술의 차원의 도구와 환경으로 이끈 이들이 있었고, 그들은 그들의 작품을 알고리즘 아트라 명명했다.

‘알고리즘 아트(Algorithmic Art)’란, 1960년대 경부터 시작되었는데, 명백한 규칙들의 집합으로 이루어진 알고리즘은 주로 어떠한 문제를 해결하기 위한 절차나 방법을 의미한다. 주로 컴퓨터에서 사용되던 알고리즘을 몇몇 예술가와 수학자들이 예술에 적용하면서 새로운 컴퓨터 예술로서 자리잡게 되었다. 1950년대에 수학자이자 예술가였던 벤 라포스키(Ben F. Laposky)는 아날로그 방식의 계산기와 모니터 형태의 오실로그래프(시간적으로 변화하는 신호의 파형을 관측하고 기록하는 장치)를 이용해 최초의 그래픽 이미지 <전자추상 Electronic Abstractions>(1950)을 만들었다. 또한 오하이오 주립대학에서 회화를 전공한 찰스 수리(Charles Csuri)가 수학의 사인 곡선 방정식을 왜곡시켜 선으로 그린 초상화 <사인 곡선 인간 Sine Curve Man>(1967)을 발표하여 컴퓨터 회화 작품으로 크게 주목받았다. 1960년대의 컴퓨터 예술가들은 직접 프로그래밍하여 대학이나 기관의 전산실에서 이미지를 만들어야 했다. 이들이 컴퓨터 예술의 1세대를 이루고 초기의 컴퓨터 그래픽 아트를 선도적으로 이끌었다. 사실 1950년대 컴퓨터의 기능전환이 이루어지고 소수의 엔지니어들은 이미 컴퓨터를 예술적 매체로 활용할 생각을 하고 있었다. 거기서 탄생한 것이 컴퓨터 생성음악을 필두로 생성예술(Generative Art)의 시작을 알린다. 막스 벤제의 정보미학과 이론적인 영향을 받은 프리더 나케(Frieder Nake), 미국의 벨 연구소의 마이클 놀(Michael Noll) 등은 컴퓨터를 가지고 그림을 그리기 위해 프로그래밍을 했다. 앞선 선구자들에 의해 60, 70 년대 알고리즘 프로그램 (컴퓨터 그래픽은 Nees의 Zuse Graphomat Z64 기계, Mohr의 컴퓨터에서의 순차적 드로잉 및 Nake의 인터랙티브 그래픽 생성)을 사용한 컴퓨터 디자인 분야에서 서로 다른 창의적인 접근 방식은 교차하고 있었다. 인간의 개입없이 기계 및 또는 프로그램에 의해 자동으로 생성되는 예술 작품(Generative Art)은 알고리즘에 의해 매일 관리되는 자동화된 IT 관련 작업의 편재성에 대한 예술가의 반성의 결실이기도 하다. 그것은 무엇보다 알고리즘아트에서 예술가의 중요성과 환경에 대한 이해이기도 하다. 컴퓨터 예술이라고 불리는 디지털 예술의 진정한 선두 주자는 이제 알고리스트(Algorists)라고 불리우며, 1995년 시그래프(Siggraph)에서 조직된 라운드 테이블 ‘Art and algorithms’에서 특별한 그룹을 형성하기도 했다.


(좌) Gaussian-Quadratic
, 1963, A. Michael Noll, IBM 7094, Stromberg-Carlson S-C 4020 microfilm recorder © A. Michael Noll

(우) Computer Composition with Lines, 1965, A. Michael Noll, IMB 7094 and General Dynamics SC-420 micro-film plotter © A. Michael Noll

컴퓨터는 이제 알고리즘 영상예술(무빙이미지)을 만들어내기에 이른다. 모션그래픽7의 선구자이자 실험 애니메이션의 선구자인  오스카 피싱거(Oscar Fischinger)는 단순한 이미지와 사운드 운율과의 조화를 절묘하게 추상적으로 표현한 <연구 Studies> 연작을 시작으로 ‘시각적 음악’, ‘운동하는 추상’, ‘절대적인 애니메이션(absolute animation)’ 으로 수식되는 비재현적 이미지의 운동성을 기반으로한 예술 세계를 선보인다. 오스카 피싱거는 그래픽 패턴을 그려내서 소리를 생성하는 실험을 1932년에 수행했던 바가 있고, 이 결과가 <장식 사운드 Ornament Sound>이다. 사운드트랙 위에 그림을 그려서 소리를 만들어내는 방식이라 볼 수 있는데, 오시카 피싱거의 바로 이런 계보를 잇는 상업 애니메이션이 월트 디즈니의 <환타지아(Fantasia)>이다.


Oskar Fischinger with sound strips from his synthetic sound experimentsc. 1948. Image © Fischinger Trust. All photos © Center for Visual Music, www.centerforvisualmusic.org, 2012, all rights reserved unless noted.


Catalog
, 1961  © Jhon Whitny
https://www.youtube.com/watch?v=TbV7loKp69s

존 휘트니(John Whitney) 역시 대표적인 생성 예술가로 1950년대부터 활동하던 실험영상 작가이자 애니메이터로도 볼 수 있다. 그는 아날로그 컴퓨터를 이용한 애니메이션을 만들었으며 다양한 그래픽 영상 작업을 선보였다. 그는 컴퓨터 애니메이션에 지대한 영향을 끼쳤는데, 우선 존 휘트니 중심의 실험 작업은 컴퓨터가 이미지를 생성 해내는 작업이었는데, 우선 선행된 것이 프로그램 중심의 작업이 먼저 있고 수학적 알고리즘에 의해 모션 디자인 형태(점자 형태의 다양한 무늬와 반복적인 패턴)로 조합되어 재현되는 작업이었다. 그의 작업은 이후 3D애니메이션이 나타나게 하는데 결정적인 역할을 한다. 현재 컴퓨터 애니메이션이라고 지칭되는 3D애니메이션의 모태가 된 것이 바로 존 휘트니의 작업의 개념 속에서 출발했다고 볼 수 있다. 미국을 중심으로 발전된 애니메이션은 일종의 ‘컴퓨터 생성 이미지(Computer generated imagery)’8라 할 수 있다. 그 이유는 공학적인 접근법과 컴퓨터라는 가상의 공간 또는 툴 안에서만 제작되고 재현되는 것이라 제작 틀에 한계를 같이 갖고 있다는 점이다. 이러한 애니메이션은 애니메이터 중심의 작업이라기보다는 엔지니어에 가깝게 접근한 것이라고도 할 수 있다.


still from Kreise, 1933-34 ⓒ Oscar Fichinger
still from Allegretto, 1936-43 ⓒ Oscar Fichinger 


Linear Perspective 
ⓒ Casey Reas

1980년대 이후 작가들은 PC 위에서 그래픽 하드웨어 및 소프트웨어를 이용하여 굳이 프로그래밍 하지 않아도 이미지를 만들 수 있게 된다. 이들이 컴퓨터 예술의 2세대를 이룬다. 이때만 해도 PC는 소수 전문가 그룹을 위한 도구였다. 덕분에 소프트웨어 개발이 이루어져, 예전처럼 사용자가 컴퓨터로 그림을 그리기 위해서 직접 프로그래밍을 할 필요 없이 소프트웨어로 쉽게 목적을 달성할 수 있게 된다. 2000년대 이후에는 아예 대중이 그래픽 소프트웨어와 하드웨어를 다루게 된다. 이것이 컴퓨터 예술의 3세대이고 현재의 우리의 글쓰기 태도이다. 요즘 미술대학의 디자인과 학생들은 무조건 마스터하고 있는 프로세싱(processing)은 MIT미디어랩 연구원이었던 케이시 리아스(Casey Reas)와 벤자민 프라이(Benjamin Fry)이 개발한 프로그램 언어로 디지털 환경에서 영상을 좀 더 간편하게 만들 수 있는 창작 환경을 제공하고 있다.

이제 예술가는 인간이 새로운 테크놀로지를 만나는 최전선에 서 있다. 바로 그 지점에서 예술가들은 자연스레 테크놀로지의 비평가가 된다. 새로운 테크놀로지를 누구보다 앞서 체험한 그들의 평가는 당연히 테크놀로지의 개발자들에게 피드백된다. 산업혁명은 인간을 기계에 적응시켰지만, 정보혁명은 기계를 인간에 적응시켜야 한다. 예술가들은 새로운 테크놀로지가 사회에 도입되는 인간학적 맥락의 디자이너가 된 것이다.
일상 생활에서 아티스트, 프로그래머와 편재 알고리즘(omnipresent algorithms)의 등장으로 소프트웨어 프로그램은 모든 컴퓨터 데이터베이스를 수용 할 수 있으며 인간이 개입하지 않아도 거의 모든 것을 변환할 수 있게 되었다. 예로 구글 딥드림(Goole Deep Dream)을 사용하여 인터넷 사용자가 웹에서 공유한 환상적인 경험을 통해 변형된 알고리즘 또는 알고리즘을 사용하여 필터링된 모든 유형의 데이터, 웹 인터페이스, 스프레드 시트, GPS 좌표, 사운드, 비디오 및 사진이 자동으로 무한한 가능성을 갖게 된 것이다.

한국의 동시대 예술에서 생성예술은 아직은 낯설지만 계속 진화 중이다. 양민하 작가의 <뛰는 여인들>(2014/2016)9은 수학적 물리적 알고리즘에 의해 생성된 수많은 역학 벡터들에 의해 만들어진 작품이다. 초고속으로 촬영된 영상을 2차원 모션 벡터로 전환하고, 그렇게 생성된 벡터는 다시 영상의 화소 값을 품은 채로 2백만개의 선을 제어한다. 이렇게 재생성되고 재결합된 이미지는 원본의 이미지에 정교한 시각적 변형을 만들어낸다. 또 <해체된 사유(思惟)와 나열된 언어>(2016)는 과학 철학가와 저술가들의 언어로 학습한 기계가 기계 스스로에 대한 기술을 쏟아낼 때 이를 어떻게 바라볼 것인지, 또는 그 문장에 사유의 가치를 부여할 수 있는지 확인하려는 작업이다. 작품은 Bruce Mazlish와 Lev Manovich, Ray Kurzweil 그리고 Daniel Dennett에 이르는 철학가와 저술가들의 책 9권을 기초로 학습했으며, 순환신경망(Recurrent Neural Network(LSTM))을 이용했다. 기계는 그들의 책에 표기된 목차에 근원해 문장을 생성하며, 이들 목차가 기계와 기술 문명에 대한 나열이기에 기계의 사유를 도출한다.


양민하, Running Women, Algorithmic video art, UHD (3840 x 2160 px), 2014/2016
양민하, he Listed Words And The Fragmented Meanings, Generative Media Installation, 2016

알고리즘이라는 동일한 코드를 기반하지만, 좀 더 쉽게 영상 제작을 하는 사례도 있다. 지난한 코딩 과정은 필요없이 게임 엔진을 가지고 영화를 만드는 ‘머시니마(Machinima)’10의 예에서 볼 수 있듯이, 때로는 대중의 상상력이 예술가를 앞서기도 한다. 머시니마는 기계(Machine)과 영화(Cinema)의 합성어로 기존의 게임 엔진을 이용한 만든 애니메이션 영화를 의미한다. 막대한 자본이 드는 영화 제작과 달리 적은 비용으로 3차원의 영화를 만들어 낸다. 머시니마는 게임 자체적인 엔진으로서 영화 같은 연출을 그려내는 일련의 행위들과 결과로 볼 수 있다. 간단하게 말하면 게임 영상을 편집하여 스토리와 연출이 있는 영화로 만드는 것이다. 이는 앞서 언급한 포스트-인터넷 상황에 놓인 동시대 영상예술의 창작 환경을 포함하며, 단지 컴퓨터 게임을 녹화하거나 혹은 게임 자체 녹화기능을 이용해 동영상 편집 프로그램을 이용한 영화 제작 방식이라는 작은 차이가 있을 뿐이다. 게임의 알고리즘 엔진을 이용한 창작 상황은 디지털 가상으로 이루어지는 표면과 피상성이 더해진다.11 이제 게임의 개발자들은 다음 버전을 출시할 때 촬영기능을 대폭 강화해 넣을 수밖에 없었다. 이는 테크놀로지를 애초의 용도에서 일탈시킨 상황이 새로운 기술의 개발로 이어진 예라고 할 수 있다. 이처럼 테크놀로지의 사용과 개발 사이의 간극은 좁아지고 있고, 사용자가 창작자로서 새로운 대안을 제시하는 생태계의 본질적 변화를 초래하고 있다.

늘 그랬다. 모든 예술의 영역에는 기존의 질서와 가치가 존재했고 또 그에 반한 급진적인 대안적 실천이 쏟아져 나온다. 1960년대 백남준의 신디사이저가 그랬고, 다다에 뿌리를 둔 플럭서스의 다양한 방식, DIY미학을 시작으로 존 케이지의 불확정성이라는 개념이 그러했다. 전방위적으로 아방가드르의 정신은 시대를 아울러 여전히 유효하다. 예술가들은 기존의 질서를 넘어서는 혁신과 진화를 통한 새로움을 늘 쫓는 것이리라.

최근 현대 영상 예술의 흐름 속에서도 새로운 예술은 늘 과거를 전복한다. 알고리즘은 이제 동시대 영상예술에서도 유효하다. 알고리즘을 기반으로 게임이 이제는 게임이 아닌 하나의 예술 형식으로 인정받게 되고, 또한 게임의 형식을 띤, 더 나아가 게임 엔진을 그대로 가져와서 작품을 제작하는 미디어 아티스트들이 존재한다.12 대표적으로 메리 플래너건(Mary Flanagan)은 다양한 뉴미디어 아티스트들처럼, 연구 주제 또는 수단으로 컴퓨터 게임 환경을 사용한다. 게임 엔진을 가지고 예술 작품을 제작하는 것이 드문 2000년대 초부터 활발하게 활동을 시작한 미디어아티스트 중 한 명이 바로 메리 플래너건이다. 그녀는 멀티미디어 제작자 겸 교육자로서 네트워크 게임을 통해 젊은 여성들에게 컴퓨터 프로그래밍을 가르쳐주는 교육 프로젝트인 <Adventure of Josie True>라는 최초의 쌍방향 웹게임을 개발하기도 했다.13 그녀가 생각하는 예술은 대중이 흔히 생각하는 예술의 기준보다 훨씬 더 포괄적이고 광범위하다. 그녀에게는 드라마나 영화, 게임과 같은 역사가 짧은 문화 콘텐츠를 비롯하여 프로그래밍이나 가상현실과 같은 최신 기술도 곧 예술로 연결될 수 있다.


Dosmestic, 
2003 ⓒ Mary Flanagan

플래너건의 작품 <도메스틱 domestic>(2003)은 언리얼 토너먼트(Unreal Tournament)라고 하는 게임 엔진을 기반으로 제작되었다. 이 작품은 사이버상의 3차원 환경에서 플레이어들이 미로처럼 복잡한 공간을 돌아다니며 적들을 물리치는 전형적인 FPS(First-Person Shooter) 게임 형식을 띤다. 대게 게임은 아주 잘 구조화된 환경이고, 게임의 이러한 성질은 규칙(Rule)이나 목표(Goal)를 가지는게 기본이다. 게임에서 규칙은 잠재적인 움직임과 앞으로 일어날 사건을 구별해줌으로써 게임에 그 의미를 더해주고, 또한 목표는 플레이어가 성취해야 하는 구체적인 결과로써 주의를 집중해 게임을 헤쳐나갈 수 있도록 방향을 제시한다. 그럼으로써 게임의 다음 행동이나 전개를 가능하게 만들어주는 것이다. 이렇듯 언리얼 토너먼트 게임은 플레이어들 간의 대결과 경쟁을 중심으로 이뤄진다. 그래서 뭔가를 정복하고 파괴하는 남성적인 성격을 지닌다. 여기에서 생각해봐야 할 점은 기존의 언리얼 토너먼트 게임과 메리 플래너건의 <도메스틱>은 게임의 목적과 방향성에 확연한 차이점을 가진다는 점이다. 기존의 언리얼 토너먼트 게임들이 폭력적으로 무언가를 정복하는 것을 보여주고 실행하여 목표를 향해 나아가는 것을 보여주는 반면, <도메스틱>은 이런 게임의 구조를 뒤엎고 외부보다는 내부를, 타인과의 대결과 경쟁보다는 자기 반성적인 것을 추구하며 게임의 환경을 예술 작품의 형식으로 새롭게 수정한다. 플래너건은 어릴 적 추억과 감성을 느낄 수 있는 과거의 기억과 공간을 다시 한번 작품을 통해 창조하기 위해 게임의 형식을 활용할 뿐이다. 이런 패턴은 게임의 기본 방향과는 다른 의미를 도출한다.14


Still Form Sticky Drama, 2015 ⓒ Jon Rafman

    또 다른 작가 존 라프만(Jon Rafman)은 디지털 환경의 문화적 공간과 리듬에 포커스를 맞추어 작품 제작을 한다. 웹 사이트, 비디오게임, 세컨드라이프(가상현실게임), 구글어스 등을 이용해서 디지털적 노마드의 삶을 그 중심에 둔다. <Sticky Drama>(2015)에서 그는 가상 세계와 불가분하게 연결된 환상적이고 미래적인 세계이긴 하지만 물리적 세계의 한 버전을 보여주고 있다. 작품에 등장하는 젊은 전사는 인터넷에서 구전으로 돌아다니는 하이 로맨틱 시를 암송한다. 그리고 예언자와 용병 대장은 접속된 아바타를 써서 소통한다. 인생은 LARP(라이브 액션 롤 플레잉)이다. 상상화된 공간, 사이버 스페이스, 그리고 그것들을 넘어선 공간은 모두 상관관계를 갖고 구분이 안되게 녹아흐르면서 융합되어 어떤 새로운 집합체로 형태를 갖추게 된다. 또 다른 머시니마 영화 <A Man Digging>(2013)에서는 가상의 영화배우가 비디오 게임 학살의 기괴한 공간을 연상시키는 여행을 떠나는 것으로 시작한다. Max Payne 3 게임의 재구성에서 라프만은 플레이어의 역할을 근본적으로 변화시키고, 이제 무서운 전투기가 아닌 디지털 풍경을 제시한다. 영화배우인 인물을 대리한 인간은 죽음에 매료되며, 그들 삶의 맥락에서 분리되고 도살된 시체는 불안하고 무분별한 폭력을 감수한 것 처럼 보인다. 스펙터클이 된 영화를 통해 라프만은 수동적인 과거의 잔해를 심미하는 위험과 죽음에 대한 낭만적인 의미에 직면한 듯 한 우리를 은유한다. 내러티브가 조각난 풍경은 과거의 향수를 불러일으키고 라프만은 우리를 반짝이는(온라인) 기억의 표면을 통해 실제의 먼 가장자리로 데려간다.


A Man Digging , 2013 ⓒ Jon Rafman
Jon Rafman’s web page
http://jonrafman.com

와이어드(Wired)의 공동 창안자인 케빈 켈리(Kevin Kelly)15가 언급한 기술 고유의 “자기생성적 독립성”과 “자율성”의 계보학적 계통은 사실상 현재의 알고리즘 기술과 기계의 독자적 진화와 개체들에게 별도의 권위를 부여한다는 점에서 우리의 문화 형성에 미치는 역전된 위상을 적극적으로 포괄하고 있다.16 대중에게는 알고리즘보다는 ‘알파고’ 의 영향으로 인공지능이 더 익숙한 대명사가 되었지만, 영상예술(사실 무빙이미지라고 표현하는 것이 더 적절한)에서 알고리즘의 영향력은 이미 반세기 가까이 된다. 컴퓨터를 만든 공학자들이 이 상황을 예측이나 했을까. 컴퓨터 알고리즘이 수학적-기계적 차원이 아닌, 예술적- 미학적 차원으로 전이 되고 있으니 말이다. 코딩에도 수려한 아름다움이 있다는 말이 떠오른다. 수학-공학적 언어가 아름다울 수 있다로 표현할 수 있는 그 층위. 물론 무수히 시뮬레이션되고, 모상들을 허상으로 뒤바꾸는 예술 작품에는 기계적인 반복, 지극히 일상적이고 습관적이며 지극히도 천편일률적인 반복까지도 등장하겠지만, 또 모든 순환 속에서 전치되는 지난한 과정에도 불구하고 어떤 차이가 추출될 수 있어야 하겠지만 말이다. 그래서 모든 것이 이미 항상 진행 중인 이와 같은 끝없는 순환에서 중요한 것은, 예술이 올바른 방식으로 이 층위에 들어가서 적절한 응답을 마련하는 것일게다.

글. 정세라 | 더 스트림 디렉터

 

* Supported by 예술경영지원센터

* 이 글은 예술경영지원센터  『시각예술 비평가-매체 매칭 지원 』 의 일환으로 쓰여졌습니다.

* 다음 글은 “(실시간) 영상 합성이 제공하는 예술의 재현성 문제”에 대하여 다룹니다.
http://aliceon.tistory.com/3022?category=220749

* References:

데이비드 컨켈, 문순표, 박동수, 최봉실 역, 『리믹스솔로지에 대하여』, 포스트카드, 2018
히토 슈타이얼, 김실비 역, 김지훈 감수, 『스크린의 추방자들』, 워크룸, 2018
이광석, 『데이터 사회미학』 , 미디어버스, 2016
유원준, 이동연, 김상우, 정세라 외 공저, 『위대한 게임』 , 더미디엄, 2015
케빈 켈리, 이한음 역, 『기술의 충격』, 민음사, 2011
빌렘 플루서, 김성재 역, 『코뮤니콜로기』, 커뮤니케이션북스, 2001
Flusser, V. Kommunikologie, 김성재 역, 『코무니콜로기』. 커뮤니케이션 북스, 2001
Flusser, V. Kommunikologie, 김성재 역, 『코무니콜로기』. 커뮤니케이션 북스, 2001
Flusser, V. Kommunikologie, 김성재 역, 『코무니콜로기』. 커뮤니케이션 북스, 2001
Flusser, V. Kommunikologie, 김성재 역, 『코무니콜로기』. 커뮤니케이션 북스, 2001

http://charlescsuri.tumblr.com/
http://maryflanagan.com/
http://jonrafman.com/
http://www.thestream.kr
http://www.oskarfischinger.org/
http://data.zzzbase.com/animation/1961–Catalog–John-Whitney–Circles-B/
http://computer-arts-society.com/static/cas/computerartsthesis/index.html%3Fpage_id=117.html
https://media.digitalarti.com/blog/digitalarti_mag/algorithmic_art_the_age_of_the_automation_of_art
https://www.siggraph.org/artdesign/profile/whitney/motion.html
http://dam.org/artists/phase-one/a-michael-noll/artworks
https://www.e-flux.com/program/65176/hito-steyerl/

 

  1. 데이비드 건켈, 문순표 외 2인 역, 『리믹스솔로지에 대하여』, 포스트카드, 2018, p.62 참조
  2. 같은 책, p.113 참조
  3. 한 이미지는 업로드되고 다운로드되고 공유되고 재포맷되고 재편집된다. 히토 슈타이얼, 『스크린의 추방자들』, 워크룸, 2018, p.41 참조
  4. 폴 비릴리오의 『Vitesse et Politique (속도와 정치)』 는 1986년 출간되었다. 이후 영문판, 한국번역판 등이 있다.
  5. 대표적인 기술 유토피아적 견지를 가진 매체미학자이자 커뮤니케이션 이론가인 빌렘 플루서의 『코뮤니콜로기』 , 『피상성 예찬』 를 읽어보면 그가 기술형상적 이미지인 사진부터 디지털이미지를 통해 세계를 어떻게 조망하고 인식하고 있는지 알 수 있다.
  6. 이광석 저, 『데이터 사회미학』 , 미디어버스 2017, p.55-56 참조
  7. 모션그래픽스(motion graphics)는 비디오 영상 혹은 애니메이션 기술을 이용하여 영상속에 다양한 움직임이나 회전의 환영을 만들어내는 그래픽이다. 단순한 기술이 아닌 영상 장르 중 하나의 개념으로 자리 잡았으며 예술의 한 분야로 모션 그래픽 아티스트가 존재한다. 또한 대부분 멀티미디어 프로젝트에 사용되기 위해 음향과 결합되기도 한다. 60년대 ABC방송사에서 최초로 시작하였고 70~80년대 MTV의 출현으로, 뮤직비디오를 비롯한 감각적이면서 디자인이 가미된 영상클립에 대한 관심이 높아지기 시작했다. 90년대부터는 영화의 오프닝 시퀀스도 이와 비슷한 모션 그래픽스 타이틀 형식으로 표현되기 시작하면서 대중의 관심을 받게 되었다. 위키피디아 참조
  8. 컴퓨터 생성 이미지(Computer-generated imagery, CGI)는 컴퓨터 그래픽스 분야의 응용이며, 더 구체적으로 말해 영화, 텔리비전 프로그램, 영화, 시뮬레이션, 인쇄 매체의 특수효과를 위한 3차원 컴퓨터 그래픽스를 말한다. 비디오 게임은 보통 실시간 컴퓨터 그래픽스(이를 CGI라고 부르는 경우는 드물다)를 사용하지만 미리 렌더링된 컷 씬과, CGI를 응용한 소개 동영상을 포함할 수 있다. 컴퓨터가 만들어 내는 효과들은 물리적인 처리 이상으로 제어가 가능하고 다른 기술로는 불가능한 영상을 만들어 낼 수 있으므로 CGI는 시각 효과에 사용된다. 기술자가 여러 명의 배우, 값비싼 세트장, 후원사 없이도 콘텐츠를 만들어 낼 수 있다. 3D맥스 마야, 소프트이미지 XSI와 같은 컴퓨터 소프트웨어는 동영상 등을 위해 CGI를 만드는 데 사용한다. CGI 소프트웨어가 최근 급격히 이용하기 쉬워지고, 컴퓨터 속도가 빨라짐에 따라 개별 기술자들과 중소기업이 가정용 컴퓨터로부터 전문가급의 영화, 게임, 영상을 생산할 수 있게 되었다. 위키피디아 인용.
  9. http://www.thestream.kr/?p=4660 더 스크림 아카이브에서 일부 작품 영상을 볼 수 있다.
  10. 머시니마의 창시자라고도 불리는 휴 핸콕(Hugh Hancock)은 머시니마 제작 스튜디오인 스트레인지 컴퍼니(Strange Company)를 설립했다. 2000년에는machinima.com 홈페이지를 열어 머시니마 제작자, 프로그래머, 예술가들이 모여 정보를 공유하는 장을 만들었다. 2002년 에는 휴 핸콕을 포함해 머시니마 제작자들이 의기투합해 게임 개발자 컨퍼런스(GDC) 내에 ‘아카데미 오브 머시니마 아트 앤 사이언스(Academy of Machinima Arts&Sciences)’를 설립하고 ‘머시니마 필름 페스티벌(Machinima Film Festival)’을 기획해, 다양한 머시니마 창작을 장려하고 우수 작품에 상을 수여하고 있다. 본 글에서는 머니시마 필름의 예시를 많이 들지는 않았지만, 유투브와 비메오에 떠돌아다니는 많은 영상들을 찾아보시길 바란다.
  11. 요즘의 상업 영화의 제작환경에서 포스트 프로덕션은 디지털기술을 통해 가속화되었다. 최신 주류 제작 특히 3D나 애니메이션의 경우처럼 영화 제작 자체와 등가적이라 할만큼 중요하다. 동일선상에서 머시니마에서 이용하는 게임엔진은 기술적 장치일 뿐만 아니라 하나의 사태로 볼 수 있다. 또한 인식적 차원에서 디지털 예술이 제기한 재현성에 대한 문제는 또 다른 논쟁과 담론을 동반할 수 밖에 없다. 이것에 대한 것은 다음 글로 이어질 것이다.
  12. 게임이라는 콘텐츠는 비디오아트와 마찬가지로 일부는 서사 구조를 바탕으로 전개되기도 하며, 상호작용적 요소가 전제되어 있어 일종의 인터렉티브 아트로 볼 수 있다. 현재까지 다양한 채널을 통해 게임 혹은 게임적 속성은 지닌 예술은 미술관과 갤러리에서 전시되고 있다.
  13. ‘Adventure of Josie True’는 현재에도 웹을 통한 경험이 가능하다. www.josietrue.com
  14. 정세라 외 공저, 『위대한 게임』 , 더미디엄, 2015, p.44
  15. 과학 기술 문화 전문 잡지 ‘와이어드’의 공동 창간자 가운데 한 명으로, 처음 7년 동안 그 잡지의 편집장을 맡았다. 케빈 켈리, 이한음 역, 『기술의 충격』, 민음사, 2011
  16. 이광석 저, 같은 책, p.108 참조