엔비디아(CEO 젠슨 황)가 제92회 아카데미 시상식 시각효과상 후보에 오른 ‘아이리시맨(The Irishman’)과 ‘어벤져스:엔드게임(Avengers: Endgame)’의 시각효과(VFX)가 엔비디아 쿼드로(Quadro) RTX GPU로 성공적으로 구현됐다고 밝혔다.
아이리시맨과 어벤져스:엔드게임은 인공지능(AI)를 이용해 실제 배우와 디지털 캐릭터 간의 경계를 허물었다. 아이리시맨은 디에이징(de-aging) 효과를 통해 배우들의 젊은 시절 모습을 재현했으며, 어벤져스는 악명높은 빌런인 타노스를 생생하게 구현했다.
VFX 스튜디오 인더스트리얼 라이트 앤 매직(Industrial Light & Magic, 이하 ILM)과 디지털 도메인(Digital Domain)은 엔비디아 쿼드로 RTX GPU로 제작 속도를 가속화해 AI를 활용한 획기적인 스토리텔링을 선보였다.
AI 타임머신
넷플릭스의 아이리시맨은 제 2차 세계대전에서 2000년대의 양로원의 모습, 그리고 그 사이 모든 시간을 그린 영화로, 살인 청부업자 프랭크 시런(Frank Sheeran)의 이야기를 주인공의 인생 속 다양한 장면들을 통해 풀어나간다.
세 명의 주인공인 로버트 드니로(Robert DeNiro), 알 파치노(Al Pacino), 조 페시(Joe Pesci)는 모두 70대다. 아이리시맨 분장팀은 세 배우를 20대나 30대처럼 분장하는 것이 현실적으로 어렵다고 판단했다. 마틴 스콜세지(Martin Scorcese) 감독은 영화를 촬영할 때 연기몰입을 방해하는 모션 캡처용 마커를 비롯한 장치들을 사용하는 것을 꺼려했다.
이러한 문제를 해결하기 위해 ILM은 3D 기하학적 데이터와 질감을 촬영을 위한 두 대의 적외선 카메라를 장착한 감독용 카메라를 통해 총 3대의 카메라로 구성된 새로운 장치를 개발해 세트에서 배우들의 연기를 촬영했다.
또한 AI를 이용해 배우가 과거 연기했던 모습을 담은 수천 장의 이미지를 면밀하게 확인하는 ILM 페이스파인더(Facefinder)라는 소프트웨어를 개발했다.
ILM 페이스파인더는 렌더링 되는 장면의 카메라 각도, 프레이밍, 조명, 표현 등과 일치하는 프레임을 찾아, ILM 아티스트들이 촬영된 장면의 모든 프레임과 비교할 수 있는 참고자료로 제공한다. 이 시각자료는 각 배우를 위해 만든 디지털 대역의 완성도를 높이는데 사용되고, 영화 속 장면에 맞는 배우의 나이에 맞게 디지털 대역의 모습을 조절할 수 있었다.
ILM의 아이리시맨 VFX 관리자인 파블로 헬만(Helman)은 “AI와 머신러닝은 ILM의 모든 VFX 작업에 사용되고 있다. 엔비디아 쿼드로 RTX GPU를 함께 사용하면 향후 10년간 우리가 어떤 효과를 구현 가능하게 될지 상상만해도 설렌다”라고 말했다.
한층 더 향상된 VFX 빌런 제작
역대 최고 수익을 올린 영화, 마블의 어벤져스: 엔드게임에는 시각효과가 적용된 장면이 2,500개 이상 포함됐다. 디지털 도메인의 VFX 팀은 머신 러닝을 이용해 배우 조시 브롤린(Josh Brolin)의 연기를 영화 속 우주 최강 빌런인 타노스에 입혔다.
배우의 연기와 얼굴의 움직임을 저해상도로 스캔해 타노스의 얼굴을 딴 고해상도 메시에 정확하게 적용하는 마스커레이드(Masquerade)라는 머신 러닝 시스템도 개발됐다. 마스커레이드 기술을 통해 VFX 아티스트들은 미묘한 얼굴 움직임을 수작업으로 애니메이션화해 사실적이고 감정을 과장되게 연기하는 디지털 휴먼을 생성하는데 소요되는 매우 긴 시간을 단축했다.
디지털 도메인의 디지털 휴먼 총괄인 데런 핸들러(Darren Handler)는 “이 과정의 핵심은 엔비디아 GPU 기술을 통해 배우의 감정연기를 사실적인 그래픽으로 즉각적으로 렌더링해 미리 볼 수 있다는 것이다. 디지털 도메인에서는 엔비디아 RTX 기술을 사용해 실시간 레이 트레이싱이 적용된 모든 디지털 휴먼 프로젝트를 추진하고 있다”라고 말했다.
RTX를 사용하는 스튜디오와 AI로 가속화된 VFX를 적용하는 앱
ILM과 디지털 도메인은 엔비디아 RTX GPU로 가속화된 AI 도구를 채택한 많은 시각효과 스튜디오 및 애플리케이션 중 한 곳이며, 이는 증가하고 있다.
HBO의 ‘더 라이처스 가족(The Righteous Gemstones)’ 시리즈에서 주인공 존 굿맨(John Goodman)은 실제 나이보다 30년가량 젊어 보인다. 이 드라마에서는 AI를 이용해 얼굴 근육과 뼈를 덮는 피부가 어떻게 늘어나고 이동하는지 얼굴의 움직임을 분석하는 쉐이프쉬프터(Shapeshifter)로 디에이징 효과를 구현했다.
VFX 스튜디오 그라디언트 이펙트(Gradient Effects)는 쉐이프쉬프터를 이용해 배우의 얼굴을 변형했다. 엔비디아 GPU를 사용해 구현된 이 과정은 수개월이 아닌 수 주에 걸쳐 이뤄졌다.
어도비(Adobe), 오토데스크(Autodesk), 블랙매직 디자인(Blackmagic Design)과 같은 기업들은 RTX로 가속화된 애플리케이션을 개발해 AI로 라이브 액션신 깊이 교정(live-action scene depth reclamation), 색감 보정, 리라이팅 및 리터칭, 리타이밍과 업스케일링(upscaling)용 초고속 모션 예측(speed warp motion estimation) 등을 포함한 시각효과를 구현하기 어려운 작업을 해결했다.
AI 기반 예측을 활용하는 넷플릭스
넷플릭스와 같은 스트리밍 서비스는 실생활에서도 AI로 구현된 추천엔진을 이용해 사용자의 시청 내역에 기반한 개인맞춤형 콘텐츠, 또는 사용자와 유사한 시청습관을 갖고 있는 다른 사용자들이 시청한 유사도 지수를 제공한다.
넷플릭스는 개별 사용자의 흥미를 유발하기위해 개인 맞춤형 영화 섬네일을 제공하고, AI를 사용해 저대역폭에서 스트리밍 품질을 최적화한다. 또한, 엔비디아 GPU를 활용해 복잡한 데이터 모델을 사용한 작업을 가속화해 반복작업(iteration)을 가속화한다.
GTC 2020에서 제공되는 세계 최고의 VFX 스튜디오의 강연
오는 3월 23일(현지시간)에서 3월 26일까지 미국 캘리포니아주 새너제이에서 열리는 엔비디아 GPU 기술 컨퍼런스(GPU Technology Conference, GTC)에서 루카스필름(Lucasfilm)의 ILMxLAB, 매그노푸스(Magnopus), 디지털 도메인을 비롯한 세계 최고의 스튜디오들이 참여해 강연을 펼칠 예정이다.
