웨스트월드, AI 소스와 VFX 합성으로 드라마 크리처 공정 재편

시각효과 기업 웨스트월드(Westworld)의 임주영 기술연구소장이 4일 ICNX 2026 테크놀로지 쇼케이스에서 JTBC 드라마 속 사자 장면 제작 공정을 공개했다. 3D로 4개월, 아티스트 30명 이상이 드는 크리처를 AI로 소스를 만들고 VFX로 합성해 1~2주에 완성했다. 그는 AI 결과물은 일관성·화질·권리 문제로 그대로 납품할 수 없다며, AI를 파이프라인 안에서 다루는 것이 시각효과 회사의 생존 전략이라고 말했다.

웨스트월드, AI 소스와 VFX 합성으로 드라마 크리처 공정 재편

임주영 기술연구소장, ICNX 2026 테크놀로지 쇼케이스 발표… CG로 4개월 걸리던 사자 장면 1~2주에 합성

시각효과 기업 웨스트월드(Westworld)의 임주영 기술연구소장이 4일 ICNX 2026 테크놀로지 쇼케이스에서 JTBC 드라마 속 사자 장면 제작 공정을 공개했다. 3D로 4개월, 아티스트 30명 이상이 드는 크리처를 AI로 소스를 만들고 VFX로 합성해 1~2주에 완성했다. 그는 AI 결과물은 일관성·화질·권리 문제로 그대로 납품할 수 없다며, AI를 파이프라인 안에서 다루는 것이 시각효과 회사의 생존 전략이라고 말했다.
임주영 웨스트월드 기술연구소장이 4일 인천 송도컨벤시아에서 열린 ICNX 2026 테크놀로지 쇼케이스에서 발표하고 있다
임주영 웨스트월드 기술연구소장이 4일 인천 송도컨벤시아에서 열린 ICNX 2026 테크놀로지 쇼케이스에서 발표하고 있다. 사진=K엔터테크허브

ICNX 2026(인천 첨단미디어 글로벌 컨퍼런스) 테크놀로지 쇼케이스(Technology Showcase)가 내건 화두는 'AI가 바꾼 콘텐츠 제작 공정'이다. 4일 인천 송도컨벤시아에서 열린 이 세션에서 시각효과 기업 웨스트월드(Westworld)의 임주영(Lim Ju-young) 기술연구소장이 드라마 속 사자 한 장면으로 그 변화를 보여줬다.

임 소장은 "생성 AI가 나오면서 가장 큰 타격을 받는 분야가 시각효과"라고 말했다. 웨스트월드는 2018년 설립된 시각효과 회사로 〈고요의 바다〉, 〈스위트홈〉, 〈파묘〉, 〈눈물의 여왕〉 등의 VFX를 맡았다. 시각효과, LED 월 기반의 버추얼 프로덕션(virtual production), 제작용 AI 도구를 만드는 기술연구소를 함께 운영한다.

같은 사자를 두고 비교한 기존 CG 공정과 AI VFX 공정
같은 사자를 두고 비교한 기존 CG 공정과 AI VFX 공정. 자료=웨스트월드

CG로 4개월 걸리던 크리처… AI 소스와 합성으로 1~2주

발표의 중심은 올해 방영된 JTBC 드라마 〈모두가 자신의 무가치함과 싸우고 있다〉의 사자 장면이다. 일반 TV 드라마에서 크리처를 등장시키는 일은 원래 예산과 일정으로는 불가능에 가깝다. 임 소장은 넷플릭스 〈다 이루어질지니〉에 쓰인 재규어를 예로 들며 "촬영본에 합성하기 전 단계만 4개월 이상, 아티스트 30명 이상이 투입되는 공정"이라고 설명했다.

웨스트월드는 이 사자를 AI로 만들었다. 촬영 전 AI로 사자 움직임을 미리 만들어 배우·감독과 확인하고, 외형을 따로 학습시킨 AI로 사자 소스를 생성한 뒤 털·눈·형태와 프레임 사이 떨림을 고쳤다. 촬영 카메라 움직임을 추적해 사자를 공간에 고정하고, 빛·색·그림자를 촬영본에 맞춰 합성했다. 발표 자료에 따르면 기존 CG로는 모델링·털·뼈대·렌더에 약 4개월이 걸리는 작업을 1~2주에 끝냈다.

AI로 소스를 만들고 VFX로 합성한 JTBC 드라마 속 사자 장면
AI로 소스를 만들고 VFX로 합성한 JTBC 드라마 속 사자 장면. 영상=웨스트월드

4K에서 깨지는 AI… "소스를 만들고 다시 합성한다"

웨스트월드는 생성 AI로 장면 전체를 만들지 않는다. 임 소장은 "AI에 이미지나 영상을 넣어 전체를 다시 생성하면 4K 이상 해상도에서 미세한 부분이 깨지거나 변형된다"며 "그대로 납품할 수 없기 때문에 소스를 만들고 다시 합성하는 과정을 끊임없이 반복한다"고 말했다. 같은 공정으로 가을 바위산을 봄꽃으로, 마른 논길을 설경으로 바꾸고 원본에 없던 까마귀를 넣는다.

마른 논길 촬영본(왼쪽)을 AI 소스와 합성으로 설경(오른쪽)으로 바꾼 장면
마른 논길 촬영본(왼쪽)을 AI 소스와 합성으로 설경(오른쪽)으로 바꾼 장면. 영상=웨스트월드

버추얼 프로덕션에도 같은 방식을 쓴다. LED 월로 찍은 장면에서 벽 위로 드러난 스튜디오 천장을 AI로 경기장 지붕과 하늘로 이어 그렸다. 임 소장은 "AI가 공정을 없앤다기보다 그동안 많은 인력과 시간이 들던 일에 빠르게 접근하게 해 준다"고 설명했다.

LED 월 촬영본 위쪽을 AI로 이어 그린 버추얼 프로덕션 확장 사례
LED 월 촬영본 위쪽을 AI로 이어 그린 버추얼 프로덕션 확장 사례. 자료=웨스트월드

일관성·통제·화질·권리… 납품 기준이 관건

임 소장은 AI 결과물을 최종본으로 쓰지 못하는 이유로 네 가지를 들었다. 2시간 영화나 12부작 드라마 전체에서 같은 얼굴과 장소를 유지하는 일관성, 감독이 고치라는 부분만 고칠 수 있는 통제, 카메라 원본(RAW) 수준의 화질, 그리고 학습 데이터의 권리다. 그는 "납품처 대부분이 글로벌 스트리밍 서비스라 생성한 결과가 권리를 인정받을 수 있는지가 큰 이슈"라고 말했다.

실제로 넷플릭스(Netflix)는 2025년 8월 공개한 제작 파트너용 생성 AI 가이드라인에서 생성 결과물을 원칙적으로 임시 자료로 보고, 최종 납품물에 쓰려면 서면 승인을 받도록 했다. 국내 제작사와 VFX 회사가 AI를 쓰더라도 납품 기준을 통과하는 공정이 갖춰져야 글로벌 플랫폼의 일을 맡을 수 있다는 뜻이다.

AI 결과물을 그대로 납품하지 못하는 이유와 필요한 기술
AI 결과물을 그대로 납품하지 못하는 이유와 필요한 기술. 자료=웨스트월드

결론·전망… 국내 VFX 회사는 공정 자체를 다시 짠다

임 소장은 "저희 같은 시각효과 전문 회사는 AI 업체와도, 기존 레거시 파이프라인과도 경쟁해야 한다"며 공정 전체를 다시 만들고 있다고 말했다. 소스 합성부터 환경 변경, 3D·2.5D 작업을 최소 인력과 AI로 처리해 생산비를 AI 수준으로 낮추거나 생산량을 늘리는 방향이다. 그는 "생성 AI로 만든 콘텐츠만 살아남을 거라고 생각하지 않는다"며 "촬영 기반 콘텐츠는 이어질 것이고, AI와 기존 VFX가 융합하는 데서 한 축을 맡을 수 있다"고 말했다.

한국 방송·드라마 산업에는 두 가지 변화가 함께 온다. 일반 TV 드라마도 예산 안에서 크리처나 계절 변환 같은 장면을 넣을 수 있게 됐다는 점, 그리고 글로벌 스트리밍 서비스의 권리·화질 기준을 통과하는 공정을 갖춘 회사만 그 장면을 납품할 수 있다는 점이다. 웨스트월드는 최근 나홍진 감독의 영화 〈호프〉의 VFX도 맡았다.

발표 전체 영상은 K엔터테크허브 유튜브 채널(@kentertechhub)에서 한국어·영어·일본어·중국어판으로 볼 수 있다.