이번엔 글쓰기 스터디에서 AI로 영상 만들기를 시작했다. 유투브, 인스타그램, 틱톡과 같은 곳에 짧은 영상을 올려 보기로 했다.
글쓰기 스터디에서 왜 AI로 영상을 만드는 거지?라는 생각이 들 수도 있을 것 같다. 와이프도 글은 쓰지 않고 컴퓨터 앞에 앉아 요상한 영상만 만들어 내는 나를 보며 “이게 무슨 글쓰기 스터디야, 글도 안 쓰면서”라고 핀잔을 준다.
스터디에서 주제를 정하고, 주제에 맞는 무언가를 경험한 뒤 그 경험을 글로 쓰는 것이라고 설명했지만, 와이프는 여전히 이해할 수 없다는 표정으로 잔소리를 늘어놓는다.
다시 본론으로 돌아와서, AI로 영상을 만들며 발생한 문제들과 영상을 제작할 때 중요한 요소들에 대해 정리해 보고자 한다.
캐릭터 만들기
우선 영상 제작에서 중요한 요소 중 하나는 영상에 등장하는 캐릭터의 이미지를 만드는 것이다. 캐릭터 이미지를 미리 만들어 AI에 영상 생성을 요청할 때 참고 자료로 전달하면, 영상에 등장하는 캐릭터의 일관성을 유지하는 데 도움이 된다.
캐릭터 이미지는 단순히 한 장만 만드는 것보다 여러 방향에서 촬영한 듯한 이미지를 준비하는 것이 좋다. 캐릭터가 움직이거나 방향을 바꾸는 장면에서도 각도에 맞는 이미지를 참고할 수 있어, 영상 속 캐릭터의 일관성을 유지하는 데 도움이 되기 때문이다. 이처럼 캐릭터를 여러 방향에서 보여주는 이미지 자료를 턴어라운드 시트(Turnaround Sheet) 라고 한다.
이번에는 스케이트보드를 타는 고양이 영상을 만들고 싶어, 스케이트보드를 타고 있는 고양이 캐릭터의 앞모습, 뒷모습, 옆모습을 각각 만들었다.
위 이미지들을 참고 자료로 넣고 프롬프트를 작성해 스케이트보드를 타는 고양이 영상을 생성했지만, 결과는 실패였다.
캐릭터 이미지들을 자세히 살펴보면 이상한 점을 발견할 수 있다. 마지막 옆모습 이미지가 실제로 고양이가 스케이트보드를 타는 모습이라고 가정해 보자. 그렇다면 앞모습과 뒷모습은 어떤 모습이어야 할까? 이렇게 생각해 보면 기존에 사용했던 앞모습과 뒷모습 이미지가 옆모습과 일치하지 않는다는 것을 알 수 있다.
앞모습과 뒷모습 이미지를 새롭게 생성한 뒤 다시 시도했고, 이전보다 스케이트보드를 타는 모습이 자연스럽게 만들어진 것을 확인할 수 있었다.
실제로는 이보다 훨씬 다양한 방향의 이미지가 필요하지만, 만들고자 했던 영상은 스케이트보드를 타는 고양이의 뒷모습을 카메라가 따라가며 촬영하는 장면이었다. 따라서 세 가지 정도의 이미지만으로도 영상을 만드는 데 큰 문제가 없었다.
영상 시작 이미지 만들기
영상을 생성하면서 가장 큰 문제는 비용이었다. 공들여 프롬프트를 작성하고 캐릭터 이미지를 넣어 영상을 생성했는데, 결과물이 마음에 들지 않는다면 굉장히 곤란해진다.
영상을 생성할 수 있는 사이트는 여러 곳이 있지만, 10초 분량의 영상을 만들기 위해 대략 2~3달러 정도의 비용이 발생하기도 했다. Google Flow에서는 무료 크레딧을 제공했고, 다른 영상 생성 사이트와 비교했을 때 비용도 저렴한 편이었다. 당시에는 Omni 1.1 Flash 모델을 사용해 약 12~15 크레딧으로 10초 분량의 영상을 생성할 수 있었다. 물론 Veo 3.1 Quality처럼 더 높은 품질의 모델을 사용하면 약 100 크레딧이 필요했다.
이처럼 영상 생성에 비용이 발생하는 만큼, 마음에 들지 않는 결과물이 나오는 것을 최대한 줄이는 것이 중요했다. 첫 번째 방법은 앞서 설명한 것처럼 캐릭터의 일관성을 유지하기 위한 참고 이미지를 제공하는 것이었다. 두 번째는 영상에 사용할 시작 이미지와 끝 이미지를 미리 준비하는 것이었다.
캐릭터 이미지만 넣고 바로 영상 생성을 시작하는 대신, 먼저 캐릭터 이미지를 참고해 영상의 시작 장면을 이미지로 생성한다. 이후 캐릭터 이미지와 시작 이미지를 AI에 참고 자료로 제공하고, 이를 바탕으로 영상 생성 프롬프트를 작성하도록 요청한다. 이렇게 하면 장면의 구도와 캐릭터의 모습을 구체적으로 정의한 상태에서 영상 생성을 시작할 수 있어, 원하는 결과물에 더 가까워질 가능성이 높아진다.
영상은 시작 이미지에서 출발하기 때문에 어떤 배경에서 어떻게 진행될지 어느 정도 예측할 수 있다. 또한 영상 생성 전에 수정하고 싶은 부분을 이미지 단계에서 먼저 보완할 수 있어, 불필요한 영상 생성을 줄이고 비용을 크게 절감할 수 있다.
배경의 연속성
영상을 생성하면서 만난 문제 중 하나는 배경의 연속성이었다. 스케이트보드를 타는 장면에서 커브길을 도는 경우, 기존에는 보이지 않던 왼쪽이나 오른쪽의 배경이 새롭게 드러나야 한다.
그런데 새로운 배경과 길이 나타나는 과정에서 여러 문제가 발생했다. 길이 갑자기 부자연스럽게 굽어지거나, 배경이 좌우 반전된 것처럼 바뀌기도 했다. 심한 경우에는 마치 페이지를 넘기는 것처럼 배경이 전환되는 현상도 나타났다.
문제를 해결하는 방법 중 하나는 배경 이미지를 넓게 미리 만들거나, 배경을 3D 공간으로 구성해 관련 정보를 사전에 제공하는 것이다. 이렇게 하면 카메라의 위치가 바뀌더라도 미리 제공한 공간 정보를 기반으로 영상이 생성되도록 유도할 수 있다.
좌우가 반전되거나 사물의 위치가 바뀌는 문제는 주요 배경의 위치를 프롬프트에 명확하게 작성하는 방법으로 줄일 수 있다. 예를 들어 북서쪽에는 산봉우리, 동쪽에는 바다와 작은 섬이 있다고 설정한 뒤, “카메라는 북쪽을 바라보며 산봉우리와 바다, 작은 섬이 보이도록 촬영한다”와 같이 공간의 구성과 카메라의 위치 및 방향을 구체적으로 지정하는 것이다.
가장 간단한 방법은 카메라의 위치와 촬영 방향을 고정한 상태로 영상을 생성하는 것이다. 카메라의 움직임을 제한하면 새로운 배경이나 요소가 등장하는 상황을 줄일 수 있어, 배경이 부자연스럽게 바뀌는 문제가 발생할 가능성도 낮아진다.
그 밖의 요소들
앞서 설명한 세 가지 요소 외에도 좋은 결과물의 영상을 만들기 위해 고려해야 할 요소들이 많다. 장면의 순서와 화면 구성을 정리한 스토리보드(Storyboard), 카메라에 담을 장면의 구도와 움직임, 촬영 요소 등을 정리한 샷 리스트(Shot List) 등이 있다.
이런 요소들을 하나씩 챙기다 보니, 어느새 드라마나 영화의 감독이 된 듯한 기분이 들기도 했다.
결과물
그래서 결국 어떤 영상을 만들었을까? 앞서 목표로 했던 스케이트보드를 타는 고양이 영상은 포기했다. Google Flow의 저렴한 모델에서는 움직임이 역동적이고 배경의 연속성을 유지해야 하는 영상을 만드는 것이 쉽지 않았다. 만족스러운 결과물을 얻기까지 여러 번 시도해야 한다는 점도 부담이었다.
대신 여러 멋진 배경이나 소소한 일상 속에서 힐링하는 고양이 영상을 만들어 보았다. 캐릭터 생성부터 시작해 시작 이미지와 이를 기반으로 한 프롬프트까지 차근차근 준비했고, 그 결과 나름 만족스러운 영상을 만들 수 있었다.
시작 이미지 생성 주요 요소
text□ 첫인상 첫눈에 예쁜가 / 색감이 살아 있는가 □ 얼굴 정면 뒤 / 눈 감음 / 모자로 가림 중 하나인가 □ 캐릭터 레퍼런스와 얼굴·털·옷이 같은가 □ 움직임 영상에서 움직일 것이 이미지에 모두 있는가 □ 공간 움직이는 대상이 갈 자리가 있는가 □ 가려짐 움직이는 대상이 고양이 뒤로 지나가지 않는가 □ 깨끗함 속도선·빛줄기·효과가 없는가 □ 글자 간판·책·병·봉지에 글자가 없는가 □ 배치 9:16 / 고양이가 아래쪽 1/3 중앙인가 □ 밝기 고양이가 또렷하게 보이는가 □ 소품 1~2개로 적당한가 □ 스타일 캐릭터와 배경의 그림체가 같은가
영상 생성 주요 요소
text□ 콘셉트 한 줄: 고양이가 [장소]에서 [행동]하며 쉰다 □ 시작 이미지: 9:16 / 첫눈에 예쁜가 / 얼굴 처리(뒷모습·눈 감음·모자) / 글자 없음 □ 캐릭터: 레퍼런스 첨부 / 고정 캐릭터 설명 문장 □ 움직임: 주된 움직임 1개 + 보조 1~2개 □ 고정: 소품·배경 위치 고정 문장 □ 고양이 동작: 숨·꼬리·털만 / 고개·표정 고정 □ 작은 사건: 4~6초에 1개 (선택) □ 카메라: 고정 □ 사운드: 주된 소리 1개 + 배경 1~2개 / 음악 여부 □ 루프: 끝 프레임 = 시작 이미지 □ 설정: 9:16 / 8~10초 / Omni 1.1 Flash
사실 AI가 등장한 이후 SNS에서 AI로 생성한 영상들을 보며 나도 한번 만들어 볼까?라는 생각을 한 적이 있다. 실제로 키우는 고양이 사진을 AI로 변환해 올려 보기도 했지만, 기대만큼 조회수가 나오지 않았고 금세 싫증이 나 그만두었다.
이번에는 앞서 만든 것과 같은 고양이 힐링 영상을 꾸준히 올려 볼까 생각 중이다. 이마저도 올해가 가기 전에 포기할지도 모르지만, 어쩌면 나도 유명한 AI 영상 크리에이터가 될지도 모른다는 상상을 해본다.
@healing.my.catInstagram Reels 보러 가기
"Every artist was first an amateur." - Ralph Waldo Emerson -