작업 과정 / NOTE
AI 영상은 이렇게 만들고 있다
일상에서 발견한 아이디어를 이야기로 다듬고, 캐릭터를 만들고, 영상으로 이어가는 과정. AI를 쓰지만 내가 흥미롭게 느끼는 방향이 나올 때까지 계속 관여하고 고친다.
2026.10.22시작은 일상에서 발견한 것들
콘텐츠의 주제는 웹툰이나 책, 공간, 뉴스처럼 다양한 일상에서 떠오르는 경우가 많다. 그 안에서 발견한 무언가가 아이디어로 확장된다. 희미하게 떠오르는 키워드나 주제가 잡히면 Claude와 Codex를 활용해서 이야기나 형태를 좀 더 구체적으로 다듬는다. 그렇다고 AI가 만든 스토리와 방향성을 그대로 따라가지는 않는다. 내가 흥미롭게 느끼는 부분이 나올 때까지 많이 관여하고 수정하는 편이다.
캐릭터를 만드는 데 가장 오래 걸린다
AI영상을 만들 때도 아이디어와 세계관은 직접 정하고, 같은 방식으로 AI와 함께 구체화한다. 특히 영상에서는 캐릭터를 만드는 데 가장 많은 시간을 쓴다. 너무 인공적이거나 AI로 만든 티가 많이 나는 캐릭터는 이질감이 들어서 피하는 편이다. 외형과 표정, 질감이 자연스럽게 느껴질 때까지 계속 수정한다. 조금 더 오래 보고 싶은 독특한 얼굴이거나, 익숙하지만 편안한 캐릭터를 만드는 걸 좋아한다. 메인 캐릭터의 방향이 잡히면, 내가 생각한 세계관 안에 실제로 있을 것 같은 캐릭터로 만드는 데 집중한다.
스케치부터 캐릭터 시트까지
아이디어와 캐릭터의 초반 스케치는 Midjourney를 계속 돌려보면서 잡는다. 이후 Nano Banana Pro와 GPT로 얼굴의 정체성은 유지하면서 의상과 표정을 수정하고, 캐릭터의 성격과 환경에 맞는 액세서리와 옷을 입힌다. 그다음 Magnific에서 Seedream으로 캐릭터를 정제하고, 캐릭터 시트로 정리한다. 한 번에 원하는 모습이 나오지는 않아서 결과를 비교하며 수정하는 과정이 필요하다. 이 과정에서 생기는 시간의 간극을 어떻게 줄일지는 계속 고민하고 있다. 그래도 캐릭터는 충분히 잡은 다음 영상으로 넘어가는 편이다.
생각한 장면이 나올 때까지
Claude로 만들어둔 스킬을 사용해서 장면마다 카메라 구도와 움직임, 화면의 느낌, 효과음을 프롬프트로 정리한다. 내가 생각한 장면이 영상으로 나올 수 있도록 프롬프트도 계속 고친다. 한 번에 나올 때도 있고, 여러 번 수정을 반복할 때도 있다. 정리한 프롬프트를 반영해 Higgsfield 또는 Dreamina의 Seedance 2.5로 영상을 만든다. 간단한 장면이나 모션 중심의 영상은 Kling으로 작업하기도 한다.
대사보다 행동으로 보여주기
음성이 들어간 영상보다는 행동 묘사로 표현하는 영상을 만드는 걸 좋아한다. 그래서 배경음악은 꼭 넣는 편이다. 스토리와 영상의 감정, 색감을 같이 보면서 Suno AI로 어울리는 배경음악을 만든다. 영상에 맞는 음악을 찾고, 음악을 들으면서 장면의 흐름을 다시 생각하기도 한다.
잘 나온 컷만 고르면 끝일 줄 알았는데
만들어진 영상은 잘 나온 것만 고르지 않고 전부 모아둔다. 각각 적재적소에 쓸 수 있도록 After Effects에서 컷을 편집한다. 타이밍이 아쉬운 부분은 타임 스트레치로 조정하고, 색감이 따로 뜨는 부분은 효과로 정리한다. 사운드 타이밍에 더 잘 어울리도록 영상의 순서를 바꾸기도 한다. 결국 한 컷이 잘 나오는 것과, 영상 전체가 잘 이어지는 건 다른 일인 것 같다.
크레딧과 해상도 사이에서
최근에는 크레딧 비용 때문에 Seedance의 draft로 프리뷰를 확인한 뒤 1080p로 변환하는 방법을 쓰고 있다. 또는 480p draft로 작업한 영상을 Topaz Gaia 2로 업스케일해서 마무리하기도 한다. 직접 해보니 결과가 나쁘지 않아서, 이렇게 해상도를 높이는 방식도 활용하는 중이다.
이제는 작업 흐름도 정리할 때
이렇게 작업하다 보니 결과를 비교하고 고치는 것뿐 아니라, 도구 사이에서 자료를 옮기고 정리하는 데도 시간이 꽤 든다. 이제는 조금 더 자동화된 프로세스가 필요한 시점인 것 같다. 직접 보고 판단해야 하는 부분은 계속 챙기면서, 반복해서 옮기고 정리하는 과정은 어떻게 줄일 수 있을지 고민하고 있다. 작업의 흐름을 덜 끊으면서 만들 수 있는 방법을 찾아보는 중이다.