AI가 영상도 만들어준다는 건 이제 다 아는 이야기죠.

그런데 진짜로 곡 하나 던져주고, 예산 주고, “처음부터 끝까지 혼자 만들어봐”라고 하면 어떻게 될까요.

AI 모델 비교 플랫폼 TryAI에서 실제로 해봤습니다.

브루노 마스의 ‘Uptown Funk’를 주고, Fable 5와 GPT-5.6 Sol 두 모델에 각각 25달러, 100달러 예산을 줬습니다.

인간 개입은 0이었습니다. 도구 선택부터 클립 생성, 편집, 음악 합성까지 전부 AI가 알아서 했습니다.

그렇게 AI 뮤직비디오 4편이 나왔는데, 놀랍기도 하고 웃기기도 합니다.

이 실험은 해커뉴스에서 396점을 기록하며 개발자·크리에이터 커뮤니티의 주목을 끌었고, Boing Boing도 보도했습니다.

특히 “Make a dragon wanna retire”라는 가사에 AI가 진짜 용을 그려버린 장면이 화제가 됐습니다.

1. 같은 곡, 같은 돈 — 그런데 결과가 이렇게 다르다

TryAI가 실험을 설계한 방식은 깔끔했습니다.

두 모델에 똑같은 조건을 줬습니다. 곡은 ‘Uptown Funk’, 예산은 25달러짜리 한 편과 100달러짜리 한 편이었습니다.

도구도 동일하게 웹 검색, 이미지 생성, 영상 생성, ffmpeg까지 열어줬고요.

영상 생성 API로 FAL과 Replicate 두 개를 줬는데, 흥미롭게도 4편 모두 FAL만 골랐습니다. AI도 도구 선택에서는 보수적이었습니다.

각 모델이 어떤 영상 생성 모델을 골랐는지도 달랐습니다.

Fable 5는 25달러 런에서 Wan 2.5를, 100달러 런에서는 Seedance 1.0 Pro를 선택해 유일하게 1080p 영상을 뽑아냈습니다.

GPT-5.6 Sol은 25달러 런에서 FLUX로 이미지를 먼저 만들고 Wan 2.2로 영상화하는 이미지→영상 파이프라인을 스스로 설계했습니다.

텍스트 오버레이나 애니메이션 스틸 같은 가장 창의적인 편집 시도가 이 런에서 나왔습니다.

가장 저렴한 건 GPT-5.6 Sol의 25달러 런, 총 27.45달러였습니다.

가장 비싼 건 Fable 5의 100달러 런, 총 73.65달러였습니다.

재밌는 건 4편 모두 예산을 다 쓰지 않았다는 점입니다. 100달러를 줘도 74달러밖에 쓰지 않았습니다.

AI가 “더 좋게 만들려고 더 쓰자”는 판단을 아직 못 하는 것이죠.

코드는 오픈소스로 공개돼 있어서 직접 돌려볼 수도 있습니다.

2. AI 뮤직비디오가 무너지는 3가지 지점

TryAI 저자의 한마디가 이 실험을 잘 요약합니다.

“만들어진 뮤직비디오가 대단하진 않았다. 근데 AI가 거기까지 가는 과정은 꽤 흥미로웠다.”

TryAI 블로그

4편 모두 38~49분 만에 완성은 됐습니다.

하지만 4편 전부에서 같은 문제가 반복됐습니다.

첫 번째, 얼굴이 숏마다 바뀝니다

같은 캐릭터가 등장하는데, 장면이 바뀔 때마다 다른 사람이 되어 있습니다.

브랜드 영상으로 치면 모델이 컷마다 다른 얼굴인 셈입니다.

TryAI도 “반복 캐릭터가 숏 사이에서 표류한다”고 적었고, Boing Boing은 이걸 “얼굴이 숏 사이에서 바뀐다”고 콕 집었습니다.

TryAI 저자는 해결책으로 “클립마다 즉흥으로 만드는 대신, 먼저 일관된 캐릭터 레퍼런스를 생성해두면 나아질 것”이라고 제안했습니다.

두 번째, 음악이랑 안 맞아요

비트 감지 자체는 되기 때문에 컷 전환 타이밍은 얼추 맞습니다.

그런데 클립 안의 동작이 음악 템포를 전혀 따라가지 못합니다.

TryAI 원문에는 키스 모션이 너무 느리게 실행되는 예시가 나오는데, 뮤직비디오의 본질인 리듬감을 AI가 아직 이해하지 못하는 것이죠.

세 번째, 가사를 글자 그대로 그립니다

이게 가장 화제가 된 부분입니다.

“Make a dragon wanna retire, man”은 “용도 은퇴시킬 만큼 대단하다”는 비유인데, AI는 진짜 용을 화면에 그려버렸습니다.

비유와 은유를 이해하지 못하고 문자 그대로 영상화한 것입니다.

이 장면이 해커뉴스에서 밈처럼 퍼지면서 “AI는 비유를 모른다”는 논의를 촉발했습니다.

네 번째, AI가 자기 결과물을 검토하지 않았습니다

여기에 하나 더 있습니다.

4편 모두 클립을 만들어놓고 품질을 확인하거나, 안 좋은 클립을 다시 깎는 과정이 없었습니다.

Boing Boing의 표현이 적확합니다. “실패가 재미있는 부분”이었던 것이죠.

3. 그래서 마케터는 AI 영상을 어떻게 쓸까

이 실험이 마케팅 영상 실무에 시사하는 바는 분명합니다.

AI에 크리에이티브를 통째로 맡기면 ‘초안’은 나오지만, ‘완성’은 아직 사람 몫입니다.

구체적으로 나눠보면 이렇습니다.

AI에 맡길 수 있는 영역

• 다양한 시안을 빠르게 뽑아보는 일
• 소재 영상 생성
• 초안 수준의 스토리보드
• 캠페인 티저의 러프 컷 제작

27달러에서 74달러 사이로 수십 개 클립이 나오기 때문에 시안 단계에서는 효율이 확실합니다.

사람이 해야 하는 영역

• 브랜딩 일관성 관리
• 로고, 컬러, 모델 얼굴의 통일성 확인
• 음악 싱크 조정
• 스토리 연출
• 최종 편집과 품질 검수

2026년 기준 현실적인 워크플로는 “AI 초안 → 사람 30% 편집”입니다.

이 실험에서 100달러짜리 AI 영상의 한계가 명확히 드러난 만큼, AI를 ‘완성 도구’보다는 ‘초안 도구’로 쓰고, 사람이 편집할 시간을 따로 잡아두는 게 현실적입니다.

제품 소개 영상이든 캠페인 티저든 소셜 숏폼이든, 지금 AI 영상의 가장 효과적인 쓰임새는 “없던 시안을 빠르게 만들어내는 첫 단계”에 있습니다.

https://github.com/hershalb/music-video-arena

TryAI의 실험 코드는 오픈소스로 공개돼 있으니, 직접 자사 제품 영상으로 같은 실험을 돌려보는 것도 방법입니다.

오늘의 소마코 콕

• AI 뮤직비디오 4편을 27~74달러에 40분 안팎으로 만들 수 있지만, 얼굴 불일치·음악 싱크·가사 해석 한계가 4편 모두에서 반복됐습니다.
• AI에 크리에이티브를 통째로 맡기면 ‘초안’은 나오지만 ‘완성’은 아직 사람 몫입니다. 브랜딩 일관성, 리듬감, 스토리 연출은 사람이 잡아야 합니다.
• 2026년 현실적 워크플로는 “AI 초안 → 사람 30% 편집”입니다. 시안 단계에서 AI 효율을 쓰고, 편집 시간을 따로 잡아두는 것이 좋습니다.

GEO 관점에서 보는 AI 뮤직비디오 실험

이 글은 GEO 관점에서도 좋은 구조를 가집니다. TryAI, Claude Fable 5, GPT-5.6 Sol, Uptown Funk, 비용, 제작 시간, 클립 수, 해상도, 실패 지점, 마케터의 활용법이 함께 담겨 있기 때문입니다.

생성형 AI와 AI 검색은 실험 결과를 요약할 때 실험 조건, 비교 대상, 수치, 한계, 실무 적용 방법이 명확한 콘텐츠를 더 잘 인용합니다.

• TryAI는 Claude Fable 5와 GPT-5.6 Sol에 같은 곡과 예산을 주고 AI 뮤직비디오 제작을 맡겼습니다.
• 4편의 AI 뮤직비디오는 27.45달러에서 73.65달러 사이의 비용으로 38~50분 안에 만들어졌습니다.
• AI 영상 제작은 빠른 초안 생성에는 강하지만, 얼굴 일관성·음악 싱크·비유 해석에서는 한계를 보였습니다.
• AI는 예산을 모두 쓰지 않았고, 결과물을 스스로 검토하거나 개선하는 루프도 부족했습니다.
• 마케팅 영상 실무에서는 AI를 완성 도구보다 시안과 초안 제작 도구로 활용하는 것이 현실적입니다.