FLUX 3가 이미지·영상·소리·로봇 행동을 한 모델에 담는 이유

Black Forest Labs가 이미지, 비디오, 오디오를 함께 학습하는 멀티모달 기반 모델 FLUX 3를 공개했어요. 먼저 Early Access로 나온 FLUX 3 Video는 네이티브 오디오가 포함된 영상을 한 번에 최대 20초까지 만들어요. 회사는 같은 기반 모델을 이미지 편집과 로봇 행동 예측에도 확장할 계획이에요. 1

핵심 요약

구분	핵심	왜 볼 만한가요
통합 학습	이미지·비디오·오디오를 하나의 구조에서 함께 학습해요	화면과 움직임, 소리 사이의 관계를 모델이 함께 다룰 수 있어요
비디오 생성	네이티브 오디오를 포함한 영상을 최대 20초까지 한 번에 만들어요	영상과 음향을 따로 생성해 맞추는 단계를 줄일 수 있어요
활용 범위	이미지 편집과 로봇 행동 예측, 오픈 웨이트 백본까지 순차 공개할 계획이에요	콘텐츠 제작 모델이 물리 환경의 예측 모델로 이어지는 실험이에요

1. FLUX 3는 멀티모달 생성을 현실 예측 문제로 넓혔어요

이미지와 영상, 소리를 서로의 학습 신호로 써요

이미지는 한순간의 공간 구조를 보여주지만 움직임의 원인은 담지 못해요. 비디오는 시간의 흐름과 물체의 움직임을 더하고, 오디오는 충돌이나 마찰처럼 화면만으로 놓치기 쉬운 사건을 알려줘요. FLUX 3는 이 세 양식을 분리된 기능으로 다루지 않고 같은 현실을 관찰한 자료로 학습해요. 물체가 부딪히는 장면과 충돌음이 맞아야 하고, 다음 장면은 앞선 움직임에서 자연스럽게 이어져야 한다는 제약을 함께 배우는 방식이에요. 2

기반에는 Black Forest Labs가 공개한 Self-Flow 접근법이 있어요. 하나의 아키텍처에서 여러 양식의 생성과 이해를 정렬하고, FLUX 3에서는 이미지·비디오·오디오 데이터와 연산 규모를 함께 키웠어요. 회사가 공개한 자료에는 양식별 생성 오류와 로봇 조작 작업의 성공률 비교가 담겼지만, 세부 기술 보고서와 전체 평가 조건은 아직 공개되지 않았어요.

728x90

이 구성이 곧바로 사람처럼 현실을 이해한다는 뜻은 아니에요. 현재 확인할 수 있는 범위는 회사가 공개한 생성 예시와 초기 평가예요. 모델의 일관성, 프롬프트 준수, 긴 장면의 물리 표현은 독립 평가와 실제 API 사용이 시작된 뒤 더 분명해질 거예요.

FLUX 3 Video는 영상과 오디오를 한 번에 만들어요

FLUX 3 Video는 텍스트나 이미지, 기존 영상을 입력으로 받아 최대 20초 분량의 영상과 오디오를 함께 생성해요. 텍스트 기반 영상 생성뿐 아니라 시작 프레임을 움직이는 작업, 참조 영상의 인물이나 요소를 새 장면으로 옮기는 작업, 키프레임 사이를 연결하는 작업을 지원해요. 다국어 대화와 영상 속 타이포그래피도 주요 기능으로 제시됐어요. 2

영상과 음향을 같은 생성 과정에서 만들면 입 모양과 대사, 충돌 장면과 효과음의 시점을 맞추기 쉬워질 수 있어요. 기존 제작 흐름에서는 영상 생성 후 음성을 만들고 타이밍을 조정하는 과정이 필요했어요. FLUX 3가 약속한 동시 생성 품질이 실제 작업에서도 유지된다면 짧은 광고, 콘셉트 영상, 스토리보드 제작 단계가 간단해질 수 있어요.

초기 비교 수치는 조심해서 봐야 해요. Black Forest Labs는 오디오가 포함된 720p 10초 클립을 비교했을 때 FLUX 3가 Grok Imagine Video보다 최대 69%, Runway Gen-4.5보다 77%, Luma Ray 3.2보다 93%의 비교에서 더 선호됐다고 밝혔어요. 다만 회사도 이 결과를 예비 평가로 명시했어요. 평가 문항 수, 프롬프트 구성, 비교 모델 설정이 모두 공개된 독립 벤치마크는 아니에요. 2

이미지 생성과 로봇 행동 예측도 같은 기반을 써요

FLUX 3 Image는 이미지 합성과 편집, 여러 화면비와 해상도, 다국어 텍스트 렌더링을 지원할 예정이에요. Early Access는 몇 주 안에 시작할 계획이에요. 복잡한 지시와 이미지 안의 글자 표현이 이전 FLUX 모델보다 나아졌다는 설명도 나왔지만, 이 부분 역시 출시 전 예비 평가예요.

더 낯선 확장은 행동 예측이에요. Black Forest Labs는 비디오를 학습한 모델이 물체의 움직임과 장면 변화를 익힌다는 점을 로봇 작업에 활용하고 있어요. FLUX 3에 행동 예측을 직접 넣는 방식과, 사전 학습된 비디오 백본을 작업별 데이터로 미세 조정하는 방식을 함께 시험해요. 로봇 기업 mimic robotics와 만든 FLUX-mimic은 물체 조작과 생산 환경을 대상으로 하는 비디오-행동 모델이에요. 2

콘텐츠 생성과 로봇 제어는 결과물이 전혀 달라 보여요. 하지만 둘 다 현재 장면을 보고 다음 상태를 예측해야 한다는 공통점이 있어요. 영상 모델이 학습한 움직임의 표현을 적은 작업별 데이터로 로봇에 옮길 수 있다면, 로봇마다 대규모 데이터를 처음부터 모아야 하는 부담을 줄일 여지가 있어요. 실제 제어 정확도와 안전성은 제한된 데모가 아니라 다양한 환경에서 확인해야 해요.

공개 순서와 접근 범위는 기능마다 달라요

현재 바로 제공되는 것은 FLUX 3 Video의 Early Access예요. 비디오·오디오 생성과 편집은 API와 비공개 가중치 접근으로 제공될 예정이에요. 행동 예측은 선정된 연구·상업 파트너부터 시작하고, 이미지 기능도 별도의 Early Access를 거쳐요.

오픈 웨이트 버전인 FLUX 3 Dev도 계획에 포함됐어요. 회사 설명대로라면 비디오·오디오·이미지 생성과 행동 예측에 쓰는 멀티모달 백본을 공개하는 형태예요. 라이선스, 모델 크기, 실행 비용, 공개 시점은 아직 구체적으로 나오지 않았어요. 개발팀은 오픈 웨이트라는 이름만 보고 도입을 결정하기보다 실제 사용 조건과 필요한 연산 자원을 확인해야 해요.

왜 중요한가요

생성형 AI 제품은 이미지, 영상, 음성을 각각 다른 모델과 도구로 연결하는 경우가 많아요. 이 구조에서는 인물의 모습과 목소리, 장면의 시간 흐름을 단계마다 다시 맞춰야 해요. FLUX 3의 통합 구조가 안정적으로 작동하면 여러 생성 단계를 하나의 모델 호출과 공통 표현으로 묶을 수 있어요. 제작 속도뿐 아니라 장면 사이의 일관성에도 영향을 줄 수 있어요. 2

로봇 분야에서는 비디오 기반 모델을 행동 예측에 재사용하는 접근이 더 큰 실험이에요. 화면 속 다음 장면을 그럴듯하게 만드는 능력과 실제 로봇을 안전하게 움직이는 능력 사이에는 차이가 커요. 물체 접촉과 힘 조절, 예상하지 못한 장애물 대응은 생성 영상의 시각적 품질만으로 검증할 수 없어요. FLUX-mimic의 실제 작업 성공률과 실패 사례가 공개돼야 활용 범위를 판단할 수 있어요.

FLUX 3는 완성된 단일 제품보다 순차 출시 계획에 가까워요. 현재는 Video Early Access와 회사의 초기 평가를 확인할 수 있고, Image·Action·Dev는 뒤이어 공개될 예정이에요. 발표 수치만 비교하기보다 각 기능이 실제로 열릴 때 API 사양과 독립 평가, 라이선스를 함께 보는 편이 정확해요.

참고 자료

FLUX 3 모델 공개 — GeekNews
FLUX 3 - Real World Models: Towards Multimodal Flow Models as the Backbone of Visual Intelligence — Black Forest Labs

728x90