H3-metal, MiniMax-H3 영상 생성을 애플 실리콘에 맞추다

H3-metal, MiniMax-H3 영상 생성을 애플 실리콘에 맞추다

H3-metal MiniMax-H3 애플 실리콘 추론 엔진 썸네일

AI 영상 생성은 빠른 GPU와 큰 메모리를 요구해 클라우드나 고성능 그래픽카드에 기대는 경우가 많아요. H3-metal은 MiniMax-H3의 영상·오디오 생성을 애플 실리콘 Mac에서 직접 돌리도록 만든 추론 엔진이에요. 범용 호환보다 Metal 최적화와 메모리 운용에 집중했어요. 1

핵심 요약

구분	내용
실행 환경	C, Objective-C, Metal로 구현한 애플 실리콘용 MiniMax-H3 추론 엔진이에요.
생성 기능	텍스트에서 영상과 오디오를 만들고, 첫·마지막 프레임과 여러 미디어 참조도 받을 수 있어요.
성능 선택	디노이징 횟수, DiT 블록 수, 내부 해상도, 계산 재사용을 바꿔 속도와 품질을 조절해요.
메모리 선택	모델을 메모리에 올리는 경로와 필요한 블록을 SSD에서 읽는 경로를 제공해요.
확인할 점	빠른 수치는 M5 Max의 짧은 512×512 테스트 조건이며, 긴 고해상도 영상의 전체 생성 시간과는 달라요.

1. Mac 안에서 영상과 오디오를 함께 만들어요

H3-metal은 antirez가 만든 MiniMax-H3용 네이티브 추론 구현이에요. C와 Objective-C로 호스트 코드를 구성하고, 주요 연산은 Metal에서 처리해요. Hugging Face에서 받은 체크포인트를 로컬에 두고 CLI로 실행하는 방식이에요. 저장소에는 MIT 라이선스도 포함돼 있어 코드를 살펴보고 수정할 수 있어요. 2

지원 범위는 텍스트에서 영상을 만드는 기능에 그치지 않아요. 영상과 함께 오디오를 생성할 수 있어요. 시작 이미지와 마지막 이미지를 지정해 그 사이 장면을 만들 수도 있어요. Ref2VA 경로에서는 이미지, 영상, 오디오를 입력 순서대로 참조해 결과를 구성해요.

728x90

반복 작업을 위한 대화형 모드도 있어요. 프롬프트 인코더, DiT, 영상 디코더를 메모리에 유지하므로 시드만 바꿔 다시 만들 때 모델을 매번 불러오는 비용을 줄여요. 출력에는 FFmpeg와 FFprobe가 필요해요. 최종 파일은 H.264 영상과 32kHz 스테레오 AAC 오디오를 담은 MP4로 만들어요. 2

3.5초라는 수치의 범위를 구분해야 해요

저장소가 공개한 빠른 테스트에서는 M5 Max가 512×512, 22프레임 영상의 4단계 디노이징을 약 3.5초에 처리했어요. 같은 테스트의 29단계 기준 경로는 26.4초였어요. 22프레임은 24fps에서 약 0.92초 분량이에요. 이 수치는 디노이징 구간을 잰 결과라서 모델 로딩, 프롬프트 인코딩, VAE 디코딩, 오디오 처리, 파일 인코딩을 모두 합친 시간으로 읽으면 안 돼요. 2

속도를 높이면 결과도 달라질 수 있어요. 디노이징을 4~7회로 줄이거나 50개 DiT 블록 가운데 40~45개만 사용할 수 있어요. 이전 단계의 계산을 재사용하거나 320×320 또는 384×384로 내부 렌더링한 뒤 512×512로 키우는 방법도 있어요. 빠른 구도 확인과 최종 결과 생성을 같은 설정으로 처리할 필요가 없는 셈이에요.

M5 계열에서는 int8 TensorOps 경로도 사용해요. 공개 테스트에서 50개 레이어와 19번 전이를 사용한 512×512 디노이징 시간은 BF16 MPS 36.30초에서 int8 MLP 적용 후 25.80초로 줄었어요. QKV까지 int8로 처리했을 때는 19.32초였어요. 저장소 설명에 따르면 주체와 움직임은 유지됐지만 작은 디테일과 프레이밍은 달라질 수 있어요. 품질 비교가 필요하면 느린 BF16 경로를 선택할 수 있어요. 2

메모리가 부족하면 SSD를 쓰는 대신 기다려야 해요

MiniMax-H3의 Transformer 가중치는 약 37GiB라서 통합 메모리가 작은 Mac에는 부담이 커요. H3-metal의 SSD 스트리밍은 필요한 DiT 블록을 차례로 읽고, GPU가 현재 블록을 계산하는 동안 다음 블록을 준비해요. 원본 BF16 체크포인트를 별도로 변환하거나 양자화하지 않는 경로예요.

512×512 테스트에서 추적한 DiT 저장량은 약 36.5GiB에서 2.0GiB로 줄었어요. 전체 시스템 메모리가 2GiB만 필요하다는 뜻은 아니에요. 운영체제와 미디어 버퍼, 인코더, 디코더가 쓸 메모리는 따로 필요해요. 같은 조건의 한 차례 forward는 1.35초에서 2.49초로 느려졌어요. 메모리 사용량과 SSD 입출력 비용을 맞바꾸는 기능이에요. 2

왜 중요한가요

H3-metal이 보여주는 부분은 모델 지원 목록보다 하드웨어별 최적화 방식이에요. 애플 실리콘은 CPU와 GPU가 통합 메모리를 공유해 큰 체크포인트를 다루기 편하지만, 확산 모델의 연산 속도는 CUDA GPU보다 불리할 수 있어요. 이 프로젝트는 Metal 커널, TensorOps, 계산 재사용, 내부 해상도 조절, SSD 스트리밍을 한 엔진에 묶어 Mac의 장점과 제약을 직접 다뤄요. 2

로컬 실행은 영상·오디오 입력을 외부 API에 보내지 않아도 된다는 장점이 있어요. 생성 과정을 반복하는 개발자는 호출 비용과 업로드 대기 시간도 피할 수 있어요. 다만 실제 사용 가능 여부는 Mac 모델명만으로 판단하기 어려워요. 통합 메모리 용량, 만들 영상의 해상도와 길이, 허용할 품질 변화, SSD 속도를 함께 봐야 해요.

공개 성능 수치도 조건별로 나눠 읽는 편이 안전해요. 3.5초는 약 0.92초짜리 영상의 공격적인 4단계 디노이징 결과예요. 저장소의 이미지·오디오와 영상·오디오 종단 간 테스트는 M5 Max 128GB에서 각각 74.58초와 76.99초가 걸렸고, 최대 물리 메모리는 약 40.1GB였어요. 짧은 미리보기와 완성본의 시간 차이를 고려하면 H3-metal은 모든 Mac에서 즉시 빠른 도구라기보다, 통합 메모리가 큰 애플 실리콘을 가진 개발자가 속도·품질·메모리를 세밀하게 조절할 수 있는 실험 기반에 가까워요. 2

참고 자료

1. H3-metal - Mac용 MiniMax-H3 추론 엔진 — GeekNews
2. antirez/h3.c: MiniMax H3 inference engine for Mac computers — GitHub