GPT-5.6 Sol Ultrafast, 초당 750 토큰이 바꾸는 대기 시간

GPT-5.6 Sol Ultrafast, 초당 750 토큰이 바꾸는 대기 시간

GPT-5.6 Sol Ultrafast 썸네일

GPT-5.6 Sol이 Cerebras 인프라에서 초당 최대 750개 출력 토큰을 내는 Ultrafast Mode로 제공돼요. OpenAI API의 새 서비스 계층으로 일부 고객에게 먼저 열렸어요. 빠른 출력이 실제 작업 시간까지 얼마나 줄이는지는 모델 밖의 도구와 시스템 속도에 따라 달라져요. 1

핵심 요약

구분	확인된 내용	실제로 볼 부분
제공 방식	OpenAI API에서 제한 공개됐어요	용량이 늘면 접근 대상도 넓어질 예정이에요
출력 속도	초당 최대 750개 출력 토큰을 제시했어요	최대치와 실제 요청의 지속 속도는 구분해서 봐야 해요
HLE 평가	2,500문항을 11시간 11분에 처리했어요	Cerebras가 수행한 평가라 조건을 함께 확인해야 해요
GDP-Val	기본 모드보다 종단 간 5.6배 빨랐어요	모든 업무가 같은 비율로 빨라진다는 뜻은 아니에요
추론 구조	웨이퍼마다 44GB SRAM을 넣었어요	모델 가중치 이동에 쓰는 시간을 줄이는 설계예요
공개 범위	일부 고객만 이용할 수 있어요	가격과 일반 공개 일정은 아직 제시되지 않았어요

1. 초당 750 토큰은 모델보다 추론 인프라의 변화예요

Cerebras와 OpenAI는 GPT-5.6 Sol Ultrafast를 OpenAI API의 새 서비스 계층으로 공개했어요. Cerebras가 밝힌 최대 출력 속도는 초당 750 토큰이에요. 회사는 같은 모델 품질을 유지하면서 응답 시간을 줄였다고 설명해요. 현재는 일부 고객만 쓸 수 있고, 제공 용량이 늘어나는 순서대로 접근 범위를 넓힐 계획이에요. 2

이 속도는 모델 자체를 작게 줄여 얻은 수치가 아니에요. Cerebras의 Wafer-Scale Engine이 GPT-5.6 Sol 추론을 맡아요. 각 웨이퍼 크기 칩에는 44GB SRAM이 들어가요. 모델 가중치를 칩 가까이에 두고, 여러 웨이퍼에 나뉜 모델 계층으로 토큰을 연속 전달하는 방식이에요.

728x90

일반적인 대형 모델 추론에서는 메모리 대역폭이 속도를 제한할 수 있어요. 다음 토큰을 만들 때마다 많은 가중치를 읽어야 하기 때문이에요. Cerebras는 가중치 이동 거리를 줄여 이 병목을 완화했다고 설명해요. 사용자가 체감하는 변화는 답이 한꺼번에 늦게 나오는 대신 생성 과정이 빠르게 이어지는 데 있어요.

벤치마크에서는 처리 시간이 크게 줄었어요

Cerebras는 Humanity's Last Exam 2,500문항을 GPT-5.6 Sol Ultrafast로 처리했어요. 전체 소요 시간은 11시간 11분이었어요. 비교 대상으로 제시한 Claude Fable 5는 78시간 27분이 걸렸고, 정확도는 비슷한 수준이었다고 밝혔어요. 회사가 인용한 출력 속도 기준으로는 Fable 5보다 11배, Opus 4.8 Fast보다 5배 빨라요.

지식 노동 과제를 다루는 GDP-Val에서는 기본 GPT-5.6 Sol보다 종단 간 처리 시간이 5.6배 짧았어요. 이 평가는 2026년 7월 31일 Codex의 medium 추론 설정에서 진행됐어요. HLE 비교와 GDP-Val 수치는 Cerebras가 수행한 평가예요. 독립 기관의 재현 결과와 실제 API 부하에서의 지속 속도는 더 확인할 필요가 있어요.

빠른 토큰이 모든 병목을 없애지는 않아요

코딩 작업은 모델 출력만으로 끝나지 않아요. 저장소 검색, 빌드, 테스트, 외부 API 호출 속도가 느리면 전체 완료 시간은 그 단계에서 결정돼요. 초당 토큰 수가 크게 늘어도 10분 걸리는 테스트가 자동으로 짧아지지는 않아요.

반대로 모델 응답을 여러 번 검토하고 고치는 작업에는 속도가 직접 도움이 돼요. 장애 원인 후보를 연속으로 좁히거나 보안 이벤트를 빠르게 분류하는 상황도 여기에 들어가요. 한 번의 답을 기다리는 시간이 짧아지면 같은 시간 안에 검토와 수정 단계를 더 돌릴 수 있어요.

가격은 아직 공개되지 않았어요. 응답은 빨라도 요청당 비용이 크게 오르면 상시 운영에는 부담이 될 수 있어요. 실제 도입 판단에는 최대 출력 속도뿐 아니라 첫 토큰 대기 시간, 긴 응답의 지속 속도, 요청당 비용, 동시 처리 한도를 함께 넣어야 해요. OpenAI의 공식 안내도 현재 Ultrafast를 제한 공개 단계로 소개해요. 3

왜 중요한가요

AI 서비스에서 몇 분의 대기는 작업 방식을 바꿔요. 사용자는 기다리는 동안 다른 창으로 옮겨가고, 여러 요청을 병렬로 던지게 돼요. 응답이 수초 안에 끝나면 한 화면에서 결과를 확인하고 바로 다음 지시를 내릴 수 있어요. 코딩 도구와 운영 자동화에서 이 차이는 모델 점수만큼 실제 사용 빈도에 영향을 줄 수 있어요. 2

이번 공개에서 확인할 부분은 초당 750 토큰이라는 최대 수치만이 아니에요. 큰 모델의 가중치 이동을 줄이는 전용 하드웨어가 고성능 모델의 대기 시간을 얼마나 낮출 수 있는지도 보여줘요. 다만 공개된 결과는 공급사 평가가 중심이고 가격도 없어요. 일반 고객이 같은 속도를 안정적으로 얻는지, 비용을 포함한 작업당 효율이 나아지는지는 정식 공개 뒤에 판단해야 해요.

참고 자료

1. GPT-5.6 Sol을 초당 750토큰으로 가속하는 Ultrafast Mode — GeekNews
2. Accelerating GPT-5.6 Sol Ultrafast — Cerebras
3. Previewing Ultrafast — OpenAI