OpenAI에서 GPT-6 Astra를 공개했습니다
GPT의 새로운 모델이 등장했습니다. 모델 경쟁은 여전히 치열한 것 같습니다. 다만 벤치마크 성과와 유저가 체감하는 성과는 다른 경우도 상당히 많습니다. 어떤 변화가 있는지 정리해봤습니다. 🖋️
더 빨라진 속도
시뮬레이션에서 Astra는 작업당 약 40분에 72.6%를 기록했습니다. Sol은 약 75분에 65.7%였습니다. 점수가 오르고 시간은 줄었습니다. 코덱스 하니스 개선까지 더하면 작업 완료가 1.9배 빨라졌고 사무 업무는 18.1%에서 41.4%로 올라갔습니다. 빠른 처리가 필요하고 손이 많이 가는 일을 맡길 수 있도록 개선된 것 같습니다.
더 똑똑해진 행동
이전 모델은 중간에 들어온 요구를 새 목표로 착각해 원래 과제를 놓치는 경우가 종종 있었다고 합니다. Astra는 결과가 달라질 지점에서만 다시 질문하고 나머지는 합리적인 가정으로 진행합니다. 답을 기다리는 동안에는 무관한 작업을 이어간다고 하네요. 😲 허깅페이스 사건을 반영해 만든 평가에서 Sol은 승인 범위를 벗어난 비율이 48%였는데 Astra는 0%를 기록했다고 합니다.
더 강력해진 보안
Astra는 OpenAI 프레임워크에서 사이버보안 심각 임계값에 도달한 모델이라고 합니다. 성능이 강력한 만큼 취약점을 보일 수 있어 보안 기능을 크게 강화했다고 합니다. 안전 검사 때문에 방어적 사이버 보안을 포함한 정상적인 작업까지 지연되거나 멈출 수 있을 정도입니다.
모델의 진화는 사실상 유저에게 좋은 현상입니다. 물론 토큰 비용이 유지된다는 가정하에요. 다만 실제 유저가 모델 성능을 체감할 수준의 결과물을 만드는 비중은 그리 크지 않은 것 같습니다. 벤치마크에서 보이는 레퍼런스들을 실제 현장에서 보기는 사실 어렵습니다. 이건 여전히 모델 성능보다 모델을 활용하는 능력의 문제입니다. 수많은 오픈 소스의 지원과 도구 활용 경험으로 좀 더 나은 결과물을 만들어낼 수 있었으면 좋겠네요. 👋
게임은 OpenAI에서 공개한 데모인데, 상당히 잘만들었네요 😆
출처: OpenAI blog