AI 발전 속도를 늦추자는 AI 기업

Anthropic의 다리오 아모데이가 최첨단 AI(frontier AI)의 개발 속도를 늦추자고 했습니다. 그가 걱정하는 것은 며칠, 몇 주, 몇 달 사이에 전에는 못 하던 일을 해내는 수준으로 모델의 능력이 바뀌는 일입니다.

아모데이가 말하는 속도 조절은 사람들이 AI를 덜 쓰게 하는 일이 아닙니다. OpenAI나 Anthropic 같은 기업이 지금보다 강한 모델을 내놓는 경쟁을 조절하자는 제안입니다.

에세이 「We Must Pace the Frontier」에는 AI 안전(AI safety)을 확인하는 일이 이 발전 속도를 따라가기 어렵다는 문제의식이 담겨 있습니다.

AI가 질병 치료와 과학 연구를 앞당길 수 있다고 보면서도, 사이버 공격(cyberattack)과 생물무기(bioweapons) 개발에 필요한 정보를 찾고 조합하는 데 쓰이거나 통제를 벗어날 위험(loss of control)을 걱정합니다.^[1]

이 주장에 곧바로 반론도 나왔습니다.

엔비디아의 젠슨 황 CEO는 아모데이의 에세이가 촉발한 논쟁을 두고, 안전과 기술 리더십을 양자택일로 볼 필요가 없다고 했습니다.

통제 불능이나 인류 멸망처럼 수치로 말해지는 위험 예측에는 과학적 근거가 없다고 비판했습니다.

황이 보기에 규제는 실제로 확인된 문제를 풀어야 하며, 지금까지 드러난 문제는 대개 최첨단 연구소 내부의 운영과 보안 문제였습니다.^[2]

아모데이가 내놓은 해법 가운데 가장 눈에 띄는 것은 상주 평가자(embedded evaluators)입니다.

이들이 기업 안에서 모델과 훈련 과정을 계속 살피고, 문제가 생기면 중요한 결과를 외부에 알릴 통로도 보장해야 한다는 제안입니다.^[1]

기업이 안전하다고 말하면 기업 밖에서 그 말을 확인할 사람이 필요합니다.

좋은 제안입니다. 기업이 자기 모델의 위험을 혼자 판단하고, 공개할 내용도 혼자 정하는 구조보다는 낫습니다.

다만 상주 평가자가 실제로 얼마나 독립적으로 움직일 수 있는지는 별도로 확인해 봐야 합니다.