Anthropic, AI 발전 속도 완화 제안 지원을 위해 Accenture를 내장형 평가 기관으로 선정

Anthropic은 CEO 다리오 아모데이가 지난주 제안한 대로 AI 개발 속도를 늦추는 데 도움을 줄 첫 번째 상주 평가 기관으로 Accenture를 선정했다고 밝혔다.

아모데이는 9월 12일 AI 개발 속도를 늦추고 안전장치를 마련할 수 있도록 하는 3단계 제안을 발표했다. 이는 빠르고 통제되지 않은 개발로 인해 재앙적인 피해가 발생할 수 있다는 경고가 나온 가운데 이뤄졌다.

OpenAI CEO 샘 올트먼 과 SpaceX CEO 일론 머스크 는 아모데이의 제안에 긍정적으로 반응했지만, Nvidia CEO 젠슨 황 은 그러한 규제가 필요하지 않다고 주장하며 동의하지 않았다.

그럼에도 아모데이는 자신의 제안 에서 “AI는 차세대 AI를 구축하는 능력이 커지면서 주로 그 능력에 의해 주도돼 급격히 더 빠르게 발전해 왔다. 이러한 동학을 ‘재귀적 자기개선’이라고 한다”고 썼으며, “방치할 경우 AI는 우리가 이러한 시스템을 이해하고 통제할 수 있는 능력을 앞지를 수 있다”고 밝혔다.

관련 기사: Anthropic 수장, AI 개발을 더 안전한 속도로 늦출 것을 촉구

아모데이는 제안의 첫 단계가 직원과 유사한 접근 권한을 가진 독립 평가 기관을 두는 것이라고 썼으며, Anthropic은 이미 이에 일방적으로 약속한 바 있다.

Anthropic은 금요일 Accenture 및 그 AI 사업부인 Faculty와 “모델 평가 및 레드팀 활동, 정렬 평가 수행, 모델 안전장치 테스트”를 진행하는 파트너십을 맺으며 이러한 약속을 이행하는 방향으로 나아가고 있다고 발표했다.

회사는 상주 평가가 새로운 분야이기 때문에 이를 어떻게 진행할지에 대한 세부 사항은 아직 조율 중이라고 밝혔다.

발표에 따르면 Anthropic과 Accenture는 향후 5년간 이 프로젝트에 각각 최소 10억 달러를 투자할 예정이다.

Anthropic, 긴급성 고려해 직접 자금 지원

Anthropic은 독립 평가에 자금을 지원할 기존 시스템도 없다고 지적했다. 따라서 장기적인 자금은 공동 기금이나 정부 재원에서 나와야 하지만, 업무의 긴급성을 고려해 Anthropic이 Accenture의 업무에 직접 자금을 지원할 예정이다.

파트너십은 독점적이지 않으며, Anthropic은 앞으로 몇 주 안에 다른 평가 기관들도 발표하고 이들과도 협력할 것으로 예상한다.

Accenture의 Faculty는 세계 유수의 AI 연구소 일부를 위해 모델을 테스트하고 평가하며, 처음부터 안전하고 윤리적으로 설계된 복잡한 AI 시스템을 구축하는 데 전문성을 갖추고 있다고 회사는 금요일 밝혔다.

Accenture의 회장 겸 CEO인 줄리 스위트는 “상주 평가는 부상하고 있는 분야이며, 앞으로 안전 생태계의 중요한 부분으로 보고 있는 상주 평가 기관의 발전을 가속하는 데 도움을 주기 위해 Anthropic과 협력하게 되기를 기대한다”고 말했다.

매거진: AI 최대 기업들은 왜 갑자기 개발 속도를 늦추자고 요구하는가?