앤트로픽 AI 에이전트 테스트 결과 공개… 유용하지만 아직 기업 배포는 일러

앤트로픽의 AI 에이전트, 실제 사용 결과 분석

앤트로픽의 AI 에이전트인 '컴퓨터 유즈(Computer Use)'가 실제 테스트를 거쳐 그 장단점이 공개되었습니다.

이 에이전트는 클로드 모델을 기반으로, 사용자가 간단한 지시를 하면 AI가 마우스와 키보드를 통해 컴퓨터 작업을 자동으로 수행하는 최초의 에이전트 모델입니다.

 

이번 연구에서는 웹 검색, 서류 작업, 비디오 게임 등 다양한 작업에 대해 이 AI 에이전트의 성능을 평가했습니다.

그러나 그 결과, 기업 환경에 바로 적용하기엔 부족한 점이 많다는 결론이 도출되었습니다.

컴퓨터 유즈 AI 에이전트의 테스트 결과

1. 에이전트의 유용성과 능력

연구자들은 컴퓨터 유즈가 주어진 작업을 어떻게 처리하는지 실험했습니다.

주요 작업은 웹 검색, 스프레드시트 작성, 문서 작업 등 다양한 실제 업무에 포함되는 것들이었으며, AI는 웹 페이지에서 정보 추출, 서류 작업 완성, 게임에서의 논리적 계획 등을 잘 수행했습니다.

 

AI의 능력은 다음과 같았습니다

• 일관된 계획 수립: AI는 작업을 계획하고 그에 맞는 행동을 할 수 있었습니다.
• 다양한 도구 활용: 웹 브라우저와 애플리케이션을 효과적으로 조작하며 작업을 완수했습니다.
• 자기 평가 및 결과 점검: 작업이 목표에 부합하는지 확인하는 능력도 보였습니다.

이러한 특성 덕분에 컴퓨터 유즈는 복잡한 다단계 작업을 잘 처리할 수 있는 가능성을 보여주었습니다.

2. 에이전트의 한계와 문제점

하지만, 컴퓨터 유즈에는 여전히 해결해야 할 문제가 많았습니다.

특히, 간단한 작업에서 자주 실수를 범했습니다. 예를 들어, 구독 버튼을 찾기 위한 웹 페이지 스크롤을 제대로 하지 못하거나, 텍스트 선택과 같은 간단한 작업을 실패하는 일이 있었습니다.

 

이러한 오류는 종종 자기 평가 메커니즘의 부족에서 비롯되었으며, AI가 진행 상황을 제대로 파악하지 못하거나 잘못된 가정을 내리기도 했습니다. 연구자들은 이를 비평가 모듈의 개선이 필요하다고 지적했습니다.

3. 보안과 효율성 문제

AI 에이전트는 인간이 사용하는 컴퓨터 인터페이스를 통해 작업을 처리하지만, 이 방식이 효율적이지 않다는 분석이 나왔습니다.

또한, AI가 컴퓨터 작업을 이해하는 방식에 있어 중요한 문제점이 발견되었습니다.

보안 문제와 관련해, AI가 실수할 경우 민감한 데이터를 다루는 업무에서 예측할 수 없는 부작용이 발생할 수 있다는 우려도 제기되었습니다.

대규모 배포에 대한 신중함

이 실험 결과를 종합하면, 컴퓨터 유즈는 매우 유용한 도구로 보이지만, 기업의 업무 자동화에 사용하기에는 아직 불안정한 상태입니다.

실수와 예측할 수 없는 결과가 발생할 수 있기 때문에, 민감한 업무에 적용하는 데에는 신중한 접근이 필요하다는 결론이 나왔습니다.

 

연구자들은 이번 분석이 클로드 3.5의 한계와 개선점을 파악하는 데 도움이 될 것이라고 밝혔습니다.

앞으로의 에이전트 개선이 이루어지면, 업무 자동화와 같은 분야에서 더 넓은 적용 가능성을 보여줄 것으로 기대됩니다.

당신을 위한 3줄 요약

1. 앤트로픽의 AI 에이전트 '컴퓨터 유즈'는 다양한 작업에서 좋은 성과를 보였으나, 여전히 간단한 실수를 자주 일으킴.
2. 자기 평가 메커니즘과 보안 문제 등 여러 한계가 있어 기업에서의 대규모 배포는 아직 일러.
3. 이번 연구는 클로드 3.5 에이전트의 기능과 한계를 보여주며, 향후 개선을 위한 중요한 데이터를 제공.

구독!! 공감과 댓글,

광고 클릭은 저에게 큰 힘이 됩니다.

 

Starting Google Play App Distribution! "Tester Share" for Recruiting 20 Testers for a Closed Test.

Tester Share [테스터쉐어] - Google Play 앱