"모든 LLM을 컴퓨터 사용 'AI 에이전트'로 내가 만든다!"...MS, 혁신적인 도구 '옴니파서 2' 오픈소스로 공개

우리가 현재 사용하는 인공지능(AI)은 단순히 사람처럼 대화하거나 이미 존재하는 데이터를 기반으로 예측하는 수준에 그치지 않습니다.

하지만, 마이크로소프트(MS)가 최근 발표한 혁신적인 AI 도구 '옴니파서 2'는 한 걸음 더 나아가, 컴퓨터 화면을 분석하고, UI 요소를 인식하며, 사용자의 명령을 스스로 실행하는 기능을 제공합니다.

이 도구는 이제 오픈소스로 공개되어 개발자들이 자유롭게 활용할 수 있게 되었습니다.

'AI 에이전트' 시대의 도래

AI가 일상에 깊숙이 침투하면서, 우리는 그 활용 가능성에 점점 더 많은 기대를 걸고 있습니다.

특히, ‘AI 에이전트’라는 새로운 개념이 등장하면서, 우리는 AI가 단순한 도구를 넘어 우리의 일상적인 작업을 스스로 처리해주는 존재가 될 날이 멀지 않았음을 실감하고 있습니다.

'AI 에이전트'는 이제 단순히 사용자의 명령을 수행하는 차원을 넘어, 스스로 작업을 분석하고 필요한 절차를 결정하여 작업을 실행하는 존재로 발전하고 있습니다.

 

이 AI 에이전트의 핵심 기능을 담당하는 도구가 바로 마이크로소프트의 '옴니파서 2'입니다.

옴니파서 2는 기존의 AI 모델들이 화면을 인식하고 텍스트를 추출하는 수준을 넘어, 컴퓨터 화면을 분석하고, 버튼과 메뉴를 클릭하거나 텍스트를 입력하는 등의 동작을 스스로 수행할 수 있는 능력을 갖추고 있습니다.

이러한 발전은 다양한 산업에 혁신을 불러일으킬 것입니다.

본론: '옴니파서 2'의 혁신적 기능

'옴니파서 2'는 오픈AI의 최신 인공지능 모델인 GPT-4V와 결합하여, 화면의 각 요소를 정확하게 이해하고 조작할 수 있는 능력을 지니고 있습니다.

이 도구는 화면을 분석하고, 각 UI 요소의 기능을 파악한 후, 사용자가 원하는 작업을 실행합니다.

예를 들어, 사용자가 '항공편 예약해줘'라는 명령을 내리면, 옴니파서 2는 해당 명령을 실행하기 위한 UI 요소들을 인식하고, 이를 클릭하거나 텍스트를 입력하는 등의 작업을 자동으로 진행할 수 있습니다.

 

또한, 이 도구는 단순히 텍스트 기반 명령에 의존하지 않습니다. 화면에 있는 이미지와 텍스트를 동시에 분석하여 사용자 명령을 더 정확하게 수행할 수 있습니다.

이전의 AI 모델들은 텍스트 기반으로만 작업을 수행했지만, 옴니파서 2는 이미지와 텍스트를 동시에 이해할 수 있어, 더 직관적이고 효율적인 작업 수행이 가능해졌습니다.

인간과 컴퓨터 간의 상호작용 방식을 혁신하다

'옴니파서 2'의 공개는 인간과 컴퓨터 간의 상호작용 방식을 근본적으로 변화시킬 것입니다.

AI는 이제 단순히 사용자 명령을 실행하는 도구에 그치지 않고, 스스로 화면을 분석하고 작업을 실행하는 'AI 에이전트'로서 기능하게 됩니다.

이 도구가 실생활에서 구현되면, 우리가 컴퓨터를 사용하는 방식은 획기적으로 변화할 것입니다.

예를 들어, 시각 장애인을 위한 음성 기반의 웹사이트 이용, 복잡한 소프트웨어 테스트 자동화 등 다양한 분야에서 그 가능성이 열려 있습니다.

 

향후 '옴니파서 2'는 더 많은 AI 모델들과 연동될 예정이며, 다양한 환경에서 적용될 수 있도록 발전할 것입니다.

클라우드 환경에서도 사용이 가능해져, 우리는 더욱 스마트한 작업 환경을 경험하게 될 것입니다.

당신을 위한 3줄 요약

1. MS가 발표한 '옴니파서 2'는 AI가 컴퓨터 화면을 분석하고 명령을 스스로 실행하는 도구입니다.
2. 이 도구는 오픈소스로 공개되어 개발자들이 자유롭게 활용할 수 있습니다.
3. '옴니파서 2'는 인간과 컴퓨터 간의 상호작용 방식을 혁신적으로 변화시킬 것입니다.

3 line summary for you

1. Microsoft’s 'OmniParser 2' allows AI to analyze computer screens and execute commands autonomously.
2. This tool is now open-source, enabling developers to use it freely.
3. 'OmniParser 2' will revolutionize human-computer interaction fundamentally.

구독!! 공감과 댓글,

광고 클릭은 저에게 큰 힘이 됩니다.

 

Starting Google Play App Distribution! "Tester Share" for Recruiting 12 Testers for a Closed Test.

Tester Share [테스터쉐어] - Google Play 앱