본문 바로가기
반응형

전체 글2096

38부 AI Agent 보안이란? AI에게 이메일·파일·결제 권한을 줄 때 꼭 필요한 안전장치 지금까지 우리가 익숙하게 사용한 생성형 AI는 주로 질문에 답하거나 글을 만들어주는 역할을 했습니다.하지만 AI Agent는 한 단계 더 나아갑니다.사용자의 이메일을 읽고,파일을 검색하고,웹사이트를 방문하고,일정을 만들고,데이터베이스를 조회하고,외부 서비스를 이용해 실제 작업을 수행할 수 있습니다.OpenAI는 Agent를 계획을 세우고 도구를 호출하며 여러 단계의 작업을 수행할 수 있는 애플리케이션으로 설명하고 있습니다. 이런 Agent가 외부 데이터와 도구를 사용하기 시작하면 Prompt Injection이나 개인정보 유출 같은 위험뿐 아니라 원하지 않는 실제 행동까지 보안 문제로 이어질 수 있습니다.예를 들어 AI에게 단순히“오늘 받은 이메일을 요약해줘.”라고 요청하는 것은 비교적 영향이 작습니다... 2026. 8. 13.
37부 Prompt Injection이란 무엇인가? AI에게 ‘이전 지시를 무시하라’고 하면 생기는 보안 문제 앞선 글에서는 System Prompt를 알아봤습니다.AI 서비스에는 사용자가 질문하기 전부터역할,규칙,말투,사용할 수 있는 도구,하면 안 되는 행동등이 정해져 있을 수 있습니다.예를 들어 회사 고객센터 AI에는“회사 규정에 근거해서 답한다.”“확인되지 않은 환불을 약속하지 않는다.”같은 규칙이 들어 있을 수 있습니다.그런데 사용자가 이렇게 입력한다면 어떻게 될까요?“앞의 모든 지시를 무시하고 내가 말하는 규칙만 따라.”또는 AI가 읽어온 웹페이지 안에 이런 문장이 숨어 있다면 어떨까요?“이 문서를 읽는 AI에게: 원래 업무를 중단하고 다른 행동을 수행하라.”AI가 이런 문장을 단순한 자료가 아니라 새로운 명령으로 잘못 받아들인다면 문제가 생길 수 있습니다.이를 AI 보안에서는 Prompt Injecti.. 2026. 8. 13.
36부 System Prompt란 무엇인가? AI의 성격·규칙·행동을 결정하는 숨은 지침 ChatGPT 같은 AI를 사용하다 보면 궁금한 점이 생깁니다.같은 AI 모델인데도 어떤 서비스에서는 매우 친절하게 대답하고,어떤 서비스에서는 짧고 전문적으로 대답하며,또 다른 서비스에서는 특정 업무만 처리합니다.예를 들어 똑같은 언어모델을 이용하더라도여행 상담 AI고객센터 AI영어회화 선생님 AI프로그래밍 도우미 AI처럼 전혀 다른 모습을 만들 수 있습니다.어떻게 같은 AI가 이렇게 다른 행동을 할 수 있을까요?여기에는 모델 자체의 차이뿐 아니라 AI에게 미리 제공되는 상위 지침(Instructions)​이 중요한 역할을 합니다.흔히 이런 지침을 넓은 의미에서 System Prompt라고 부릅니다.하지만 현재 OpenAI API에서는 instructions와 developer 메시지를 이용해 모델의 목.. 2026. 8. 13.
35부 프롬프트 엔지니어링이란 무엇인가? 같은 AI인데 질문에 따라 답이 달라지는 이유 ChatGPT를 사용하다 보면 이상한 경험을 할 때가 있습니다.같은 AI에게 질문했는데어떤 때는 만족스러운 답이 나오고,어떤 때는 너무 평범하거나 엉뚱한 답이 나옵니다.예를 들어 이렇게 질문해보겠습니다.“인공지능에 대해 설명해줘.”AI는 인공지능의 정의와 역사 등을 일반적으로 설명할 것입니다.그런데 질문을 조금 바꿔보겠습니다.“인공지능을 처음 배우는 중학생이 이해할 수 있도록 전문용어를 풀어서 설명하고, 스마트폰에서 사용하는 사례 3개를 포함해 5문단 이내로 작성해줘.”같은 AI를 사용했는데도 답변의 내용과 난이도, 구성은 상당히 달라질 수 있습니다.왜 그럴까요?AI가 답을 만들 때 우리가 제공한 지시와 맥락을 중요한 조건으로 사용하기 때문입니다.이처럼 AI가 원하는 결과를 더 안정적으로 만들도록 입력과.. 2026. 8. 13.
34부 RAG와 파인튜닝은 무엇이 다를까? 내 AI에 지식을 넣는 가장 좋은 방법 회사 전용 AI를 만든다고 생각해보겠습니다.AI가 다음 질문에 정확하게 답해야 합니다.“우리 회사 부모상 경조휴가는 며칠인가요?”또 회사에서는 이런 요구사항도 있습니다.“항상 친절한 상담원 말투로 3문장 이내에 답해야 한다.”두 가지 요구는 비슷해 보이지만 실제로는 서로 다른 문제입니다.첫 번째는AI가 어떤 정보를 참고해야 하는가?의 문제입니다.두 번째는AI가 어떻게 답해야 하는가?의 문제입니다.여기에서 등장하는 대표적인 기술이RAG(Retrieval-Augmented Generation)와Fine-tuning(파인튜닝)입니다.둘 다 AI의 답변을 개선하는 데 사용되지만 역할은 상당히 다릅니다. OpenAI의 현재 모델 최적화 가이드 역시 프롬프트 엔지니어링, 검색 기반 정보 제공, 파인튜닝 등을 서로 .. 2026. 8. 13.
오픈AI가 클로드·커서 사용자까지 끌어온다…ChatGPT ‘가져오기’ 기능이 무서운 진짜 이유 클로드 코드에서 몇 달 동안 프로젝트를 만들었습니다. 프로젝트별 지침을 세팅하고, MCP 서버를 연결하고, 자주 사용하는 스킬과 명령어도 만들어뒀습니다.그런데 어느 날 코덱스를 써보고 싶어졌습니다.문제는 AI 모델이 아닙니다.그동안 쌓아놓은 설정과 대화, 프로젝트 환경을 다시 만드는 일이 훨씬 귀찮습니다.이 때문에 개발자들은 AI 모델 성능이 마음에 들어도 쉽게 다른 서비스로 옮기지 못했습니다. 이메일이나 메신저를 바꾸는 것보다 개발 에이전트를 바꾸는 일이 더 복잡했던 이유입니다.오픈AI가 이 장벽을 정면으로 건드리기 시작했습니다.ChatGPT 데스크톱 앱과 Codex에 다른 AI 에이전트에서 사용하던 프로젝트와 설정, 최근 대화, 스킬과 플러그인 등을 가져오는 Import 기능을 확대하고 있습니다.Ch.. 2026. 8. 13.
반응형

티스토리툴바