생성형 인공지능(AI) 등장이 가져온 변화 중 하나는 ‘질문’이다. AI에 질문하는 이들이 많아졌다. 챗GPT, 클로드 등 생성형 AI를 이용하는 사람들은 하루에 수도 없이 AI에 질문하고 업무를 지시한다. 그런데 과연 이 정보는 안전할까?
스티븐 슈미트(Stephen Schmidt) 아마존 최고보안책임자(CSO)는 10일(현지시각) 미국 워싱턴 D.C. 월터 E. 워싱턴 컨벤션 센터에서 열린 ‘AWS DC 서밋’에서 생성형 AI에 입력하는 질문, 즉 프롬프트의 위험성을 경고했다. 보안 전문가들에게 사용자의 질문은 그 사람의 관심사, 업무 패턴, 심지어 기밀 정보까지 드러내는 중요한 단서가 될 수 있어서다. 일례로 직원이 생성형 AI에 “우리 회사의 3분기 매출 데이터를 경쟁사와 비교해 줘”라고 질문한다면, 이는 단순한 정보 요청이 아니라 회사의 성과 분석 시기, 관심 경쟁사, 분석 목적 등 다양한 기업 기밀을 유출하게 되는 계기가 된다.
그는 이러한 위험은 AI가 생성, 추론을 넘어 행동까지 하는 ‘에이전트’ 시대에서 더 커진다고 경고했다. 사용자의 프롬프트가 질문을 넘어 ‘지시’가 되기 때문이다. 일례로 AI 에이전트에 “내 포트폴리오에서 테슬라 주식 1000주를 팔아줘”라는 프롬프트를 입력할 경우, 그 자체로 사용자의 보유 주식과 투자 성향, 재정 상황이 고스란히 노출된다.
에이전트 시대의 위험성은 연쇄 작업에서 더욱 증폭된다. ‘출장 준비해 줘’라는 단순한 명령 하나로 AI는 캘린더 확인 → 항공편 예약 → 호텔 예약 → 렌터카 예약 → 경비 신청 → 동료 알림까지 복합적인 업무를 연속 수행한다. 단계마다 개인 일정, 출장 목적, 예산 규모, 조직 내 관계 등이 노출되는 것이다. “우리 팀 회식 장소 예약하고 비용 처리해줘”라는 명령에는 팀 구성원 수, 예산 권한, 회식 문화 등 조직 정보가 고스란히 유출될 수 있다.
슈미트 CSO는 이러한 잠재적 위험 속에서 가장 큰 위협은 따로 있다고 밝혔다. 바로 사용자들이 프롬프트 입력에 대한 위험을 생각하지 않는다는 점이다. “많은 사람이 AI에 질문할 때 여기에 입력하는 데이터가 얼마나 중요한지 생각하지 않는다”며 “사실 우리와 같이 보안 분야에 일하는 사람 입장에선 이러한 질문은 응답만큼이나 가치가 크다”고 말했다. 질문 패턴만 분석해도 해당 개인이나 조직의 전략, 관심사, 취약점까지 파악할 수 있다는 뜻이다.
실제로 업무 현장에서 이런 위험은 일상적으로 발생한다. “우리 회사 클라우드 보안 취약점은 뭐야?”라는 질문은 그 자체로 현재 보안 체계에 대한 우려를 드러낸다. “경쟁사 A사의 마케팅 전략 분석해줘”라는 질문은 관심 경쟁사와 벤치마킹 대상을 노출한다. “올해 신제품 출시 일정에 맞춰 예산 계획 세워줘”라는 질문에는 제품 출시 시기, 예산 규모, 개발 일정 등 핵심 사업 정보가 담겨 있다.
문제는 현재 제공되는 AI 서비스들이 사용자의 질문을 충분히 보호하고 있지 않다는 것이다. 슈미트 CSO는 “AI 서비스 대부분은 사용자 약관에서 ‘회사가 데이터를 보관하고 자체 목적으로 사용할 수 있다’고 명시하고 있다”며 “이는 사용자의 질문과 대화 내용이 AI 회사의 모델 학습에 활용되거나, 제3자에 공유될 가능성이 있다는 걸 의미한다”고 밝혔다. 또 “심지어 모델 개발자들이 개별 사용자의 대화 내용에 직접 접근할 수 있는 위험도 있다”고 덧붙였다.
이러한 심각한 위험에 대응하기 위해 슈미트 CSO는 조직 차원의 체계적인 해결책을 제시했다. 가장 기본은 데이터 접근 권한을 명확히 설정하는 것이다. 그는 “누가 어떤 데이터에 접근할 수 있는지 미리 정해놔야 한다”며 “AI 에이전트에 질문하는 사용자가 그 정보를 볼 자격이 있는지 시스템이 자동으로 판단할 수 있어야 한다”고 설명했다.
이를 위해서는 모든 데이터를 ‘기밀’, ‘일반’, ‘공개’ 등으로 분류하고 라벨을 붙이는 등의 작업이 필요하다고 설명했다. “AI 보안은 데이터에 달려 있고, 특히 그 데이터가 적절하게 라벨링 돼 있는지가 중요하다”면서 “이는 AI 세계에선 상당히 재미없는 일이지만, AI 보안에선 매우 중요한 일”이라고 강조했다.
또한 그는 회사 내 모든 부서가 각 업무에서 ‘AI가 접근해도 되는 정보’와 ‘사람만 처리해야 하는 정보’를 명확히 구분해야 한다고 제시했다. 이러한 가드레일을 정해놓는다면 기업 기밀을 프롬프트로 유출하는 일도 줄일 수 있다는 설명이다.
그는 “AI에 던진 질문을 보는 것만으로도 당신이 무엇에 관심이 있는지 배울 수 있다”며 “직원들이 생성형 AI에 질문을 할 때, 그 데이터는 어디로 가고 누가 접근할 수 있는지 모른다면, 그 회사는 매우 위험한 상황”이라고 경고했다.