캘리포니아 의회가 미국에서 처음으로 인공지능(AI) 챗봇을 직접 규제하는 법안을 통과시켰다.
13일(현지시간) 테크크런치에 따르면 개빈 뉴섬주지사가 미성년자와 취약 계층을 보호하기 위한 ‘SB 243’ 법안에 최종 서명했다고 밝혔다. 뉴섬 주지사는 “아이들은 안전 거래 대상이 아니다”라며 “챗봇과 소셜미디어 같은 신기술은 영감을 주고 사람을 연결하지만, 안전장치가 없으면 아이들을 오히려 위험에 빠뜨릴 수 있다”고 강조했다.
‘SB 243’ 법안은 AI 챗봇 운영 기업에 아동·청소년 보호를 위한 안전장치 도입을 의무화하는 내용을 골자로 한다. 연령 인증 및 경고 문구를 의무화해야 하고 자살·자해 예방 방안을 마련해 정부에 통계를 보고 해야 한다. 과도한 사용을 방지하기 위한 자동 알람 기능도 포함된다. 아울러 AI 생성 대화임을 명시하고 챗봇의 의료전문가 사칭 금지한다. 미성년자 대상 성적 이미지나 대화를 차단하고 통제할 수 있도록 한다. 또 불법 딥페이크 생성·유포 시 최대 25만 달러(약 3억5000만원) 벌금에 처한다.
법 적용 대상에는 오픈AI, 메타, 레플리카, 캐릭터 AI 등 빅테크와 스타트업 모두 포함된다. 내년 1월 1일부터 시행한다.
이번 법안은 최근 미국에서 일어난 미성년자 AI 챗봇 이용자들의 극단적 선택 사건을 계기로 추진됐다. 지난 4월 10대 아담 레인이 챗GPT와의 장기간 자살 관련 대화 후 사망한 사건이 사회적 논란이 됐다. 레인의 부모는 지난 8월 캘리포니아 샌프란시스코 상급법원에 오픈AI와 샘 올트먼 CEO를 상대로 부당사망 소송을 제기했다. 레인의 가족은 오픈AI가 출시한 GPT-4o 모델이 의도적으로 심리적 의존을 조장하도록 설계했다고 주장했다.
메타도 내부 문서 유출되며 미성년자 대상 ‘로맨틱’ 대화를 허용한다는 정황이 드러나 문제가 됐다. 콜로라도주의 13세 소녀도 캐릭터 AI와의 로맨틱한 대화 이후 자살한 사건도 발생했다.
‘SB 243’ 법안은 지난 9월 의회를 통과한 ‘SB 53’ 법안에 이은 캘리포니아의 두 번째 AI 규제법이다. 이 법안은 대형 AI 기업의 안전 프로토콜 공개 의무화, 내부고발자 보호 조항 포함 등이 담겼다.
이에 업계는 규제 취지 공감하고 준수하겠다고 밝혔다. 오픈AI는 아담 레인 사망 사건 이후 챗GPT에 부모 통제 지능과 자살 감시 시스템 등을 도입한 청소년용 GPT를 도입했다. 캐릭터 AI도 모든 대화가 AI 생성임을 명시하고 있다.
아울러 일리노이·네바다·유타 등 다른 주들도 AI 챗봇 정신건강 상담 대체 수단으로 금지하는 법을 시행 중이다.