[AI 주간브리핑] AI로 인한 안전, 그리고 AI의 안전

인공지능(AI) 기술이 긍정적으로 사용되는 사례 중 하나는 ‘안전’입니다. 시민들의 일상에, 또 산업 현장에 안전을 더해주는 용도로 활용됩니다. 일례로 CCTV에 촬영된 영상을 분석해 결과물을 내는 비전 AI 기술은 화재가 발생하거나 인파가 밀집했을 때 혹은 수상한 사람이 배회할 때 해당 영상을 분석해 관제사에게 알려줄 수 있고요. 산업 현장에선 작업자들이 안전모나 안전장비를 착용하지 않았을 때, 위험한 중장비에 가까이 있을 때 해당 영상을 분석해 경고음 등으로 위험 여부를 알려줄 수 있죠. 이처럼 AI는 우리 일상에 안전을 더할 수 있는 용도로 활용되고 있습니다.

그런데 우리가 이 기술을 활용하기 위해선 당연히 AI가 안전해야겠죠? 안전이 확보되지 않은 기술을 함부로 사용할 순 없으니깐요. 이 때문에 AI 안전을 확보하는 방안에 관한 얘기가 많이 논의되고 있죠. 이번 주에는 일상에 안전을 더해주는 AI와 더불어 AI 안전을 확보하려는 움직임이 많았습니다.

화성시민 안전, 이젠 AI가 보조한다

화성시가 시민 안전을 위해 대규모 AI 영상관제 시스템을 구축했습니다. 전국 최대 규모인 1만 2500대의 CCTV 카메라를 기반으로 하는 AI 영상관제 시스템입니다. 교통 관리, 재난 대응, 범죄 예방 등 여러 분야에서 안전성을 강화할 수 있을 것으로 기대됩니다.

[더AI 현장] “건설 사고 없이”… 자동화 로봇·AI로 안전 다각화

산업 현장에서 안전을 확보하기 위한 기술도 지속 개발되고 있습니다. ‘중대재해 처벌 등에 관한 법률(중대재해법)’ 영향도 크죠. ‘스마트건설 엑스포(EXPO)’에서는 근로자 안전을 중심으로 한 AI, 디지털 트윈, 가상현실(VR)·증강현실(AR) 등 첨단기술이 선보여졌는데요. 건설 현장에서 위협을 감지하고 알려주는 AI CCTV 기술은 더욱 정교화됐고, 사람의 위험을 대신하는 로봇 기술도 고도화된 상태였습니다.

건설 현장 지반보강공사 사고 위험, AI로 막는다

지반보강 작업에서 발생할 수 있는 사고를 AI 기반으로 줄일 수 있는 기술도 개발됐습니다. 씽크포비엘은 건설 현장 모니터링 시스템 기술기업 유저인사이트와 협력해 AI 기술을 활용한 건설 현장 ‘지반보강공사’ 관찰‧감시 체계를 개발했다고 밝혔는데요. 유저인사이트가 서비스 중인 ‘지반보강공사 품질관리 시스템’에 클라우드 기반 이상징후 탐지 AI 솔루션을 통합하는 방식으로 이뤄졌습니다. 씽크포비엘은 여기서 AI가 올바르게 작동할 수 있는지 데이터밸런스 기법 기반 ‘AI 신뢰성’ 검증을 했다고 하네요. AI가 안전하게 작동할 수 있는지 검토한 사례인 것이죠.

[인터뷰] 인스타그램 강제 비활성화, 민형사 고발 가능

그렇다면, AI가 안전하게 작동하지 않게 된다면 어떤 일이 생길까요? 최근 육아 계정 차단으로 물의를 빚고 있는 인스타그램이 대표 사례인데요. 사실 육아 계정 차단은 일부에 불과합니다. 아무 잘못 없는 계정까지 비활성화되는 일이 빈번하죠. 여기서는 AI 오류가 지적되고 있는데요. 이에 오정익 법무법인 원 인공지능대응팀장 겸 변호사는 AI로 인한 오류에 대해 메타로부터 설명을 들을 수 있는 권한이 있다고 밝혔습니다. “개인정보보호법에서 자동화된 결정에 대한 설명 요구권이 있다”면서 “메타에서 계정을 비활성화한 것이 자동화된 시스템이고, 그 자체로 결정이 이뤄졌다면 설명 요구 등을 할 수 있다”고 말했죠.

[인터뷰] AI 전쟁터에 선 태국 “우리는 싸우지 않는다, 사용할 뿐”

해외 국가들도 AI 안전에 특히 신경을 쓰는 분위기입니다. 특히 AI를 활용하는 데 있어 안전을 중시하고 있죠. 뢰할 수 있는 인공지능 국제연대 ‘TRAIN’이 주최한 행사에 참석차 방한한 아피다비 파아툼롱 태국 디지털경제부(MDES) 산하 빅데이터연구소 전략 프로젝트 담당 선임 감독관을 인터뷰할 수 있었는데요. 그는 “AI 활용 측면에서 태국이 중요하게 여기는 부분은 ‘안전’과 ‘수익’”이라면서 “사용자에게 피해를 주지 않으면서 이익을 도모할 수 있는 AI 활용을 전개하고 있다”고 밝혔습니다.

“늦었지만”… ‘AI 기본법’ 연내 국회 통과 가시화

AI 안전에 관한 정책적 움직임도 불고 있습니다. 과방위 법안소위는 이번에 여야가 발의한 총 19건의 AI 기본법안을 병합 심사해 통과시켰습니다. 이 법안에서는 금지 AI 규정 제외하고 ‘고영향 AI’에 대한 사업자 책임을 규정했습니다. 고영향 AI는 사람의 생명이나 신체 등 인간의 기본권 보호에 영향을 미치는 기술을 개발할 때 사용가의 안전성을 확보할 수 있도록 하는 사업자 책임 조항입니다. 사업자가 고영향 AI에 대해 이용자에게 고지하지 않았을 경우 3000만 원의 과태료를 내야 하죠.

엔비디아, 2025년 AI 트렌드로 ‘에이전틱 AI’ 제시

엔비디아가 2025년 AI 주요 트렌드로 ‘에이전틱 AI(Agentic AI)’를 꼽았습니다. 엔비디아에 소속된 AI 전문가들은 22일 2025년 AI가 가져올 발전에 관한 전망을 발표했는데요. 여기서 중요하게 다뤄진 것이 바로 에이전틱 AI 입니다. 에이전틱 AI는 거의 자율적으로 작동하는 새로운 범주의 생성형 AI를 뜻합니다. 방대한 데이터 세트에 대한 지속적인 학습과 분석을 기반으로 복잡한 의사 결정을 내리고 행동할 수 있죠. 오픈AI, 마이크로소프트(MS), 세일즈포스 등이 내놓은 AI 에이전트를 이끄는 기술로 볼 수 있습니다.

“인공지능도 부서가 있다”… AI3의 기업용 AI 지원 전략

에이전틱 AI처럼 실제 사람들이 업무에 활용할 수 있는 AI 서비스가 많이 등장하고 있습니다. AI3 대표는 기업 맞춤형 인공지능 AI 솔루션 ‘웍스AI 엔터프라이즈’를 공개하며 부서별 AI 비서 기능을 강조했는데요. 표철민 대표는 해당 기술을 공개하는 기자간담회 자리에서 “기업들은 5분 만에 원하는 맞춤형 챗봇을 만들 수 있다”며 “데이터 전처리 과정 없이도 부서별로 가지고 있는 데이터를 학습시키고 필요한 기능을 설정해 업무에 바로 활용할 수 있다”고 설명했습니다.

[AI 실적분석] 만성 적자 ‘의료 AI’, 3분기도 손익 치료 실패

의료 AI 기업들이 올해 3분기도 적자를 면치 못했습니다. 국내 대표 의료 AI 상장사 6곳의 3분기 실적을 분석한 결과 모든 기업이 적자였습니다. 물론 예상했던 결과였지만 흑자전환 시점이 지속 미뤄지면서 기업 경영 안전성이 의심되는 기업들이 증가하고 있습니다.

폐암과의 전쟁 나선 美… 코어라인소프트, 파병군 확대

코어라인소프트도 적자를 기록했지만 그래도 해외 진출 성과가 하나둘 나타나며 기대감을 보이고 있습니다. 이 기업은 최근 미국 폐 질환의 임상 치료 분야를 선도하는 템플대학병원 산하의 템플폐센터(temple lung center 이하 TLC)에 주요 폐 질환 제품 3종을 판매했습니다. TLC는 손상된 폐 조직을 줄이고 건강한 폐 조직이 더 잘 기능하도록 돕는 혁신 기술인 BLVR을 처음 시작한 폐 질병 예방 선도 센터죠. 이곳에서 코어라인소프트 제품을 사용하면서 미국에서의 수익 창출이 기대되고 있습니다.

[단독] 서울교대, 구글이 인정한 세계 첫 대학 후보되다

서울교육대학교(이하 서울교대)가 ‘구글 레퍼런스 대학(Google Reference University)’ 인증을 추진 중인 것으로 확인됐습니다. 협력이 성사된다면 서울교대는 세계 첫 구글 레퍼런스 대학이 됩니다. 해당 내용을 THE AI가 단독 보도했습니다.

“대전은 노잼도시? 메타버스선 뉴욕과 연결된 뉴잼도시!”

현실의 뉴욕을 대전으로 옮기고 대전을 뉴욕으로 가져가는 메타버스 세상이 준비되고 있습니다. KAIST 메타버스대학원과 국내 주요 연구기관이 협력해 추진 중인 ‘뉴욕-대전 메타버스 프로젝트’가 그 비전을 구체화하며 첫발을 내디뎠는데요. 22일 국회의원회관에서 열린 ‘메타대전 포럼 2024’에서 이 프로젝트의 방향성과 구체적 추진 상황이 공유됐습니다. 그 현장을 가보았습니다.