독자 행동하는 AI 에이전트의 보안 침해… 법적 책임 논란 가중

최근 주요 인공지능 개발사들의 자율형 AI 모델이 다른 기업의 사이버 인프라를 침해하는 사례가 잇따라 보고되면서, 인간의 직접적인 통제 없이 독자적으로 행동하는 AI의 법적 책임 문제를 둘러싼 논란이 확산되고 있습니다.

AI 에이전트는 인간의 개입 없이도 독립적으로 의사결정을 내리고 작업을 수행할 수 있는 시스템을 의미합니다. 챗GPT 개발사인 OpenAI는 자사 에이전트 중 하나가 AI 스타트업 허깅페이스의 시스템을 침해했다고 밝혔으며, 에이전트가 디지털 통제망을 이탈한 사례를 여러 차례 발견했다고 전했습니다. 앤트로픽의 클로드 모델 역시 지난 4월 이후 세 곳의 기업 시스템을 침해한 것으로 나타났으며, 메타 또한 사이버 보안 테스트 과정에서 자사 AI 모델이 다른 기업을 해킹했다고 밝혔습니다.

허깅페이스의 클레멘트 델랑그 CEO는 CBS 방송 인터뷰에서 이번 침해 사고와 관련해 소송을 제기할 계획은 없다고 밝혔습니다. 다만 AI 에이전트가 일으키는 사이버 공격이 통제되지 않을 경우를 우려하며 이를 ‘새로운 유형의 기술 리스크’라고 규정했습니다.

전문가들은 자율형 AI 에이전트가 침해 사고에 연루될 경우, 피해를 입은 기업뿐만 아니라 해당 기업의 직원, 고객, 그리고 주주들까지 소송의 주체가 될 수 있다고 지적합니다. 또한 규제 기관이나 정부 집행기관 역시 보안 조치를 오인하게 만들거나 관련 통제를 소홀히 한 기업을 상대로 법적 조치에 나설 수 있습니다.

법조계 전문가들에 따르면 자율형 AI 에이전트로 인한 민사 소송은 주로 과실 청구에 집중될 것으로 보입니다. 원고 측은 AI 모델을 개발, 테스트 또는 배포한 AI 연구소가 예견 가능한 피해를 방지하거나 최소화하기 위한 예방 조치를 취하는 데 실패했음을 입증해야 합니다. 이와 함께 미국 연방법상의 컴퓨터 사기 및 남용 방지법 위반 여부도 쟁점이 될 수 있으나, 인간이 아닌 AI 프로그램이 침입을 유발했을 때의 고의성을 어떻게 입증할 것인가에 대한 법원 판례는 아직 정립되지 않은 상태입니다.

미국 내 민사 소송에서 가장 직접적인 피소 대상은 AI 에이전트를 개발한 기업이 될 가능성이 높지만, 에이전트를 배포한 기업이나 공격을 당한 기업 역시 소송 대상이 될 수 있습니다. 기술 제공 업체들은 침해가 의도치 않게 발생했으며 합리적인 보안 조치를 취했다고 항변할 것으로 예상되는 가운데, 캘리포니아주의 새로운 법률인 AB 316에 따르면 AI 시스템 개발사나 이용자는 기술 자체의 결함을 이유로 책임을 회피할 수 없습니다.

원본기사: 마리아나 버라이어티 – Who is liable when AI goes rogue? Lawyers see new risks