2024년 3월 14일 EU 인공지능법 최종안이 EU 의회에서 통과되면서 올해 상반기(5~6월 경)에 최종 공포 및 발효될 것으로 기대된다. 지난 포스트에서 현재까지 알려진 최종안의 내용을 간략하게 (상세한 버전은 인공지능과 데이터 거버넌스 - 원칙과 규제(유럽연합)을 참조) 소개하였고, 이번 포스트에서는 최종 법안 발효시 가져올 현장에서의 중요한 변화를 독자의 이해가 쉽도록 설명해본다. 아래는 요약본이고 좀 더 자세한 내용은 EU 인공지능법이 가져올 변화 - 해석본에 정리되어 있다.
배경
AI 법안은 전세계에서 최초로 모든 산업 전반에 적용될 포괄적인 AI 규제법이다. 그동안 미국, 중국 등에서 AI를 규제하는 법안이나 행정 명령이 발표되었으나 이는 모두 부문별 환경과 결과에 대한 규제였다. 이와 달리 EU AI 법안은 모든 산업을 포괄하여 AI 서비스가 쓰여지는 맥락에 따라 사용되는 방식을 규제하는 포괄적인 규율이다.
유럽연합 인공지능법(이하 AI 법)의 초안은 2021년에 발표되었다. 2023년 12월 8일에 유럽연합 법제정의 3대 주체인 EU 의회(EU Parliament)와 이사회(EU Council), 집행위원회(EU Commission)가 AI법 최종안에 정치적 합의를 보았다. 이후 유럽연합 의회와 이사회의 승인 투표를 통해 2024년 상반기에 공식적으로 제정과 공표가 될 예정이다. 현재 많은 연구자들이 AI법안의 최종 문구를 기다리고 있는 가운데, EU 정책 전문기자인 Luca Bertuzzi의 2024년 1월 21일 유출한 버전과 이후 이 버전을 요약한 EU 의회의 정책자문이 공개한 버전을 기반으로 연구자, 정책가, 실무자들은 최종안 분석과 법이행을 위한 현장 준비를 하고 있다.
EU 인공지능법이 가져올 변화
AI 법은 2024년 상반기 중에 유럽연합 법(EU Law)으로 공표되면 법령의 최종문구가 EU Office Journal에 공개되고, 20일 이후에 즉시 법령으로서 유럽연합 역내에서 효력을 발휘하게된다. 법 공표 후 2년간 법에 명시된 의무사항 준수와 모니터링을 현장에서 진행하기 위해 부속법령과 유럽 표준화 기관에 의해 표준안 등이 함께 개발될 예정이다. 법 공표 후 단계적으로 3년에 걸쳐 AI 시스템 개발업체, 배치업체, 배포 및 수입업체들은 법안에 명시되어 있는 의무사항을 준수해야 한다.
2024년 말부터 더 이상 사용할 수 없는 인공지능 시스템
AI 법은 시스템의 위험 수준에 따라 강제되는 의무사항이 달라지는 것을 골자로 한다. 가장 위험한 결과를 초래하는 시스템의 경우 용납할 수 없는 AI로 규정되고, 이러한 시스템은 시장 출시가 금지된다. 가장 먼저 올해 연말부터 강제될 것으로 보이는 조항이 바로 용납할 수 없는 위험을 갖는 AI 시스템의 사용금지이다. 법안은 8가지 구체적 사용금지 시스템을 제5조에서 설명하고 있다. 쟁점 중 하나는 공공 장소에서 민감한 생체 인식 데이터 및 얼굴 인식 소프트웨어를 실시간 사용을 금지 했지만 다양한 예외사례를 둔 점이다. 여전히 법 집행기관에서 사용할 수 있는 여지를 주고있다. 일부 인권 단체는 AI 법안이 얼굴 인식과 같은 논란이 되는 AI 사용 사례를 전면 금지하지 않았기 때문에 이를 "인권에 대한 실패"로 규정하고 있다.
개발업체, 배치업체, 수입업체 및 유통업체 모두 준수해야할 의무가 있다.
현장에서 사용되는 AI 시스템은 복잡한 가치사슬을 거쳐 개발되고 배포된다. 따라서 AI 시스템 공급업체뿐 아니라 AI 시스템을 구매하여 현장에 적용하는 배치업체(deployer), 수입업체, 유통업체 등도 준수해야할 의무를 명시하고 있다. 경우에 따라서는 한 기관이 여러 역할을 수행하기도 한다. 물론 이 중 시스템 공급업체가 준수해야할 의무사항이 가장 많지만, 공급업체가 아닌 시스템을 구매하여 사용하는 이용주체도 지켜야할 의무사항이 있음을 주지해야 한다. (각 역할에 따른 주체별 의무사항은 인공지능과 데이터 거버넌스 - 원칙과 규제(유럽연합)을 참조).
고위험을 내포한 AI 시스템은 투명성이 지켜지고 위험관리가 되어야 한다.
시스템이 활용되려는 목적과 실제 사용되는 맥락에 따라 주요하게 영향받는 자연인이 누구인지를 파악하고, 그들의 기본권 침해상황에 따라 위험을 나누고, 그러한 위험 사항을 초래하는 인공지능 시스템의 이용사례에 따라 위험군 시스템을 분류하였다. 1)에서 소개한 용납할 수 없는 위험을 내포한 시스템은 사용금지가 되고, 다음 단계로 고위험군, 제한적 위험군, 저위험군 네 분류로 나뉜다. 공급업체는 위험관리 시스템 운영, 데이터 거버넌스 이행, 투명성 준수, 사람에 의한 감독, 보안조치 등이며 이를 모두 갖추었다는 준수성 평가를 한 후에 EU AI 사무소가 관리하는 고위험 AI DB에 등록을 해야한다. 또 특정 사용사례에 따라서는 각 회원국의 관련 기관의 요청에 따라 별도의 외부 감사를 받을 수도 있다. 자체 평가 혹은 외부 감사 평가 결과 AI 법안의 의무사항이 모두 준수되었을 때 유럽의 제품 안전마크인 CE 마크를 부착하여 배포된다. 특히 시스템의 위험평가 중에서는 기본권 영향 평가를 하도록 되어있는데, 이는 시장 출시전 공급자, 시장 출시 후 현장 운영 개시전 배치업체가 모두 따로따로 이행해야한다.
좀 더 투명하게, 좀 더 예방적으로!! - 각 주체가 이행해야할 평가들
각 주체들에게 부과되 의무사항 중 다양한 평가를 시장 출시 전 혹은 현장 사용전에 이행하는 것이 포함되어 있다.
준수성평가: 시스템 시장 출시 전 시행해야하는 EU AI 법에서 명시하는 고위험시스템 의무사항 준수 여부 평가 - 제품 안전성, 사이버 보안, 정확성, 견고성 등의 기술적 요구사항 평가
위험평가 : 준수성 평가의 일부로 요구되고 있음. 고위험 시스템의 잠재적 위험을 식별하고 평가
기본권 영향 평가: 고위험시스템의 위험평가의 일부에 포함되는 평가로 고위험시스템이 인권에 미치는 부정적 영향 평가, 프라이버시, 차별금지, 의사자유등의 권리 침해 여부 검토, 인권 보호 및 증진을 위한 조치 후 이를 기술문서에 명시
각 평가의 자세한 내용과 누가 이러한 평가를 이행해야하는지는 EU 인공지능법이 가져올 변화 - 해석본을 참조
거대 LLM과 그 응용 앱이 시장에 출시되어 사용되려면? - 투명성을 지키고 위험관리가 되어야 한다.
AI 법안 초안에는 전혀 없었던 내용이지만 2022년 연말 ChatGPT 3.5 출시후 쏟아지는 생성 AI 모델로 법안의 제52조가 추가되었다. 범용 AI 시스템(General Purpose AI System)이 무엇이며 이러한 모델에 부과되는 의무는 무엇인지가 명시되어있다. AI 모델 훈련시 사용되는 연산의 크기에 따라 기본 모델과 시스템적 위험을 갖는 모델로 나누고 의무사항을 달리 부과하고 있다. 다만 시스템적 위험을 갖는 모델을 규정하는 연산 기준선은 기술의 발전에 따라 지속적으로 모니터링 하고 수정될 수 있음을 명시하고 있다.
기본 모델은 고위험군 AI 시스템으로 구분하지 않아서 위험관리 시스템까지 운영할 필요는 없지만, 꽤 강력한 투명성 의무가 부과된다. 훈련 데이터 유형, 원천, 데이터의 구성 방법(예:cleaning, filtering), 데이터 획득 및 선택방법, 테스트 과정과 평가 결과, 저작권보유자가 선택적으로 파운데이션모델에서 자신의 데이터를 제외될 수 있도록 하는 메커니즘, 모델 훈련과 추론시 에너지 소비량까지 공개하도록 의무하고 있다. 또한 저작권으로 보호된 컨텐츠가 AI 모델 훈련용으로 사용하기 위해선 반드시 저작권 권리자의 승인이 있어야한다. 시스템적 위험을 갖는 모델은 이와같은 투명성의 의무에 부가적으로 고위험군 AI 시스템의 의무사항에서 명시하고 있는 위험관리 시스템을 갖추어야한다.
기본모델과 시스템적 위험을 갖는 모델을 구분하는 정의는 EU 인공지능법이 가져올 변화 - 해석본을 참조.
챗봇, 딥페이크 사용? 사용자가 인공지능과 이야기하고 인공지능이 만든 컨텐츠임을 알 수 있게 해주어야 한다.
AI 법안은 딥페이크를 개발 공급하는 기술 기업들이 딥페이크로 만들어진 AI 생성 콘텐츠(오디오, 비디오, 텍스트. 이미지 모두 포함)인 경우 AI 생성 기술로 만들어진 콘텐츠임을 기계가 인식할 수 있는 방식으로 표시하여, 이용자가 콘텐츠 소비시 이를 인지할 수 있도록 하는 것을 의무하고 있다. 챗봇도 이에 적용되는데 챗봇과 대화하는 이용자가 자신의 대화 상대가 자연인이 아닌 챗봇임을 대화중에 인지할 수 있도록 표시해야 한다.
어떻게 법안이 현장에서 지켜질까? 어떻게 의무사항 준수를 관리 감독할까?
2024년 상반기 법 공표와 함께 가장 시급히 이행해야할 과제는 어떻게 현장에서 실제 법 적용을 할 것인가와 법 이행여부에 관한 모니터링, 위반자에 대한 범칙금 부과 등이다. 법 조문에 쓰여있는 바가 현장에서 실질적으로 이행되기 위하여 EU 집행위원회는 2024년 상반기에 AI 사무국을 설립하였다. 이외 회원국 개별 통지기관과 시장 감시 기관을 설립하거나 기존 유사업무 기관에게 권한을 주고, 고위험군 AI 준수성 여부 평가와 AI 법 위반시 제공자나 사용자에게 정해진 기간 내에 위반 행위를 중단하도록 요구하고, 이후 AI 시스템을 제한하거나 금지하는 조치를 취하게된다. 각 기관별 역할과 향후 이행할 과업 등의 내용은 EU 인공지능법이 가져올 변화 - 해석본을 참조.
시민들이 인공지능으로 피해를 입게되면 이에대한 불만을 제기할 수 있게 되었다.
AI 법은 인공지능으로 인해 피해를 받은 사람이 시장 감시 기관에 불만을 제기할 권리(제68a(1)조)와 고위험 AI 시스템에 의한 개별 의사결정에 대한 근거와 설명을 요구할 권리(제68c조)를 인정하고, AI 법 위반 행위를 신고하는 사람을 보호(제68e조)할 의무를 명시하고 있다. 이것이 의미하는 바는 인공지능으로 인해 피해를 입거나, 인공지능에 기반한 의사결정에 따라 영향을 받은 자연인이 인공지능 시스템 의사결정의 근거와 피해의 원인을 시스템 공급업체에게 물을 수 있는 권리를 인정한 것이다. 이러한 권리의 인정은 관련 지침을 통해 보완된 내용에서 누가 어떤 의무를 준수해야할지 적시할 예정이다. 지난 2022년 9월에 발표된 두 개의 지침의 초안 - 신설되는 AI 책임 지침(AI Liability Directive)과 개정되는 제품 책임 지침(Product Liability Directive)-에서 그 자세한 내용이 제공되었다. 지침과 법안의 차이 등의 자세한 내용은 EU 인공지능법이 가져올 변화 - 해석본을 참조
향후 기업이 준비해야할 일
AI 법안의 최종 공표와 발효는 전 세계의 조직에 영향을 미칠 것으로 예상된다. 유럽연합 AI 제공자, 개발자, 이용자, 일반 개인 뿐만아니라, 유럽연합 역외에 위치한 빅테크를 비롯한 기술업체들에게도 적용될 것이다. 특히 유럽연합에 제품을 판매하고 있는 다국적 기업은 유럽연합의 AI 법 의무사항을 준수 모델을 표준으로 채택하여 전 세계 시장에 표준 모델을 출시할지, 아니면 EU에 수출하는 시스템만 지엽적으로 고위험 시스템의 사용범위를 축소한 모델을 내놓을지 결정해야할 것이다. 당장 EU의 각 기업과 조직에서는 현재 사용하고 있는 인공지능 시스템이 금지 시스템인지 고위험 시스템인지를 판단하는 일부터 착수해야할 것으로 보인다. 특히 고위험군의 경우 법안이 요구하는 의무사항 준수를 위한 준수성 평가, 위험관리 시스템 운영, 기본권 영향 평가 등을 시행할 준비를 시급히 준비해야한다.
소위 “브뤼셀 효과"라는 용어가 생겨났듯이 시작은 유럽연합이었지만, 이와 비슷한 규제가 다른 국가에게도 빠르게 확산될 가능성을 배제할 수는 없다. AI 시스템의 규제를 통해 신뢰하는 인공지능 개발과 활용의 글로벌 선도자로 자리잡겠다는 유럽연합의 계획을 미국, 영국, 캐나다 등 다른 AI 선도 국가가 뒷짐지고 바라만보지는 않을 것이다. 따라서 EU의 AI 법안이 다른 국가의 규제 흐름에 미치는 영향과 EU내 회원국에서도 지속적으로 한 목소리를 낼지도 주의깊게 지켜보아야 할 것이다. AI 시스템 규제라는 첫 삽은 떴지만, 구체적인 실천안을 표준화 작업과 실천 강령에 남겨두고 있다. 따라서 향후 2년간 이러한 작업이 실질적인 규제 방안을 결정하게 될 것이고, 이러한 구체안을 적용해보는 과정애서 시민의 기본권리를 우려하는 시민사회와 AI 산업 경쟁에서 우위를 선점하려는 산업사이 더욱 치열한 로비가 예상된다.
위의 포스트 관련 좀 더 자세한 내용은 EU 인공지능이 가져올 변화 - 해석본을 참조.
참고자료
정보인권연구소 (2024) 주요국가 인공지능 규제 정책의 주요내용과 시사점 세미나 자료집, 2024년 2월 26일
The AI Act Explorer (2024) EU Artificial Intelligence Act page, Future of Life Institute
Cabrera, L and McGown, I. (2023) A Series on the EU AI Act. Part 1 - Overview, CDT Europe, March 2024
Gross, Killan, DG CONNECT EU Commission (2024) From Brussels to the Bay: EU AI Act, Webinar - EU Office in San Francisco
Gallo, V. and Nair, S. (2024) The EU AI Act: the finish line is in sight, Deloitte EMEA Center for Regulatory Strategy team blog, 13 March 2024
Heikkila, M. (2024) The AI Act is done. Here’s what will (and won’t change). The hard work starts now, MIT Technology Review, 19 March 2024