loading...

AI 리스크에 대한 글로벌 대응 동향 및 시사점

급속한 AI 발전에 따른 신규 리스크 대두

최근 10년 동안 디지털 기술에 대한 대중의 우려는 대부분 개인정보 누출 및 남용 가능성에 집중되어 있었다. 이러한 우려를 불식시키기 위해 주요국에서는 EU 개인정보보호 규정(GDPR) 등과 같이 인터넷 사용자가 개인 데이터를 통제할 수 있도록 보장하는 법적·제도적 조치를 마련하는 데 집중하였다.

그러나 2022년 말 챗GPT 3.5의 출현으로 AI가 뜨거운 화두가 되고, AI 기술이 민간에서는 채용이나 신용 평가, 공공에서는 행정 처리, 재판 업무 지원 등 다양한 영역에 도입되면서 대중의 우려와 관심은 복잡하고 진화하는 알고리즘에서 데이터가 어떻게 수집되고, 사용되는지에 대한 것으로 옮겨갔다. AI는 객관적인 데이터를 기반으로 매사 합리적인 판단을 할 것이란 기대와 달리, 오히려 사회적 차별을 강화하거나 그럴듯한 거짓 정보를 제공하는 등 예상치 못한 여러 부정적인 결과를 초래하고 있기 때문이다.

AI가 초래한 부작용은 크게 세 가지로 나눌 수 있다. 첫 번째는 편향·독성·오류 정보 노출이다. AI가 학습하는 데이터는 실제 세계에서 수집되기 때문에 특정 집단을 배제 또는 주류화할 수 있고, 폭력 등 유해한 콘텐츠를 포함할 수 있으며 거짓 답변을 제공할 수 있다. 두 번째는 저작권 문제이다. 생성된 콘텐츠가 기존 작품을 인용하거나 복사하는 경우 의도적이든 아니든 지식재산권 침해 문제가 제기될 수 있으며, 실제 해당 사례가 최근 빈번하게 보고되고 있다. 또한 AI가 창작한 시, 소설 같은 창작물의 저작권을 어디까지 인정해야 될 것인가에 대한 논의도 지속되고 있다. 셋째로, AI가 초래하는 정보 보호 문제로, 개인정보와 기업의 내부 정보 누출 위험성이다.


표1) AI가 초래하는 부작용/논란 유형

AI가 초래하는 부작용/논란 유형의 정보를 보여주는 테이블
① 편향·독성·오류 정보 노출
  • 특정집단 배제 또는 주류화
  • 유해 콘텐츠 생성
  • 거짓 정보 제공
② 저작권 문제
  • 생성된 콘텐츠의 지식재산권 침해
  • AI 생성물의 저작권 허용 논란
③ 정보 보호
  • 개인정보 누출
  • 내부 정보 유출

예컨대, AI 기반 사용자에 맞춤형 광고 서비스를 제공하는 페이스북 광고는 인종과 성별에 따라 편향적으로 노출된다는 것이 실증연구를 통해 밝혀져 논란이 된 바 있다. 마트 계산원 채용 공고는 약 85%가 여성에게, 택시 운전사 채용 공고는 약 75%가 흑인에게 노출된 것으로 드러났으며, 주택 매매 광고는 백인에게, 임대 광고는 흑인에게 상대적으로 더 노출된 것으로 밝혀졌다. 공공부문도 크게 다르지 않다. 영국 내무부는 비자 승인 처리 업무에 AI를 활용하였는데 백인보다는 비백인 인구가 많은 국가 출신의 비자 신청자들의 심사가 이유 없이 지연되는 문제점이 보고되었다. 결국 당국은 처리시스템의 작동 과정을 점검하겠다고 밝히며, AI 활용을 중단한 바 있다.

저작권 문제 또한 지속적으로 제기되고 있다. AI는 기본적으로 기존 데이터를 통해 학습하며 이 중 일부는 저작권 보호 대상이다. AI는 이런 데이터를 이용하여 특정 스타일을 모방하거나 특정 방식으로 응답하는 서면 저작물을 생성하도록 학습된다. 이러한 결과물은 저작권이 적용되는 기존 저작물과 유사하거나 심지어 동일할 수 있다. 일례로, 23년 말 뉴욕타임스는 자사의 방대한 콘텐츠를 AI 업체들이 무단으로 사용해 지식재산권을 침해하고 있다며 오픈 AI를 상대로 소송을 제기한 바 있다. 또한 AI가 창작한 작품을 어디까지 저작권으로 보호해야 할 지도 의견이 분분한 상황이다. 이러한 논쟁에 우리 정부는 23년 12월, 「AI 저작권 가이드라인」을 발표하고, 원칙적으로 AI 생성물을 저작물로 볼 수 없으며 저작권 등록 대상이 될 수도 없다고 밝혔다. 그러나 이러한 가이드라인이 AI 창작물에 대한 저작권 규정을 법제화한 것은 아니며, 해외에서도 아직까지 AI 창작물의 저작권에 대한 규정을 입법화한 곳은 없다. 인간의 독창성이 얼마나 포함되어야 AI 생성물의 저작권을 인정할 수 있을지에 대한 사회적 합의는 아직 이루어지지 않은 셈이다.

AI로 인해 프라이버시가 침해되는 사례도 급증하였다. AI를 학습시킨다는 빌미로 애플, 구글, 마이크로소프트 등 글로벌 기업은 이용자의 음성을 수집했으며, 특히 애플은 Siri 학습을 위해 개인의 의료, 신용 정보 등 민감한 개인 정보를 수집한 것으로 드러나 논란이 되기도 하였다.

이처럼 AI가 초래하는 다양한 리스크에 대응하기 위해 주요국을 중심으로 위험도가 높은 AI의 정의하고, 분류 기준을 법률로 규정하려는 움직임이 나타나고 있다. 후술할 「EU AI 법안(Artificial Intelligence Act, 이하 ‘EU AI 법안’)」은 △ 최소 또는 무위험, △ 제한적 위험, △ 고위험, △ 허용 불가 위험 등 4개 층위로 AI 리스크를 구분하고 위험도별 차등화된 규제를 적용하도록 했다. 동 법안은 중요 인프라나 AI 면접, AI 대출 심사 등 교육·취업 및 금융 서비스 접근권을 좌우할 수 있는 시스템을 ‘고위험’ AI로, 사회적 차별 목적 또는 인간의 행동을 조작하기 위한 목적의 AI를 ‘허용 불가’ AI로 정의하였다.

또한 미국의 「알고리즘 책임법안(The Algorithmic Accountability Act, 이하 ‘알고리즘 책임 법안’」은 평가나 인증을 포함 교육 및 직업훈련, 근로자 관리 또는 주택담보대출이나 여신 등 금융서비스 및 법률서비스, 전기나 수도 등 필수 인프라에 활용되는 AI와 같이 인간에게 중대한 영향을 미칠 수 있는 중요한 결정에 관여하는 AI를 ‘고위험’으로 분류한 바 있다.

인간의 삶에 지대한 영향을 미칠 수 있는 AI의 부정적 영향을 예방하기 위해 2010년대 말부터 현재까지 1) 다자회의체, 2) 국제기구 및 3) 각국 정부는 선언, 권고, 법안 마련 등 다양한 노력을 전개하고 있다.

AI 리스크 관리를 위한 글로벌 동향

[그림 1] 글로벌 주요 AI 리스크 대응 법규 및 정책
19년
  • OECD「OECD AI 권고안」채택
  • UNESCO「AI 윤리에 관한 권고」발표
  • EU「신뢰할만한 AI를 위한 윤리 가이드라인」발표
20년
  • EU「AI에 대한 백서」발표
21년
  • EU「AI법」
22년
  • 미국「2022 AI 책임법안」
23년
  • 사상 최초 AI 정상회의 개최
  • 미국「AI 행정명령」발표
24년
  • AI기술 규제를 위한「EU AI법」EU의회 통과
  • 한·영 공동주최「AI 정상회의」개최 예정

1) 다자회의 - AI 정상회의
AI 리스크에 대응하기 위한 국제사회 노력의 일환으로 먼저 사상 최초로 개최된 AI 정상회의를 들 수 있다. 2023년 11월 1일에서 2일 양일간 영국 블레츨리 파크에서 인공지능 안전성 정상회의(AI Safety Summit)가 개최되었다. AI가 인류에 미칠 수 있는 위험을 최소화하기 위한 국제적인 공조가 필요하다는 차원에서 개최된 AI 정상회의에서는 한·미·중 등 28개국이 합의하여 AI 안전에 관한 공동선언문을 발표하였다.

주요 합의 내용은 △ 인간 중심적이고, 신뢰할 수 있으며 책임감 있는 방식으로 AI 설계·개발·배포, △ 교육/공공/안보 등의 영역에서는 누구나 혜택을 누릴 수 있는 AI로 개발, △ AI를 사용하는 모든 이해관계자, 특히 개발자에 AI 안전 보장 책임 부과, △ 국제 협력 강화 기반 AI 문제 해결 방안 발굴 등이 있다.

최초로 주요국 정상들이 모여 안전하고 지속 가능한 AI에 대해 논의하고, 공동선언을 발표했다는 것에 의의가 있으며, 개발자의 책임과 국제협력의 중요성을 강조한 것을 주목할 만하다. 다만, 1회차 회의로, 구체적 이행 방안을 제시하기보다는 공동 선언을 발표하는 데 그친 한계점이 있다. 그러나, 동 정상회의 선언 내용을 시행하기 위한 구체적 이행 방안 마련 및 정상회의 이후 후속 조치에 대한 중간 점검을 위해 올해 5월, 한·영 공동 주최 AI 정상회의가 다시 개최될 예정이다.

2-1) OECD AI 권고안
OECD는 2019년 5월 지속가능하고 신뢰할 수 있는 AI 구현을 위한 ‘OECD AI 권고안(Council Recommendation on AI)’을 채택한 바 있다. 구체적으로 동 권고안은 혁신적이고 신뢰할 수 있으며 인권과 민주적 가치를 존중하는 AI라는 원칙을 담고 있다. 이를 이행하기 위해서는 △ 첫째, 포용 진전, 복지 증진, 사회적 불평등 감소를 위한 AI 구현 노력, △ 둘째, AI 시스템 수명주기 전반에 걸친 자유, 프라이버시, 평등, 다양성 등 인간 중심 가치 존중, △ 셋째, AI 시스템에 대한 이해 증진 및 투명성과 설명 가능성 확보를 위한 AI 개발자의 노력, △ 넷째, 전 수명주기에 걸친 프라이버시, 디지털 보안 등과 같은 위험성 체계적 극복, △ 다섯째, AI 시스템이 최신성을 유지하면서 적절히 가능하도록 하는 AI 개발자의 책임 등을 강조하고 있다. 동 권고안은 선언(Declaration)보다 강한 효력을 가지는 권고(Recommendation)의 형식으로, 최초로 AI의 포용성, 공정성, 다양성, 투명성 등을 강조했으며 국제사회에서 최초로 마련된 AI 규범이라는 점에서 의의가 있다.

2-2) UNESCO AI 윤리에 관한 권고
유네스코(UNESCO)는 2019년 11월 유네스코 총회에서 「AI 윤리에 관한 권고 (Recommendation on the Ethics of Artificial Intelligence)」를 마련하였다. 동 권고는 AI가 지향해야 될 4대 가치, 10대 원칙 및 11대 정책 권고를 포함하고 있다. 먼저 AI가 지향해야 될 4대 가치는 △ 인권·자유·인간 존중, △ 환경 및 생태계 번영, △ 다양성 및 포용성 보장, △ 평화롭고 정의로우며 상호 연결된 삶 등이 있고, 10개 원칙은 AI 영향 평가 실시, 대중 감시의 목적으로 AI 시스템 사용 금지, 참여적 협력적 거버넌스 설계 등을 포함하고 있다. 동 권고는 193개 UNESCO 회원국의 서명으로 발표된 최초의 세계적 AI 관련 합의안이라는 의의는 있으나, OECD 권고안과 마찬가지로 국제기구의 권고안은 본질적으로 구속력이 없고, OECD 발표 내용과 중복된 내용이 많으며 미국의 UNESCO 탈퇴로 미국이 제외된 권고안이라는 한계점이 존재한다.

3-1) EU AI 법안
국제기구(OECDㆍUNESCO)의 권고안은 인공지능시스템의 투명성과 공정성 구현에 대한 원칙을 확립하고, 인공지능 차별을 방지하기 위한 이정표 역할을 하였지만, 권고적 효력에 그칠 수밖에 없는 한계가 있었다. 따라서 AI의 급속한 성장에 따라 편향과 차별, 프라이버시권 침해 등과 같은 부정적 영향을 방지하고, AI가 더 안전하게 활용되기 위해서는 관련 문제점을 구체적으로 규율할 수 있는 법 제정 필요성이 크게 대두되었다.

EU는 2019년 「신뢰할 만한 AI를 위한 윤리 가이드라인」, 2020년 「AI에 대한 백서」를 잇달아 발표하였고, 2021년 4월 인공지능에 관한 유럽 내 일치된 규범을 정립하기 위한 「EU AI법」 초안을 마련하였다. 이후 GPT를 비롯한 생성형 AI 등 새로운 기술이 등장하고 신규 이슈가 발생하며 초안을 수정하였으며, 마침내 2023년 10월 EU 27개 회원국의 만장일치로 AI 기술 규제 법안인 「EU AI법」에 합의하고, 2024년 3월 EU 의회는 본 회의에서 동 법안을 통과시켰다. 아직 각국 승인이 남아있기는 하나, 큰 관문을 거의 통과한 셈이다.

먼저 EU는 동 법안을 기반으로 AI의 위험성을 4단계로 분류(△ 최소 또는 무위험, △ 제한적 위험, △ 고위험, △ 허용 불가 위험) 하고, 단계별로 준수해야 할 의무를 규정하였다.

구체적으로 첫째, 고위험 AI 시스템에 대한 인간의 감독을 규정하였다. 고위험 AI 시스템의 제조 과정에 있어서 인간이 감독할 수 있는 방식으로 설계 및 개발할 것을 원칙으로 하였다.

둘째, 고위험 AI 시스템 사업자가 준수해야 할 의무를 규정하였다. 예를 들어 고위험 AI 시스템 사업자는 제품 출시 또는 서비스 개시 전에 적합성 평가를 받아야 한다. 적합성 평가 내용은 고위험 AI 시스템의 잠재적인 위험성을 분석하고, 기본권과 안전에 미칠 수 있는 영향과 편향을 완화하기 위한 조치 여부, 데이터의 적절성 등에 관한 평가가 포함된다.

셋째, 고위험 AI 시스템 사용자에 대한 의무를 규정하였다. 여기서 사용자는 자체 권한을 바탕으로 AI 시스템을 사용하는 법인, 공공기관, 기관, 그 밖의 기구를 뜻하고, 비전문적인 사적 활동을 수행하는 사용자는 제외된다. 고위험 AI 시스템 사용자는 AI가 기본권을 침해할 수 있는 가능성에 유의하고, AI 시스템의 데이터가 본래 목적과 관련성을 가지는지 확인할 의무가 있다. 또한, 사용자는 AI 시스템이 인간의 건강이나 안전 또는 기본권을 침해할 수 있다면, 사용을 중지하고, AI 사업자 또는 유통업자에게 그 내용을 고지하여야 한다. 이 밖에도 사용자는 AI 시스템의 기본권 침해에 대한 원인을 사후적으로 진단하는데 활용하기 위해서 고위험 AI 시스템의 운용 기록을 일정 기간 보관하여야 한다.

동 법안은 AI 기술에 대한 규제 내용을 구체적으로 담았다는 점에 의의가 있으며 AI 개발자뿐만 아니라 사용자에 대한 의무도 구체화한 점을 주목할 만하다. OECD, UNESCO 등 그간 국제사회에서 논의한 내용을 반영하여 법제화한 것으로 보이며 추후 각국 AI 관련 법안에 참고가 될 것으로 예상된다.

3-2) 미국 알고리즘 책임 법안, AI에 대한 행정명령
사실 미국의 AI 정책은 산업 육성과 혁신을 위한 국가적 차원의 AI 개발지원 등에 초점이 맞춰져 있어 AI 규제에 대해 EU보다 유연한 방식으로 접근해 왔다. 그러나 지속적으로 AI 관련 문제점이 불거지면서 2019년 4월 처음으로 「알고리즘 책임 법안」을 발의하고, 자동화된 의사결정 시스템* 가운데 고위험군에 한해서만 의사결정 시스템 영향 평가와 개인정보 영향 평가를 사전에 실시하도록 주문하였다. 개인정보 침해, 편향성/오류 문제가 지속적으로 제기되는 가운데 당국이 이러한 위험을 사전에 평가하도록 기업에 의무를 부과한 것이다.
*컴퓨팅을 사용하는 모든 시스템, 소프트웨어 또는 프로세스로서 그 결과가 결정이나 판단의 근거가 되는 경우. 기계학습, 통계 또는 기타 데이터 처리 또는 인공지능 기술에서 파생된 것을 포함하되 수동적인 컴퓨팅 인프라는 제외

그러나 2022년 상·하원 의회가 동시에 개정 발의한 「알고리즘 책임 법안」은 자동화된 의사결정 시스템을 활용하는 영역이 증가됨에 따라 그 내용이 대폭 확대되었다. 일단 영향 평가는 자동화된 의사결정 시스템과 강화된 중요 의사결정 프로세스**에 대해 모두 시행하여야 하는 것으로 보인다. 중요 의사결정이란 교육, 인프라, 의료, 금융 등 소비자의 삶에 중대한 영향을 미치는 결정을 의미한다. 영향 평가의 내용은 과거/현재의 성능, 소비자에 대한 부정적 영향 완화 방안, 개인정보 보호 강화 조치 등이 포함된다.
**중요한 결정을 내리기 위해 자동화된 의사결정 시스템을 사용하는 프로세스, 절차 또는 기타 활동

또 주목할 만한 점은 동 법안에 따라 AI 시스템이 불합리한 차별을 야기하거나 개인정보 침해 등에 관한 영향 평가 실시 등을 준수하지 않을 경우에는 관할 당국의 법 집행이 가능하다는 것이다. 가령, AI 시스템으로 인하여 국민이 위협을 받거나 불리한 대우를 받을 경우에 주 검찰총장은 피해자의 법적 구제를 위하여 당사자를 대리하여 소송을 제기할 수 있다.

동 법안은 알고리즘의 투명성과 책임성 확보를 강조하였으며, 특히 사전에 영향 평가를 실시하도록 기업에 의무를 부과하고, 국가가 AI로부터 예상치 못한 손해를 입은 당사자를 대리하여 소송을 제기할 수 있도록 한 특징이 있다.

이 외에도 미국은 23년 10월 「안정적이고 안전하며 신뢰할 수 있는 AI에 대한 행정명령(Executive Order on the Safe, Secure, and Trustworthy Development and Use of Artificial Intelligence)」을 발표했다. AI 기술의 오용을 막기 위해 이전의 알고리즘 책임 법안보다 좀 더 강력한 의무를 AI 사업자에 부과하였다. 구체적으로 중요한 의사결정 프로세스를 담고 있는 AI를 개발한 회사는 정부가 꾸린 검증 전문가팀인 ‘레드팀(모의 적군)’ 테스트를 통과해야 하며, 서비스가 이루어진 후에도 지속적으로 소비자 영향을 보고하고, 정부는 이를 평가할 의무가 있다. 또한 AI의 보안 및 신뢰를 보장할 수 있도록 표준 및 기술을 국립표준기술연구소가 개발하도록 하는 동시에 저작권에 대한 논란을 불식시키고, 거짓 정보의 확산을 방지하기 위해 AI 생성물이라는 식별이 가능하도록 워터마크를 부착하도록 하였다.

표 2) 글로벌 주요 정책/법제 내용

글로벌 주요 정책/법제 내용 정보를 보여주는 테이블
다자회의 AI 정상회담
(23년 11월)
  • 한·미·중 28개국 합의 하 [AI안전에 관한 공동선언문] 발표
  • 안전한 설계,개발,배포 및 교육/공공/안보 영역에서는 누구나 혜택을 누릴 수 있는 AI 강조
  • AI 위험 식별 및 문제해결을 위한 국제사회의 다각적 노력 촉구
  • AI를 사용하는 모든 이해관계자의 AI 안전 보장에 책임 확인
  • AI 안전에 대한 연구 협력 등 국제 협력 기반 문제 해결 강조
  • 올해 5월, 공동선언문 이행 방안 마련 위한 한·영 공동주최 AI 정상회의 개최 예정
국제기구 OECD AI 권고안
(19년 5월)
  • 국제사회에서 최초로 마련된 AI 규범
  • 포용성, 공정성, 다양성 등 인간 중심 가치 존중, 투명성/최신성 확보를 위한 AI개발자의 노력, 위험성 체계적 극복 등 강조
UNESCO AI 윤리 권고
(19년 11월)
  • AI가 지향해야 될 4대 가치, 10대 원칙 및 11대 정책 권고 발표
  • 인권·자유·인간존중, 환경 및 생태계 번영, 다양성·포용성 보장, 평화롭고 정의로우며 상호 연결된 삶을 4대 가치로 제시
주요국
법안
EU AI 법안 통과
(24년 3월)
  • AI기술에 대한 규제 법안으로, AI 위험성을 4단계(최소-제한적-고위험-허용불가 위험 순)로 분류
  • 고위험 AI에 대한 인간의 감독 강조, 고위험 AI시스템 사업자 및 사용자의 의무 규정 등
美 알고리즘 책임법안 발의
(22년 10월)
  • AI를 통한 의사 결정시, 소비자 시스템 영향평가 및 개인정보 영향 평가 실시 의무화 및 AI시스템으로 인한 피해 발생 시, 당국이 피해자를 대리하여 소송제기 가능
美 AI 행정명령
(23년 10월)
  • AI 개발사는 제품/서비스 출시 전 AI 안전 검증 전문가 그룹(레드팀(모의 적군))의 테스트 통과 의무화
  • AI 보안/안전 보장 위해 국립표준기술연구소로 하여금 표준/기술 개발 명령

이러한 글로벌 동향에 맞춰 국내에서도 최근 AI 관련 규제 움직임이 나타나고 있다. 먼저 상술한 문화체육관광부의 「AI 저작권 가이드라인」은 AI 창작물에 대한 저작권 인정 범위 등을 규정하였다. 또한 1년 넘게 상임위원회 전체회의에서 계류 중인 과기정통부 발의 「AI 기본법」에 대한 관심도 높아진 상황이다. 동 법안은 AI 기술 개발에 중점을 두고 ‘우선 허용·사후 규제’ 원칙을 고수하여 본회의 상정에 어려움을 겪은 바 있다. 그러나 EU AI법 가결, 미국 AI 행정명령 발표 등 국제 동향과 AI 관련 부작용이 부각되며 AI 기술의 국가 경쟁력을 높이고 책임 있는 AI를 시현하기 위해서는 법 제도적 지원이 시급하다는 목소리가 높아지면서 해당 원칙을 삭제하고 해당 법안을 통과시키기 위해 노력한다는 정부의 입장이 발표되기도 하였다. 아울러 방송통신위원회는 2024년 3월 업무계획 발표에서 「인공지능서비스 이용자 보호에 관한 법률」 제정을 추진한다고 밝히며, AI 생성물 표시제 도입 및 AI 관련 피해 구제를 위한 신고 전담 창구 신설 추진 계획을 공표하였다. 이와 같이 국내에서도 AI 부작용 억제를 위한 규제가 순차적으로 추진되고 있는 실정이다.

글로벌 정책/법제 동향 시사점

지금까지 살펴본 다자회의체, 국제기구와 주요국의 AI 관련 법안 및 권고는 몇 가지 주목할 만한 공통점이 있다. 첫째, AI 개발자의 역할과 책임을 강화하였다는 것이다. 개발자는 AI 시스템의 품질을 가용할 수 있는 기술과 정보를 바탕으로 최상으로 유지하여야 하며, 데이터가 취합·처리되는 과정 등을 투명하게 공개하여야 한다. 둘째, AI가 초래할 수 있는 위험성을 사전에 탐지하고 예방하는 것을 강조한다는 것이다. AI가 급속도로 발전하며 AI 시스템이 평등권, 프라이버시 등 기본권을 침해할 수 있는 만큼 리스크를 예방하는 것을 강조하고 있다. 셋째로, AI가 기본적으로 기존의 자료를 학습하고 산출물을 내는 만큼, 저작권 보호를 강조하고 있다는 것이다. 마지막으로 AI가 발생시키는 문제가 영향을 줄 수 있는 범위가 초국가적인 만큼 국제 공조 및 글로벌 차원의 대응을 통한 문제 해결을 권고하고 있다.

따라서, AI를 개발하고 사용함에 있어 기업은 첫째로, AI 개발 시 사전에 취약점을 찾아내는 레드팀 구성 의무화를 고려할 필요가 있다. 레드팀 구성은 앞서 얘기한 미국의 AI 행정명령에서도 의무화한 바 있는 사항이다. 기업은 출시 전 시스템 검증을 위해 기존 코드를 사용한 테스트 외에도 악성 프롬포트 및 모델에 대한 입력값을 생성하는 등 다양한 방법으로 모의 공격을 해 볼 필요가 있다. 참고로, 구글은 사내 전문가들로 AI 레드팀을 구성하여 공격을 시뮬레이션하고 있고, 오픈AI의 레드팀에 외부 인사의 참여를 독려하고 있다고 알려져 있다. 레드팀 기반 다양한 공격 방법을 통해 시스템의 불법 활동 지원, 편향된 정보 및 판단 제공, 독성 콘텐츠 생성 및 개인정보 침해 여부를 사전에 면밀히 검증하고, 리스크를 예방할 필요가 있다. 또한 AI 시스템에 대한 설명을 통한 투명성 제고 등 사내 개발자의 의무를 문서화하고, 최신의 기술을 적시에 습득할 수 있도록 지속적인 트레이닝 기회 제공이 필요한 시점이다. 현재 국제사회의 AI 리스크 대응은 AI 개발자의 의무와 책임을 강조하고 있는 것을 고려하여야 한다. 셋째로, 생성형 AI의 산출물에 대한 워터마크 부착하고, AI 학습에 사용하는 창작물과 뉴스에 대한 저작권 보호하는 등 저작권 보호에 만전을 기해야 한다. 이를 위해 AI 생성물 관리 및 기존 콘텐츠 활용에 있어 내부 지침을 마련하는 것을 고려할 필요가 있다. 마지막으로 다양한 형태의 네트워크를 통해 기술을 지속적으로 발전시키고 취약점을 보완해야 한다. 즉, 민-학, 민-관, 민-민 협력 등을 통해 AI 적용 기술을 지속적으로 보완‧발전시켜야 한다. 또한 다양한 네트워크 및 프로세스 기반 AI 제품 출시 후에도 예상치 못한 취약점이 노출되었을 때 바로 본사에 신고하고, 곧바로 분석까지 이뤄질 수 있는 프로세스를 구축해야 한다.

AI 기술이 급속하게 발전하며 다양한 위험과 기회가 동시에 부상하고 있다. AI는 기업과 국가에 엄청난 기회로 작용할 수도 있지만 잘못된 행동을 하는 AI 제품이나 서비스를 출시한다면 큰 대가를 치러야 한다. 국제사회가 발표하는 규범과 법규 및 권고를 바탕으로 사전에 안전하고, 신뢰할 수 있으며 지속 가능한 AI 시스템을 개발할 수 있도록 만전을 기해야 할 시점이다.

References
[1] 과학기술정보통신부, 2023.11.7, 과기정통부, ‘인공지능 안정성 정상회의 참석 성과 발표’, 보도자료
[2] 김송옥, 2021. 11, AI 법제의 최신 동향과 과제 - 유럽연합(EU) 법제와의 비교를 중심으로, 「공법학연구」
[3] 김일우, 2024, 고위험 인공지능시스템의 차별에 관한 연구, 「서강법률논총」
[4] 김현경, 2022, UNESCO AI 윤리권고 쟁점 분석 및 국내법제 개선방향, 「글로벌법제전략」
[5] 노성호, 2023, 금융산업에서의 인공지능(AI) 활용 방안에 따른 리스크 요인 분석, 「자본시장연구원」
[6] 디지털데일리, 2024.2.14, AI 기본법 통과 필요성 재차 강조한 정부… 과방위에 쏠리는 눈길
[7] 디지털투데이, 2024.3.20, AI 기본법, 22대 국회 막판 통과할까?
[8] 매일경제, 2023.12.18, AI가 만든 그림·소설 저작권 불인정… 저작권 등록 규정에 명시
[9] 방송통신위원회, 2024.3.21, 2024년 주요업무 추진계획
[10] 아시아경제, 2023.12.28, AI 저작권 첫 가이드라인… “적절한 보상”vs “경쟁 뒤처져”
[11] 오성탁, 2020 1/2월, OECD 인공지능 권고안, 「TTA저널」
[12] 윤정현, 2023.12.6, 인공지능 안전에 관한 블레츨리 정상회의의 의미와 시사점 「국가안보전략연구원」
[13] 파이낸셜뉴스, 2024.3.21,‘AI 생성물 표시 의무화’… AI 이용자 보호법 제정 추진
[14] 한국경제, 2024. 3. 22, AI 이용자 보호 법률 생긴다… AI 피해 신고 전담창구도 마련
[15] 홍석한 2023.4, 미국 “2022 알고리즘 책임법안”에 대한 고찰, 「미국헌법연구」
[16] EU, https://digital-strategy.ec.europa.eu/en/news
[17] Jacob Abernethy, March - April 2024, “Bring Human Values to AI”, 「Harvard Business Review」
[18] OECD, Recommendation of the Council on Artificial Intelligence
[19] UNESCO, Recommendation on the Ethics of Artificial Intelligence

이 글이 좋으셨다면 구독&좋아요

여러분의 “구독”과 “좋아요”는
저자에게 큰 힘이 됩니다.

subscribe

구독하기

subscribe

한미정
한미정
삼성SDS ESG기획그룹

공유하기