AI 시대 기업이 꼭 알아야 할 법률

해당 아티클은 2025년 9월, 삼성SDS가 대외 고객을 대상으로 진행한 「Real Summit 2025」 세미나 중, 삼성SDS 국내법무그룹 김성범 상무의 ‘AI 시대 기업이 꼭 알아야 할 법률’ 세션 내용을 기반으로 작성되었습니다.

오늘날 인공지능(AI)은 단순한 기술을 넘어 거대한 변화의 물결을 일으키고 있습니다. 특히 데이터를 학습하여 새로운 콘텐츠를 창조하는 생성형 AI의 등장은 인류에게 전례 없는 창의적 가능성을 열어주었지만, 동시에 예측하기 어려운 법적, 윤리적 쟁점들을 수면 위로 끌어올리고 있습니다. 저작권 침해, 개인정보 유출, 알고리즘 편향성, 그리고 AI의 책임 소재 등 다양한 문제들이 현실화되면서, 기업에는 AI 기술을 활용하는 것만큼이나 '현명하게' 활용하는 것이 중요한 과제가 되었습니다.

이 글에서는 생성형 AI와 관련된 주요 법적 분쟁 사례와 국내외 핵심 법령을 살펴보고, AI 사업의 각 단계에서 기업이 반드시 유의해야 할 사항들을 살펴보고자 합니다. 더 나아가, AI 시대를 헤쳐나갈 기업의 필수적인 기반으로서 'AI 거버넌스' 체계를 삼성SDS의 AI 거버넌스 구축 사례를 통해 함께 이해해 보고자 합니다.

생성형 AI 관련 주요 분쟁 및 법령

인공지능(AI)은 지능, 추론, 학습, 판단, 이해 등 인간의 인지 능력을 모방하는 시스템을 의미합니다. 1950년대 앨런 튜링의 튜링 테스트에서 시작된 AI 연구는 2020년대 들어 거대 언어 모델(LLM)의 등장으로 새로운 전환점을 맞이했습니다. 이러한 AI 중에서도 특히 주목받는 것이 바로 생성형 AI(Generative AI)입니다. 생성형 AI는 기존 데이터를 학습하여 새로운 텍스트, 이미지, 오디오, 비디오, 심지어 소프트웨어 코드까지 창조할 수 있는 인공지능 시스템입니다. 이는 단순히 데이터를 분류하거나 예측하는 판별 AI(Discriminative AI)와는 근본적인 차이가 있습니다. 판별 AI가 "이것이 고양이인가, 개인가?"와 같은 질문에 답하는 데 특화되어 있다면, 생성형 AI는 "고양이를 그려줘"와 같은 요청에 따라 새로운 결과물을 만들어내는 능력을 가집니다.

생성형 인공지능 관련 주요 분쟁

생성형 AI의 활용이 급증하면서 저작권 침해, 개인정보 보호 등 다양한 법적 분쟁이 발생하고 있습니다. 이러한 분쟁들은 AI 개발사와 콘텐츠 창작자 간의 저작권 침해와 공정이용 여부에 대한 첨예한 대립을 중심으로 전개되고 있습니다.

국제 분쟁 사례

• 앤트로픽(Anthropic) vs. 미국 베스트셀러 작가 그룹: 2025년 9월, 생성형 AI 클로드(Claude)의 개발사 '앤트로픽'이 대형 집단소송에서 미국 베스트셀러 작가 그룹에 15억 달러 합의금 지급을 제안했으나 법원은 "이 합의안은 완성되지 않았으며, 작가들에 대한 보호 조치가 부족하다"고 지적하며 합의안을 기각했습니다. 앤트로픽이 사실상 저작권 침해를 일부 인정한 셈이어서, 이번 사건은 AI 업계 첫 저작권 합의 사례로 남을 것이란 전망입니다. 미국 작가 그룹은 앤트로픽이 저작권이 있는 도서를 AI 학습에 불법으로 활용했다고 주장하며, 앤트로픽의 AI 학습 데이터 사용이 '공정이용*’에 해당하는지에 대한 논쟁을 계속해 왔습니다. 앤트로픽은 AI 학습이 원본 작품을 대체하거나 상업적으로 이용하려는 것이 아니라 새로운 창작물을 만들기 위한 것이며, 추론 기능 발전을 위한 훈련이라는 '변형적 이용'으로 공정이용에 해당한다고 주장했습니다. 그러나, 앤트로픽이 수백만 권의 중고 서적을 스캔하여 합법적으로 학습시킨 경우와 달리, 약 700만 건의 도서를 불법 다운로드하여 학습시킨 부분에 대해서는 저작권 침해로 인정되었습니다. 이로 인해 앤트로픽은 작가 연합회와 약 2조 원 규모의 손해배상금 합의를 하게 된 것입니다.^[1] * 공정이용(Fair Use): 미국 저작권법 제107조의 공정이용(Fair Use)은 저작권자의 허락 없이 저작물을 제한적으로 이용할 수 있도록 하는 개념으로, 저작권 침해에 대한 항변 수단으로 활용됩니다. 논평, 비판, 뉴스 보도, 교육, 학문 연구 등 특정 목적을 위해 공정하다고 판단되는 경우에 해당하며, 네 가지 요소를 종합적으로 고려하여 개별 사례마다 판단됩니다: ① 영리성 또는 비영리성 등 이용의 목적 및 성격, ② 저작물의 종류 및 용도, ③ 이용된 부분이 저작물 전체에서 차지하는 비중과 그 중요성, ④ 저작물의 이용이 그 저작물의 현재 시장 또는 가치나 잠재적인 시장 또는 가치에 미치는 영향
• 뉴욕타임스(New York Times) vs. OpenAI, 마이크로소프트: 2023년 뉴욕타임스는 OpenAI와 마이크로소프트가 자사의 기사를 무단으로 학습 데이터로 사용하여 저작권을 침해하고 있다고 소송을 제기했습니다. 뉴욕타임스는 ChatGPT가 자사 콘텐츠를 정확히 인용하거나 요약하여 저작권을 침해하고 있다고 주장했으며, OpenAI는 학습 데이터의 '변형적 이용'을 강조하며 공정이용을 주장하고 있습니다. 챗봇이 언론사의 경쟁자임도 명시해 소송전의 새 국면을 열었다는 평가입니다. 2024년 오픈AI와 구글은 언론사와 협력 분위기를 조성하기도 했습니다. 오픈AI는 AP통신·파이낸셜타임스·프랑스 르몽드 등과 뉴스 콘텐츠 사용 계약을 맺었으며, 구글은 세계 최대 미디어 그룹 ‘뉴스 코퍼레이션’과 AI 콘텐츠 이용 및 제품 개발을 위해 공동투자를 진행하기로 했습니다.^[2][3]
• 다수 언론사 vs. 메타(Meta) 소송: 2023년 언론사 간 저작권 분쟁에서 메타는 미국 저작권법의 ‘공정이용’ 개념을 근거로 뉴스 사용료 지불에 회의적인 입장을 고수하고 있으며, AI 학습 데이터 사용에 대해 정당성을 주장했습니다. 한편, 2025년 사라 실버맨(Sarah Silverman) 등 13명의 작가가 메타에 대해 “저작권 있는 저작물에 대해 AI 모델을 불법적으로 학습시켰다”고 제기한 소송에 대해 미국 연방법원이 원고측이 불법성을 증명하지 못한 것으로 보아 메타의 편을 들어주었습니다.^[4]
• 게티이미지(Getty Images) vs. Stability AI: 2023년 글로벌 사진 에이전시 게티이미지는 Stability AI가 수백만 장의 자사 이미지를 무단으로 AI 학습에 사용하여 저작권 침해 및 상표권 침해 소송을 제기했습니다. Stability AI의 이미지 생성 AI가 생성한 작품들이 훈련에 사용된 저작권 콘텐츠와 유사하며, 게티이미지의 워터마크가 포함된 이미지를 생성하고 있다고 밝혔습니다.^[5]

한국 내 분쟁 사례

• N사 vs. 언론사/콘텐츠 창작자: 2025년 한국에서도 N사의 거대 언어 모델 AI 학습 데이터 사용을 둘러싸고 언론사 및 저작권자들로부터 저작권 침해 소송이 제기된 바 있습니다. 업계에 따르면 지상파 3사(KBS·SBS·MBC)는 초거대 AI '하이퍼클로바' 및 '하이퍼클로바 X' 학습에 뉴스 데이터를 무단 사용했다며 N사에 저작권 소송을 제기했습니다.^[6]
• S사 vs. 다수 이용자: S사는 감정 분석 전문 스타트업으로, 연인과 주고받은 메시지를 통해 연애 감정을 파악하는 ‘연애의 과학’, 메신저 기반 감정 분석 서비스인 ‘텍스트앳’ 등 대화형 AI에 대한 사업 모델을 영위하는 기업입니다. S사가 제공하는 '연애의 과학' 서비스 이용자들은 카카오톡 대화 내용을 인공지능 대화형 챗봇인 '이루다' 학습에 무단 사용한 것에 대해 개인정보보호법 위반으로 손해배상 청구 소송을 제기했는데, 이용자들은 자신의 이름, 전화번호, 심지어 성적인 대화 내용까지 학습된 것에 대해 개인정보 침해를 주장했습니다. S사는 포괄적 동의, 가명 처리, 과학적 연구 목적 등을 주장했으나, 2025년 6월 1심 법원은 개인정보보호법 위반을 인정하여 위자료를 지급하라고 판결했습니다. 2025년 9월 현재, 항소 진행 중입니다. 이러한 분쟁에 대응하기 위해 한국저작권위원회는 2025년 6월 ‘생성형 인공지능 결과물에 의한 저작권 분쟁 예방 안내서’ 발간 등 AI 저작권 분쟁에 대한 체계적인 대응에 나서고 있습니다.

이처럼 생성형 AI 관련 분쟁의 핵심은 AI 학습 데이터의 저작권 침해 여부, AI 생성물의 저작권 귀속 문제, 그리고 AI 학습 과정에서의 공정이용 원칙 적용 여부입니다. 특히 AI 산출물의 저작권 귀속에 대한 논쟁은 인간의 창작적 기여 여부가 중요한 판단 기준이 되고 있습니다.

주요 법령(저작권법, 개인정보보호법, AI 기본법, 정부 부처 가이드라인 등)

생성형 AI와 관련하여 기업이 반드시 이해하고 준수해야 할 주요 법령은 크게 저작권법, 개인정보보호법, AI 기본법 및 정부 부처 가이드라인으로 나눌 수 있습니다.

생성형 AI 관련 주요 법령 (출처: 작성자 제작)

• 저작권법 : AI 학습 데이터와 생성물의 저작권 문제를 다룹니다.
• 개인정보보호 : AI 시스템에서 개인정보 보호를 보장합니다.
• AI 기본법 : AI 개발과 사용을 위한 포괄적인 법적 틀을 제공합니다.

저작권법

한국 저작권법은 인간의 사상이나 감정을 표현한 창작물을 보호하며, 저작자는 자신의 저작물을 복제, 공연, 방송, 전송 등의 방법으로 이용할 독점적인 권리를 가집니다.

• AI 학습 데이터 저작권 침해: AI가 저작권 보호를 받는 창작물을 학습 데이터로 사용하는 것은 복제권 침해로 간주될 수 있습니다. 하지만 대한민국 저작권법 제35조의5(공정이용)도 미국과 마찬가지로 저작물의 이용 목적 및 성격, 저작물의 종류 및 용도, 이용된 부분의 양과 중요성, 그리고 저작물의 시장에 미치는 영향의 네 가지 요소를 종합적으로 고려하여 공정이용 여부를 판단합니다. AI 학습 데이터 사용이 '변형적 이용'에 해당하여 원본 저작물의 시장 가치를 해치지 않는다면 공정이용으로 인정될 가능성도 있습니다.
• AI 생성물의 저작권 귀속: AI가 생성한 결과물이 저작권법의 보호를 받을 수 있는지는 인간의 창작성 기여 여부가 핵심 쟁점입니다. 현재 미국 등에서는 인간의 창작적 개입이 없는 AI 생성물에 대해서는 저작권을 인정하지 않는 경향이 있습니다. 한국저작권위원회는 2025년 6월 생성형 인공지능 활용 저작물의 저작권 등록 안내서를 발표하며 AI가 생성한 저작물은 저작권 보호 대상이 되지 않는다는 원칙을 명시했습니다. 다만, 인간이 창작 과정에서 AI를 도구로 활용하여 만들어낸 결과물로서 인간의 창작적 기여가 인정될 수 있는 경우에는 저작권 등록이 가능합니다.

창작적 기여가 인정될 수 있는 경우의 사례

• 이용자가 자신의 저작물을 프롬프트로 입력하여 생성된 생성형 AI 산출물에 그 저작물의 창작성이 나타난 경우
• 이용자가 생성형 AI 산출물을 수정ㆍ증감 등 추가 작업한 부분에 창작성이 있는 경우
• 생성형 AI 산출물을 선택하고 배열 또는 구성한 것에 창작성이 있는 경우

개인정보보호법

개인정보보호법은 개인의 정보를 보호하고 개인의 프라이버시를 보장하기 위해 제정되었으며, 개인정보 처리자는 정보 주체의 동의 없이 개인정보를 수집, 이용, 제공할 수 없습니다.

• AI 학습 데이터 내 개인정보: AI 학습 데이터에 개인정보가 포함되어 있을 경우 개인정보 침해 문제가 발생할 수 있습니다. 개인정보보호법 제15조 제6호는 정보 주체의 생명, 신체 보호를 위해 급박한 경우에 한해 개인정보를 처리할 수 있도록 예외를 두고 있으며, AI 학습 데이터 내 개인정보 처리에도 중요한 판단 기준이 될 수 있습니다. 2025년 AI 챗봇이 이용자의 동의 없이 대화 내용을 학습했다면 개발업체가 손해를 배상해야 한다는 법원 판결이 나오기도 했습니다.^[7]
• 개인정보보호위원회 가이드라인: 개인정보보호위원회는 2025년 8월 ‘생성형 AI 개발·서비스를 위한 개인정보 처리 안내서’를 발표했습니다.^[8][13] 이 가이드라인은 AI 심화 시대에 대응하여 개인정보 처리와 관련한 현장의 법적 불확실성을 해소하고, AI 신기술․신서비스 개발에 개인정보가 안전하게 활용될 수 있도록 지원하기 위한 것으로서, AI 학습 활동에서의 '공개된 개인정보' 활용 원칙, 개인정보 처리의 필요성 및 최소성 원칙, 그리고 맞춤형 조치를 통해 정보 주체의 권리를 보장하는 방안 등을 제시하고 있습니다. 또한 가명 처리와 같은 기법을 활용하여 개인정보를 보호하도록 합니다.

AI 기본법

한국은 2024년 12월 26일 국회 본회의를 통과하여 2026년 1월 22일부터 시행될 ’인공지능 발전과 신뢰 기반 조성 등에 관한 기본법’(AI 기본법)을 제정했습니다.^[9] 이는 '산업 진흥'과 '규제'의 균형을 핵심 가치로 삼고 있으며, 유럽연합(EU)에 이어 세계에서 두 번째로 포괄적인 AI 규제 법안입니다.

• AI 정의 및 고영향 AI: AI 기본법은 AI를 "학습, 추론, 인지, 판단, 제어 등 인간의 지능 활동을 수행하는 소프트웨어 및 하드웨어"로 정의하며, 고영향 AI를 "국민의 생명, 안전, 기본권 보호에 중대한 영향을 미치거나 미칠 수 있는 인공지능 시스템"으로 정의하고 보건의료, 범죄 수사를 위한 개인정보 활용 등 11개 분야를 예시로 제시하고 있습니다. 고영향 AI는 더욱 엄격한 안전성 확보, 투명성, 인간 개입 보장 등의 의무를 가집니다.
• 고영향 인공지능과 관련한 사업자의 책무: 인공지능 사업자는 고영향 인공지능 또는 이를 이용한 제품ㆍ서비스를 제공하는 경우 고영향 인공지능의 안전성ㆍ신뢰성을 확보하기 위하여 다음의 조치를 이행해야 합니다. (1) 위험 관리 방안의 수립ㆍ운영, (2) 기술적으로 가능한 범위에서의 인공지능이 도출한 최종결과, 인공지능의 최종결과 도출에 활용된 주요 기준, 인공지능의 개발ㆍ활용에 사용된 학습용 데이터의 개요 등에 대한 설명 방안의 수립ㆍ시행, (3) 이용자 보호 방안의 수립ㆍ운영, (4) 고영향 인공지능에 대한 사람의 관리ㆍ감독, (5) 안전성ㆍ신뢰성 확보를 위한 조치의 내용을 확인할 수 있는 문서의 작성과 보관 등입니다.
• 거버넌스 체계: AI 기본법은 범정부 인공지능위원회 설치와 인공지능 윤리·신뢰성 확보 및 인공지능 산업 진흥을 위한 조치들을 포함하고 있으며, 이는 AI 산업의 건전한 발전을 위한 거버넌스 기반을 마련하고자 합니다.

정부 부처 가이드라인

• 한국저작권위원회는 AI 창작물 저작권 등록과 분쟁 예방을 위한 가이드라인을, 개인정보보호위원회는 생성형 AI의 개인정보 처리 안내서를 발표하며 기업들이 법규를 준수하고 위험을 관리할 수 있도록 구체적인 지침을 제공하고 있습니다. ^[10][13]
• 금융위원회는 금융권 인공지능 활용을 활성화하기 위해 ‘금융 분야 AI 가이드라인’을 발표하여 금융산업의 책임성, 데이터의 정확성·안정성 확보, 서비스의 투명성·공정성 담보, 금융소비자 권리의 보장 등 4가지 핵심 가치를 구현하도록 하고 있습니다.^[11]
  방송통신위원회는 생성형AI 개발사·서비스 제공자를 대상으로 ‘생성형 인공지능 서비스 이용자 보호 가이드라인’을 공개했습니다.^[12]

이러한 가이드라인은 법적 구속력은 없지만, 분쟁 발생 시 법적 판단의 중요한 참고 자료가 되므로 기업은 이를 면밀히 검토하고 준수하려는 노력을 보여야 합니다.

AI 사업 단계별 사업자 유의 사항

AI 사업은 개발 단계와 서비스 단계로 나눌 수 있으며, 각 단계별로 사업자가 주의해야 할 법적 및 윤리적 사항들이 존재합니다.

AI 개발 단계 유의 사항

AI 개발 단계에서는 주로 데이터 수집 및 처리, 알고리즘 설계, 모델 학습 등이 이루어집니다. 이 과정에서 발생하는 주요 유의 사항은 다음과 같습니다.

훈련 데이터 수집 및 처리

• 저작권 준수: AI 학습에 사용되는 텍스트, 이미지, 영상 등의 데이터는 저작권 보호를 받는 경우가 많으므로, 반드시 저작권자의 이용 허락을 확인해야 합니다. 특히 한국 저작권법 제35조의5(공정이용)에 따라 AI 학습이 공정이용에 해당할 수 있는지 여부를 신중하게 검토해야 합니다. 공정이용 판단을 위해서는 이용 목적 및 성격, 저작물의 종류 및 용도, 이용된 부분의 양과 중요성, 그리고 저작물의 시장에 미치는 영향의 4가지 요소를 종합적으로 고려해야 합니다.
• AI 학습 데이터 면책 TDM(Text and Data Mining) 조항: 한국은 유럽연합(EU)과 달리 TDM에 대한 명시적인 면책 조항이 없으므로, 저작권법 제35조의5에 따라 공정이용 요건을 충족해야 합니다.
• 개인정보 보호: AI 학습 데이터에 주민등록번호, 계좌번호 등 개인정보가 포함된 경우에는 개인정보보호법을 준수해야 합니다. 이를 위해 가명 처리 또는 익명 처리를 통해 특정 개인을 알아볼 수 없도록 조치하거나, 정보 주체의 동의를 받는 것이 필수적입니다.^[8]

• 공개된 개인정보의 수집·이용: 적법 근거로는 정당한 이익 조항(法제15조제1항제6호)이 있으며, 이를 충족하기 위해서는 ▲목적의 정당성 ▲공개된 개인정보 처리의 필요성 ▲이익 형량의 3가지 기준을 검토
• 이용자 개인정보의 수집·이용(수집 목적 내 이용): 동의, 계약, 정당한 이익 등 적법 근거에 기초
• 이용자 개인정보의 수집·이용(추가적 이용): 추가적 이용 조항(法제15조제3항) 기준이 인정되기 위해서는 ▲합리적 관련성 ▲정보 주체의 예측 가능성 ▲정보 주체 이익의부당한 침해 가능성 ▲가명 처리․암호화 등 안전성 확보 조치 등을 종합적으로 고려
• 이용자 개인정보의 수집·이용(목적 외 이용): ▲가명․익명 처리(法제28조의2 및 제58조의2)하여 이용하거나 ▲새로운 적법 근거(法제18조제2항) 필요

AI 모델 개발 및 윤리

• 알고리즘 편향성(Bias) 제거 및 완화: 학습 데이터에 존재하는 성별, 인종, 지역 등에 대한 편향성이 AI 모델에 반영되어 차별적인 결과를 초래할 수 있으므로, 다양하고 대표성 있는 데이터셋을 구축하고 알고리즘을 지속적으로 검토 및 개선하여 편향성을 완화해야 합니다.
• 신뢰성 및 정확성 확보: AI 모델의 정밀도(Precision), 재현율(Recall), F1-Score* 등 다양한 지표를 활용하여 성능을 검증하고, 모델의 불확실성을 최소화하여 신뢰성 있는 결과물을 도출해야 합니다.
  * F1-score는 분류 모델의 성능을 평가하는 지표로, 정밀도(Precision)와 재현율(Recall)의 조화 평균을 의미합니다. 이는 정밀도와 재현율 두 지표가 어느 한쪽으로 치우치지 않고 균형을 이룰 때 높은 F1-score를 나타내며, 특히 데이터셋이 불균형할 때 모델의 성능을 더욱 정확하게 평가하는 데 유용함
• 설명 가능성(Explainability) 확보: AI 모델의 판단 과정이 투명하게 설명될 수 있도록 ‘설명 가능 AI 기술’(XAI)*을 도입하여, AI의 '블랙박스' 문제를 해결하고 내부 작동 원리를 이해하고 책임 소재를 명확히 할 수 있도록 노력해야 합니다.
  * XAI(eXplainable AI): AI 시스템이 내리는 결정의 이유를 인간이 이해할 수 있도록 만드는 기술. 딥러닝과 같이 '블랙박스'처럼 작동하는 복잡한 모델의 투명성을 높여, AI에 대한 신뢰를 확보하고 잠재적인 편향을 파악하며 안전하고 책임감 있는 AI 활용을 가능하게 함

AI 기본법 해석 및 준수

• 고영향 AI 식별: 개발 중인 AI 시스템이 AI 기본법상 고영향 AI에 해당하는지 여부를 식별하고, 이에 대한 안전성 확보, 투명성, 인간 개입 보장 등 추가적인 의무를 준수해야 합니다. 고영향 AI는 국민의 생명·안전·기본권에 중대한 영향을 미치는 시스템을 포함합니다.
• 인간 중심 설계: AI 시스템이 인간의 존엄과 권리를 침해하지 않고, 인간이 AI의 통제권을 유지하며 AI의 결정에 개입할 수 있도록 인간 중심의 설계 원칙을 적용해야 합니다.

AI 서비스 단계 유의 사항

AI 서비스 단계에서는 개발된 AI 모델을 사용자에게 제공하고 운영하는 과정에서 발생하는 법적 및 윤리적 사항들이 중요합니다.

서비스 산출물 관련 책임

• 저작권 침해: AI가 생성하는 텍스트, 이미지 등이 기존 저작물을 표절하거나 무단으로 사용함으로써 저작권 침해를 유발할 수 있습니다. 특히 AI의 환각(Hallucination) 현상으로 인해 사실과 다른 정보가 마치 원본 저작물처럼 생성될 수 있으므로, 산출물에 대한 검증 및 모니터링 시스템을 구축해야 합니다. 필터링 조치 등의 별도 기술을 활용하여 기존 저작물과 동일하거나 유사한 AI 산출물 생성을 차단하도록 합니다.
• 불법 콘텐츠 생성: AI가 딥페이크, 혐오 표현 등 불법적이거나 유해한 콘텐츠를 생성할 수 있으므로, 이를 사전에 필터링하고 차단하는 기술적 조치를 마련해야 합니다.
• 이용자 입력 데이터 처리: 이용자가 AI 서비스에 입력하는 데이터(프롬프트)에 개인정보나 민감 정보가 포함될 수 있으므로, 개인정보보호법에 따라 동의를 받고 최소한의 범위 내에서 처리해야 합니다.

이용자 보호 조치

• 투명성 확보: 이용자에게 AI 서비스임을 명확히 알리고(AI Generated Content 표시), AI의 기능, 한계, 잠재적 위험 등에 대해 정확하고 충분한 정보를 제공해야 합니다. 또한 AI가 생성한 콘텐츠에 워터마크 등을 삽입하여 AI 생성물임을 명시하는 것도 고려해야 합니다.
• 이용자 통제권 보장: 이용자가 자신의 개인정보 처리 및 AI 서비스 이용에 대한 선택권과 통제권을 행사할 수 있도록 해야 합니다. 예를 들어, 개인정보의 삭제 요청, 서비스 이용 중단 등의 기능을 제공해야 합니다. 완전 자동화된 시스템으로 개인정보를 처리하는 결정에 대해 정보 주체의 권리(투명성: 기준, 절차, 처리방식 사전 공개; 대응권: ① 거부권, ② 설명요구권, ③ 검토요구권)를 보장해야 합니다.
• 피해 구제 및 불만 처리 절차: AI 서비스 이용 중 발생할 수 있는 피해에 대한 구제 절차를 마련하고, 이용자의 불만 및 문의를 신속하게 처리할 수 있는 시스템을 구축해야 합니다.

법규 및 규제 준수

• EU AI Act 준수: 유럽 시장에서 AI 서비스를 제공하는 기업은 EU AI Act의 규제를 따라야 합니다. 이는 AI 시스템을 위험도에 따라 분류하고, 고영향 AI에 대해서는 CE 마크 획득, 품질 관리 시스템 구축, 투명성 의무 등 엄격한 요건을 부과합니다.
• 미국 규제 동향: 미국 연방거래위원회(FTC)는 AI의 소비자 기만, 알고리즘 편향성, 개인정보 침해 등으로부터 소비자를 보호하기 위한 가이드라인을 제시하고 있으므로, 이를 준수해야 합니다.
• 한국 AI 기본법 준수: 한국에서 AI 서비스를 제공하는 기업은 2026년 1월 22일부터 시행되는 AI 기본법에 따라 고영향 AI 식별 및 관리, 인간 중심 원칙 준수 등의 의무를 이행해야 합니다.

지속적인 모니터링 및 업데이트

• 개념 드리프트(Concept Drift) 대응: AI 모델은 시간이 지남에 따라 데이터 분포가 변화하거나 외부 환경이 바뀌면서 성능이 저하될 수 있으므로, 지속적인 성능 모니터링 및 재학습을 통해 모델의 정확도와 신뢰성을 유지해야 합니다.
• 정기적인 성능 평가 및 감사: AI 서비스의 정확도, 편향성, 안전성 등을 정기적으로 평가하고, A/B 테스트 등을 통해 개선 사항을 확인해야 합니다.
• 사고 대응 및 비상 계획: AI 서비스 오류, 보안 침해 등 예측 불가능한 사고에 대비하여 신속한 대응 및 복구 계획을 수립하고, 비상 상황 시 책임 소재를 명확히 해야 합니다.
• 피드백 반영: 이용자로부터의 피드백을 적극적으로 반영하여 AI 서비스를 개선하고 업데이트해야 합니다.

기업의 AI 거버넌스

AI 시대에 기업이 직면한 법적, 윤리적 문제들을 효과적으로 관리하고 AI의 잠재력을 최대한 활용하기 위해서는 견고한 AI 거버넌스(AI Governance) 체계 구축이 필수적입니다. AI 거버넌스는 단순히 규제를 준수하는 것을 넘어, AI 시스템을 책임감 있고 윤리적으로 개발, 배포, 운영하기 위한 포괄적인 프레임워크를 의미합니다. AI 거버넌스 체계는 다음과 같은 구성 요소들을 포함하여 효과적으로 작동해야 합니다.

원칙(Principles)

• 공정성(Fairness): AI 시스템이 특정 집단이나 개인에게 편향되거나 차별적인 결과를 초래하지 않도록 보장하는 원칙입니다. 학습 데이터의 다양성을 확보하고, 알고리즘의 편향성을 지속적으로 모니터링하며, 필요한 경우 데이터를 보정하거나 다른 알고리즘을 적용해야 합니다.
• 투명성(Transparency) 및 설명 가능성(Explainability): AI 시스템의 작동 방식, 의사결정 과정, 그리고 결과물이 어떻게 도출되었는지에 대해 이해하고 설명할 수 있도록 하는 원칙입니다. '설명 가능 AI(XAI)' 기술을 활용하여 AI의 '블랙박스' 문제를 해결하고, AI가 왜 특정 결정을 내렸는지 인간이 이해할 수 있는 방식으로 설명해야 합니다.
• 책임성(Accountability): AI 시스템으로 인해 발생한 문제에 대해 누가 책임을 져야 하는지 명확히 하는 원칙입니다. AI 시스템의 개발, 배포, 운영 주체는 시스템의 성능, 안전성, 윤리적 기준 준수 등에 대한 책임을 져야 합니다. 이를 위해 이사회나 독립적인 자문 그룹을 통해 AI 시스템의 전반적인 상황을 감독하고 평가할 수 있어야 합니다.
• 안전성(Safety): AI 시스템이 인간의 생명, 신체, 재산에 해를 끼치거나 사회에 부정적인 영향을 미치지 않도록 안전하게 설계되고 운영되어야 하는 원칙입니다.
• 데이터 보호(Data Protection) 및 개인정보 보호(Privacy): AI 학습 및 운영 과정에서 개인정보를 포함한 모든 데이터를 안전하게 보호하고, 개인정보보호법 등 관련 법규를 준수해야 합니다. 개인정보의 익명화, 가명화, 암호화 기술을 적극적으로 활용하고, 데이터 접근 권한을 엄격하게 관리해야 합니다.
• 인간 중심성(Human-centricity): AI 시스템이 인간의 존엄과 권리를 존중하고, 인간의 통제하에 놓여야 하며, 인간의 복지와 사회 전체의 이익을 증진하는 방향으로 개발 및 활용되어야 한다는 원칙입니다.

정책(Policies)

• AI 윤리 위원회/전담 조직 설치: AI 거버넌스 체계를 총괄하고 기업 내 AI 정책 및 가이드라인을 수립, 감독하는 AI 윤리 위원회나 전담 부서를 설치하여 독립적이고 객관적인 의사결정 구조를 마련해야 합니다.
• AI 개발 및 활용 정책: AI 시스템의 개발, 테스트, 배포, 운영, 폐기 등 전 생애 주기에 걸쳐 준수해야 할 내부 정책과 표준을 수립해야 합니다. 여기에는 데이터 수집 및 관리, 모델 학습 및 검증, 위험 평가 및 완화 등의 구체적인 지침이 포함되어야 합니다.
• 데이터 거버넌스 정책: AI의 핵심 자원인 데이터의 품질, 보안, 접근성, 생애 주기 관리 등을 위한 명확한 데이터 거버넌스 정책을 수립해야 합니다.
• 리스크 관리 정책: AI 활용에 따른 잠재적 리스크(법적, 윤리적, 보안, 운영 등)를 사전에 식별하고 평가하며, 이를 완화하기 위한 리스크 관리 계획 및 비상 대응 정책을 마련해야 합니다.

절차(Procedures)

• AI 리스크 평가 및 완화 절차: AI 시스템의 위험도를 주기적으로 평가하고, 식별된 위험에 대한 완화 조치를 실행하며 그 효과를 검증하는 절차를 수립해야 합니다.
• 모니터링 및 감사 절차: AI 시스템의 성능, 윤리적 기준 준수 여부, 편향성 등을 실시간으로 모니터링하고, 정기적인 내부 및 외부 감사를 통해 투명성을 확보해야 합니다. ISO/IEC 42001 표준에 따른 모니터링 체계를 구축하는 것이 도움이 될 수 있습니다.
• 사고 대응 및 시정 조치 절차: AI 시스템 관련 사고(예: 데이터 유출, 편향된 결과로 인한 피해) 발생 시 신속하게 문제를 진단하고, 대응하며, 시정 조치를 취하는 구체적인 절차를 마련해야 합니다.
• 투명성 및 설명 가능성 확보 절차: 이용자에게 AI 사용 사실을 고지하고, AI의 결정에 대한 설명을 제공하는 절차를 표준화해야 합니다. 설명 가능 AI(XAI) 도구를 활용하여 모델의 내부 작동을 시각화하고, 이해하기 쉬운 방식으로 설명을 제공해야 합니다.
• 이용자 동의 및 데이터 접근 절차: 이용자의 개인정보 및 생성 데이터에 대한 동의를 얻는 절차를 명확히 하고, 이용자가 자신의 데이터에 접근하고 관리할 수 있는 권리를 보장하는 절차를 마련해야 합니다.

리소스(Resources)

• 인적 자원: AI 윤리 전문가, 법률 전문가, 데이터 과학자, 엔지니어 등 다양한 분야의 전문가들을 확보하고, AI 거버넌스 관련 교육 및 훈련을 통해 내부 역량을 강화해야 합니다. 특히 AI 거버넌스 위원회나 AI 윤리 책임자 등의 역할을 수행할 인력을 지정해야 합니다.
• 기술 및 인프라: AI 시스템의 안전성, 신뢰성, 투명성을 확보하기 위한 기술적 도구(예: 편향성 탐지 도구, XAI 솔루션, 보안 시스템, 데이터 익명화 도구)와 데이터 저장 및 관리 인프라를 구축해야 합니다.
• 재정적 자원: AI 거버넌스 체계 구축 및 운영에 필요한 예산을 충분히 확보하여 지속적인 투자와 개선이 이루어질 수 있도록 해야 합니다.
• 외부 협력: AI 관련 법규 및 윤리 기준은 빠르게 변화하므로, 법률 자문, 컨설팅 기관, 학계 등 외부 전문가 그룹과의 협력을 통해 최신 정보를 습득하고 전문성을 강화해야 합니다.

삼성SDS는 금융위원회의 가이드 등을 참조하여 AI 윤리 원칙, 조직, 위험 관리 방안을 AI 거버넌스로 정의하고 실행하고 있습니다. 조직 구성에 있어서 CEO 산하의 연구소에 IT 윤리팀을 신설하여 AI 거버넌스를 수립하고, 개발 센터와 사업부는 이 거버넌스를 바탕으로 AI 상품과 서비스를 개발하며, 법무팀은 주요 법령 준수 가이드를 작성하고, 컴플라이언스팀은 해당 가이드를 임직원들에게 교육하고 있습니다. 삼성SDS는 홈페이지에 AI 윤리 강령을 명시하여 AI 관련 법규 준수, 인권 존중, 법률 침해 금지 등 5가지 항목을 선언하고 있으며, AI 경영 방침을 수립하고 최고경영자(CEO)가 직접 서명하여 AI 매니지먼트 시스템에 게시함으로써 임직원들에게 AI 거버넌스 준수 의지를 확인시키고 있습니다. 또한, AI 매니지먼트 시스템을 구축하여 위험 관리 기준을 수립하고 운영하고 있으며, 이는 국내 IT 회사 최초로 ISO 인증을 받았습니다. 연구소에서는 AI의 유해성을 판단하거나 유사한 내용이 나오지 않도록 필터링 기준을 확인하는 등, AI의 위험을 완화하고 안전성을 평가하기 위한 기술 확보에 노력하고 있습니다. 이러한 노력을 통해 AI 도입을 준비하는 여러 기업에도 참고가 될 것으로 생각됩니다.

인공지능과 현명하게 공존하기 위한 길

생성형 AI는 기업에 혁신적인 기회를 제공하지만, 동시에 복잡한 법률 및 윤리적 과제를 안겨주고 있습니다. 저작권 침해, 개인정보 유출, 알고리즘 편향성, 그리고 AI의 책임 소재와 같은 쟁점들은 더 이상 미래의 문제가 아니라 당장 기업이 직면하고 있는 현실입니다. 이러한 시대적 요구에 발맞춰 한국은 AI 기본법을 제정하고 정부 부처별 가이드라인을 발표하는 등 AI 생태계의 건전한 발전을 위한 제도적 기반을 마련하고 있습니다. 기업은 AI를 단순히 기술적 도구로만 볼 것이 아니라, 인간의 창의성을 확장하고 사회에 긍정적인 영향을 미칠 수 있는 잠재력을 가진 존재로 인식해야 합니다. 이를 위해서는 개발 단계부터 서비스 단계에 이르기까지 AI 사업의 전 과정에서 법적 위험을 선제적으로 관리하고 윤리적 원칙을 준수해야 합니다. 특히 AI 거버넌스 체계를 구축하여 공정하고 투명하며 책임감 있는 AI 운영을 위한 기업 문화를 정착시키는 것이 무엇보다 중요하겠습니다.

☞ 세션 발표자: 삼성SDS 법무팀 김성범 상무(sungbeom.kim@samsung.com)

References

• 머니투데이(2025.8.28.). "AI 저작권 침해 소송, 최악 면했다"…앤트로픽, 극적 합의”. https://news.mt.co.kr/mtview.php?no=2025082806331719039
• 동아일보(2023.12.28.). “NYT, 오픈AI에 수조원대 저작권 소송…“기사 수백만건 무단 사용” https://www.donga.com/news/article/all/20231228/122804535/1
• 아시아타임즈(2025.1.14.). “AI 저작권 어디까지…빅테크-언론사 갈등” https://www.asiatime.co.kr/article/20250114500314#_enliple#_mobwcvr
• 넥스트데일리(2025.6.26.). “저작권물에 대한 AI 불법학습 소송에서 앤트로픽, 메타 연달아 승소” https://www.nextdaily.co.kr/news/articleView.html?idxno=239569
• Aimatters(2025.6.26.),”게티이미지, 스태빌리티 AI 상대 영국 내 저작권 주장 철회… 美 소송은 계속” https://aimatters.co.kr/news-report/ai-news/24841/
• 쿠키뉴스(2025.1.17.). “국내서도 AI 뉴스저작권 침해 소송 시작” https://www.kukinews.com/article/view/kuk202501160251
• MBC뉴스(2025.7.15.). “개인정보 몰래 학습한 AI 챗봇‥법원 최대 40만 원 배상” https://imnews.imbc.com/replay/2025/nwdesk/article/6735852_36799.html
• 개인정보보호위원회(2025). 생성형 인공지능(AI) 개발·활용을 위한 개인정보 처리 안내서.
• 한국경제(2025.3.23.). “韓, 세계 첫 인공지능기본법 시행…내년 1월 발효” https://www.hankyung.com/article/202503231913i
• 전자신문(2025.6.20.). “정부, 생성형 AI 저작권 등록·분쟁 기준 제시” https://www.etnews.com/20250620000278
• 비즈니스포스트(2021.7.8.). ”금융위 인공지능 금융서비스 지침 마련” https://www.businesspost.co.kr/BP?command=article_view&num=239948
• 산업일보(2025.3.1.). “방통위, AI 서비스 이용자 보호 가이드라인 발표” https://kidd.co.kr/news/240655
• 디지털타임스(2025.8.6.). “생성형AI 분야 개인정보 처리 기준 나왔다” https://www.dt.co.kr/article/12009611?ref=naver
• 김도경(2024). ‘생성형 인공지능과 관련한 지적재산권 쟁점에 대한 검토’. The Journal of Law & IP, 제14권 제2호.
• 한국저작권위원회(2023). ‘생성형 AI 저작권 안내서’.
• 한국저작권위원회(2025). ‘생성형 인공지능 결과물에 의한 저작권 분쟁 예방 안내서’.
• 송재섭(2012). ‘미국 연방저작권법상 공정이용 판단 요소의 적용 사례 분석’. 저작권법(계간지).
• 개인정보위원회(2024). ‘합성데이터 생성 참조모델’