이 글은 IDG의 아티클을 전재하여 제공합니다.
[원문보기]
기업에 인공지능을 도입하면 사이버보안, 데이터 프라이버시, 편향 및 차별, 윤리, 규제 준수 등 다양한 영역에서 위험이 발생합니다. 이런 이유로 AI에 특화된 GRC(Governance, Risk, and Compliance) 프레임워크를 구축한 기업이 AI 기술의 가치를 극대화하고 위험을 최소화하며, 책임 있고 윤리적인 활용을 보장할 수 있습니다.
대다수 기업은 이 영역에서 아직 갈 길이 멉니다. 레노버와 IDC가 전 세계 IT 및 비즈니스 의사결정권자 2,920명을 대상으로 실시한 설문조사에 따르면, 전사 차원의 AI GRC 정책을 전면 시행하고 있는 기업은 24%에 불과했습니다.
기업용 소프트웨어 솔루션 업체 Kalderos의 CISO 짐 헌더머는 아직 AI를 위한 GRC 계획을 수립하지 않았다면 이를 최우선 과제로 삼아야 한다고 합니다. 오늘날 생성형 AI는 기업 전반에서 직원들이 이용할 수 있는 범용 자원이며, 기업은 데이터 유출, 기밀이나 민감한 정보가 공개 AI 학습 모델에 노출되는 상황, 혹은 잘못되거나 부정확한 응답을 생성하는 환각 현상 등의 위험으로부터 조직을 보호할 수 있도록 직원에게 지침과 교육을 제공해야 합니다.
최근 보고서에 따르면, 직원이 사용하는 생성형 AI 프롬프트 12건 중 1건꼴로 민감한 회사 데이터를 포함하고 있으며, 승인된 AI 옵션을 제공하면서도 섀도우 AI의 데이터 위험을 통제하지 못하는 실정입니다.
Data and Trust Alliance의 정책 책임자 크리스티나 포드나르는 기업이 AI를 기존 GRC 프레임워크, 정책, 표준에 통합해야 하며, 데이터는 그 모든 것의 중심에 있다고 말합니다. Data and Trust Alliance는 데이터와 AI의 책임 있는 활용을 촉진하기 위해 주요 기업의 비즈니스 및 IT 임원으로 구성된 컨소시엄입니다. AI 시스템이 더욱 보편화되고 강력해짐에 따라, 기업이 이러한 위험을 인식하고 대응하는 것이 필수적입니다. 기존 GRC 프레임워크는 AI 도입 시 수반되는 알고리즘 편향, 투명성 부족, AI 결정의 책임 문제와 같은 위험을 완전히 다루지 못하지만, AI 전용 GRC 프레임워크는 이러한 위험을 적극적으로 인지하고 완화할 수 있습니다.
AI 기술, 데이터 프라이버시, 사이버보안 전문 법률회사인 CM Law의 공동 설립 파트너 헤더 클라우슨 하우기언은 AI GRC 프레임워크는 보안 취약점(AI 시스템이 조작되거나 데이터 유출에 노출될 가능성)이나 운영 실패(AI 오류가 심각한 비즈니스 중단이나 평판 훼손으로 이어질 수 있는 상황) 등 다양한 위험을 완화하는 데도 도움이 된다고 설명합니다. 예를 들어, 금융 AI 시스템이 잘못된 결정을 내린다면, 대규모 금융 손실이 발생할 수 있습니다. 또한 전 세계적으로 AI 관련 법률이 속속 등장하고 있는데, 이는 기업이 데이터 프라이버시, 모델의 투명성, 비차별성을 확보해 컴플라이언스를 유지해야 함을 의미합니다. AI GRC 계획은 규제 집행에 뒤늦게 반응하는 것이 아니라, 선제적으로 대응할 수 있도록 지원합니다.
앞으로 다가올 도전 과제
IT 리더들과 비즈니스 리더들은 AI GRC 프레임워크를 구축하고 유지하는 것이 쉽지 않다는 것을 알아야 합니다. 우리는 고객에게 AI GRC 정책이나 프레임워크에 포함해야 할 내용을 조언할 수 있지만, 기업들이 이런 정책을 수립하는 과정뿐만 아니라, 실행하는 과정에서 직면하는 과제를 이해할 수 있도록 하는 조언도 해야 합니다. 예를 들면, AI 기술의 발전이 매우 빠르게 진행되고 있어 정책을 수립하는 것뿐 아니라, AI GRC 정책을 최신 상태로 유지하는 것도 과제입니다. AI GRC 정책이 지나치게 엄격하면 혁신을 방해할 수도 있고, 기업 내 특정 그룹이 정책을 우회하거나 아예 무시하는 방법을 찾을 것입니다. CIO는 생성형 AI가 등장한 이후로 이런 섀도우 AI 사용에 맞서 싸우고 있습니다. 효과적이고 기업에 특화된 AI GRC 전략을 수립하는 것이 섀도우 AI를 방지하는 가장 좋은 방법입니다.
기업은 AI GRC 계획을 어떻게 수립해야 하고, 그 계획에는 무엇이 포함되어야 할까요? 전문가들이 제안하는 요소를 알아봅니다.
책임감 있는 거버넌스 구조 구축
대부분의 기업은 AI를 위한 명확한 거버넌스 구조를 수립하지 못하고 있습니다. 기존 GRC 계획/프레임워크를 평가하고 AI를 기반으로 확장하거나 수정할 수 있는지를 판단하는 것이 모든 기업의 첫 번째 고려 사항이어야 합니다. 명확한 역할과 책임이 없으면, (어떤 결정이 누구의 책임인지가 불분명할 경우) 기업은 조직의 위험이 AI 배포와 일치하지 않게 되며, 결과적으로 브랜드 또는 평판 위험, 규제 위반, AI가 제공하는 기회를 활용하지 못하는 문제가 발생할 수 있습니다.
기업이 책임과 위임된 권한을 어디에 둘 것인지는 기업과 그 문화에 따라 다릅니다. 전 세계적으로는 옳은 답도 틀린 답도 없지만, 특정 기업을 위한 옳은 답과 틀린 답이 있습니다. AI GRC 프레임워크에 정책 통제 및 책임성을 통합하는 것은 AI 거버넌스의 역할과 책임을 정의하고 정책 집행 및 책임성 메커니즘을 수립함으로써 AI 이니셔티브에 대한 명확한 소유권과 감독을 보장하며, 개인이 자신의 행동에 대해 책임을 지도록 하는 것입니다. 종합적인 AI GRC 계획은 AI 시스템이 설명 가능하고 이해 가능하도록 지원할 수 있습니다. 이는 신뢰와 도입에 중요하며, 많은 기업에 더 큰 장애물로 떠오르고 있습니다.
AI 거버넌스를 위한 팀 차원의 노력
AI는 비즈니스 전반을 관통하는 기술인 만큼, GRC 프레임워크에는 광범위한 참여자의 의견이 반영돼야 합니다. TEKsystems의 글로벌 서비스 책임자인 리카르도 마단은 다양한 후원자, 리더, 사용자, 전문가 그룹을 포함하는 이해관계자 식별 및 참여 과정으로 시작한다고 합니다. 여기에는 IT, 법무, 인사, 컴플라이언스, 비즈니스 부서가 포함됩니다. 이런 접근 방식은 거버넌스 이슈와 목표, 프레임워크 설계의 우선순위 설정을 통합적이고 일관되게 수행할 수 있게 해줍니다.
또한 이 단계에서 조직의 AI 가치와 윤리 기준을 수립하거나 검증하며, 이후에는 지속적인 피드백, 반복 개선, 우선순위 대비 진행 상황 추적을 위한 계획과 주기를 설정합니다. 이 프로세스는 규제 변화, AI 기능 발전, 데이터 인사이트 도출, AI 혁신의 지속적 진화 등을 모두 고려해 구성됩니다.
AI 리스크 프로파일 생성
기업은 조직의 리스크 수용 성향, 민감 정보의 종류, 민감 정보가 공개 학습 모델에 노출될 경우의 결과를 이해하고, 이를 바탕으로 AI 리스크 프로파일을 생성해야 합니다. 기술 리더들은 기업과 직원 차원의 적절한 위험-보상 균형을 수립하기 위해 고위 비즈니스 리더들과 협력할 수 있습니다. 기업이 AI 관련 위험 식별, 평가, 완화 방안을 구체화하는 것은 법적·재무적 책임을 사전에 방지하고, 관련 규제와 정렬하는 데 매우 중요합니다.
윤리 원칙 및 가이드라인 통합
최근 CIO는 AI를 도입하면서 기술을 빠르게 활용해야 한다는 압박과 함께 윤리 문제와 씨름하고 있습니다. AI GRC 프레임워크에 윤리 원칙을 반영하는 것은 아무리 강조해도 지나치지 않습니다. AI를 비윤리적으로 사용하면 기업을 위험에 빠뜨릴 수 있는 수많은 위험을 내포하고 있기 때문입니다. AI GRC 프레임워크의 윤리 영역에 대해 공정성, 투명성, 책임성, 프라이버시, 인간의 감독 등의 영역을 포괄하는 기업의 AI 윤리 입장을 정의해야 합니다. 이런 절차는 AI 개발과 배포에 대한 도덕적 나침반을 제공해 의도치 않은 피해를 방지하고 신뢰를 구축할 수 있습니다. 이런 정책의 예로, 기존 편향을 지속하거나 강화하지 않도록 AI 시스템을 설계해야 하며, 정기적으로 공정성 감사를 수행합니다. 사람의 삶에 큰 영향을 미치는 AI 기반 의사결정은 모두 설명 가능해야 한다는 기준을 수립하는 것도 이런 정책의 대표적인 예입니다.
AI 모델 거버넌스 통합
모델 거버넌스와 수명주기 관리 또한 효과적인 AI GRC 전략의 핵심 구성 요소입니다. 이 항목은 데이터 수집부터 모델 개발, 배포, 모니터링, 폐기까지 AI 모델의 전체 수명주기를 다룹니다. 모델 거버넌스는 모델의 신뢰성, 정확성, 일관된 성능을 보장함으로써 모델 드리프트(Model Drift)나 오류로 인한 위험을 줄일 수 있습니다. 구체적인 예로는, 데이터 검증, 모델 테스트, 성능 모니터링을 위한 명확한 절차 수립, 모델 버전 관리 시스템 구축, 변경 기록 로깅, 모델의 최신성 유지를 위한 주기적 재학습 시스템 구현 등이 있습니다.
명확하고 시행 가능한 AI 정책 수립
AI를 포함한 신기술은 대규모 데이터 활용이 전제되므로, 올바른 정책은 위험과 기회 사이의 균형을 맞춰야 합니다. 또, 대다수 기업은 자사의 명확한 경계선을 정책으로 문서화하지 않습니다. 이는 직원들이 각자 임의로 기준을 정해 조직을 위험에 빠뜨리거나, 반대로 새로운 제품과 서비스를 만들지 못하게 만드는 요인으로 작용할 수 있습니다. 이들이 무조건 IT의 허락을 받아야 한다는 인식을 가지고 있기 때문입니다.
기업은 책임, 설명 가능성, 책임 추적, 데이터 프라이버시 및 보안 관련 관리 프랙티스, 그리고 기타 운영 위험과 기회와 관련된 측면을 포괄하는 명확한 정책을 수립해야 합니다. 모든 위험과 산업군이 동일하지 않기 때문에, 각 기업은 AI로 달성하고자 하는 비즈니스 목표에 따라 자사 고유의 위험 수용 성향에 집중해야 합니다. 정책은 사용자들이 이해할 수 있는 시행 메커니즘을 포함해야 합니다.
피드백 수렴 및 지속적 개선
AI 가이드라인은 조직 전체에 명확히 전달돼야 하며, 사용자의 요구를 더 잘 반영할 수 있도록 지속적으로 피드백을 수렴하고 정책을 개선하는 작업이 중요합니다. 사용자 피드백을 바탕으로 AI 사용 현황, 성능, 프레임워크 테스트 결과를 꾸준히 문서화하고 보고합니다. 이 모든 과정은 정책 개선, 감사 대응력 강화, 보장 체계 마련을 위한 지속적 노력의 일환입니다. AI 모델은 시간이 지나며 변화하고 지속적인 모니터링이 필요하므로, AI가 수명주기 전반에 걸쳐 효과적이며 컴플라이언스를 유지하도록 하려면 강력한 거버넌스 프로세스가 마련돼야 합니다. 이를 위해서는 모델 검증 및 모니터링 프로토콜을 점검하고 활용하거나, 예기치 못한 상황에 대비한 자동화된 규칙 및 알림 시스템을 마련하는 작업이 필요할 수 있습니다.
▶ 해당 콘텐츠는 저작권법에 의하여 보호받는 저작물로 기고자에게 저작권이 있습니다.
▶ 해당 콘텐츠는 사전 동의 없이 2차 가공 및 영리적인 이용을 금하고 있습니다.
InfoWorld