지속 가능한 AI 비즈니스를 위한 ESG 프레임워크

2024-02-28 김영욱

생성형 AI는 기업의 비즈니스 전략에 있어 거부할 수 없는 조건으로 자리매김했다. 맥킨지 리포트는 생성형 AI가 광범위한 산업 영역에서 활용되며, 총 2.6-4.4조 달러(한화 약 3,400-5,800조 원)에 달하는 경제적 가치를 창출할 것이라고 예측하고 있다.[1] 또한 골드만 삭스는 생성 모델 인공지능만으로도 2033년까지 세계 GDP를 7% 증가시킬 수 있다고 추정한다.[2] 이런 경제적인 전망은 기업이 AI 기술을 즉시 비즈니스에 통합하고 싶은 동기를 갖게 한다. 하지만 AI로 발생할 수 있는 리스크를 사전에 인지하고 준비하지 못한다면, 그 대가는 치명적일 수 있다. 대표적인 최근의 사례로 아마존의 상품 리스트에서 불거진 문제를 예로 들 수 있다. 상품 공급자들이 상품명과 설명 등을 손쉽게 작성할 수 있는 텍스트 생성 툴들이 많이 생겨나면서, 아마존의 상품 리스트가 생성형 AI의 에러 메시지로 뒤덮이는 문제가 발생했다. 덧붙여 사기를 목적으로 하는 스팸 상품들이 무분별하게 생성되면서, 고객 입장에서는 원하는 상품을 쉽게 찾을 수 없게 되었다.[3]

[그림 1] OpenAI 에러 메시지로 표시된 아마존 상품 페이지

예상하지 못한 이런 상황을 빠르게 해결하지 못하면 플랫폼 신뢰도는 하락하여, 소비와 공급에 있는 고객군이 모두 이탈을 한다. 결국 플랫폼을 활성화하기 위해 도입한 생성형 AI가 핵심 비즈니스를 위협하게 되는 셈이다.

위와 같은 사례를 통해 생성형 AI가 새로운 기회임과 동시에, 상황에 따라 큰 비즈니스 상의 리스크를 야기할 수 있는 기술임을 깊이 체감할 수 있다. 문제는 오류나 스팸성 정보 생성뿐만 아니라 저작권, 규제 등 다양한 영역에서 발생할 수 있으며, 이러한 AI 기술의 에러 상황을 사전에 통제하지 못할 경우 기업의 제품 실패, 경제적 손실, 법적 이슈 발생으로 이어질 수 있다. 학습 데이터의 저작권 문제로 인해 뉴욕 타임스가 OpenAI를 소송한 사건이 이슈가 되기도 하고, 바드의 오류로 인해 구글의 주가가 9% 넘게 하락하는 등 주가에 심각한 타격을 주기도 했다. 이러한 문제가 지속적으로 발견된다면 기업의 AI 비즈니스, 제품 운영 역량 등에 의문을 가지게 하며, 기업의 평판 및 기업 가치 하락으로도 이어진다.[4]

선제적으로 리스크를 방지하고, AI 비즈니스의 지속 가능성을 측정하고 평가하기 위해 ESG 프레임워크가 강조되고 있다.[5] 기존 산업에서 ESG는 주로 투자자가 환경, 사회적 영향, 지배 구조 등에 대한 종합적인 평가를 통해 투자 대상을 검토하고, 모니터링하기 위한 목적으로 사용되어 왔다. 이는 기업 입장에서는 장기적인 가치를 만들어내기 위해 어떤 전략과 행동을 해야 하는지 판단하는 기준으로 활용한다. 특히 AI 비즈니스에서 ‘신뢰’는 중요한 성공 요인으로 작용한다. 따라서 ESG 프레임워크를 AI 비즈니스에 선제적으로 적용하는 것은 기업의 브랜딩뿐만 아니라 실질적인 매출과 기업 가치 평가에 있어서도 큰 역할을 한다. 특히 생성형 AI를 B2B 비즈니스에 적용할 경우 모델의 정확도와 안정성뿐만 아니라 기업의 내부 데이터 활용으로 인한 데이터 보안 문제가 솔루션 도입 조건이 되기도 하기 때문에, 고객 기업의 신뢰를 얻는 것이 비즈니스 성공에 중요한 기본 요소로 작용한다.[6] 이 글에서는 AI라는 기술 자원에 대한 성과와 리스크를 통제하기 위해 AI 거버넌스를 운영하고 ESG 리포트를 작성하는 것의 필요성과 적용 방법을 제시하고자 한다.

AI 관련 리스크와 ESG 요소

ESG가 글로벌 트렌드로 확산하는 이유는 기업운영과 활동에 대한 사회구성원의 관심이 높아지고 기업 가치 제고와 지속 가능한 발전에 영향을 미치기 때문이다. AI 기술은 기존 비즈니스 모델을 지속 가능하게 전환할 수 있는 잠재력을 가지고 있으나 이로 인해 발생할 수 있는 문제에 대해 잘 이해하고 준비하지 않으면 그 가치를 발휘할 수 없다. AI 기술과 관련된 리스크를 ESG 요소와 연결 지어 살펴보자.

먼저 환경적(Environmental) 요소에서 보면 AI는 알고리즘이 제대로 동작할 때까지 엄청난 양의 데이터를 학습하며, 에너지를 소모하기에 큰 탄소 발자국을 남기게 된다. 과한 에너지 사용과 온실가스 배출은 기후 변화를 악화시킨다. 매사추세츠 대학 연구[7]에 따르면 인기 있는 AI 모델을 학습시키기 위해서는 약 626,000파운드의 이산화탄소가 발생하고, 이것은 뉴욕에서 샌프란시스코를 비행기로 300번 왕복하는 양과 같다고 한다. ESG는 환경의 지속 가능성을 강조하므로 AI 비즈니스는 어떻게 ESG의 환경 요소를 반영하고 ESG 원칙을 따를 수 있을지 고민해야 한다. 알고리즘 설계부터 에너지 효율을 염두하고 불필요한 학습을 줄여 데이터 학습을 효율적이고 필요한 컴퓨팅 리소스만 쓰는 시도를 통해 탄소배출을 줄이는 노력이 필요하다.

[그림 2] 이산화탄소 배출량 비교(출처: Earth.org[8])

사회적(Social) 면에서는 AI 모델로 인한 편견과 불평등, 데이터 보안 문제에 대한 리스크가 있다. 먼저 AI 모델은 훈련 데이터에서 나온 편견 및 편향을 결과에 제한 없이 반영할 수 있다. 학습된 데이터에 이미 편향이 있을 수 있고, 그것은 잘못된 정보를 전달하거나 특정 그룹이나 지역에 불평등한 정보를 제공할 수 있다. 사회적 평등과 다양성이 중요한 가치인 ESG 관점에서 이런 편향은 큰 위험 요소가 된다. 또한 데이터 프라이버시 문제를 생각할 수 있다. 대량의 데이터를 처리하고 저장함에 있어 개인 정보 노출과 관련된 문제를 일으킬 수 있다. 개인 정보 보호 및 데이터 보안을 강조하는 ESG 면에서 AI 기술이 사용하는 데이터 관리가 목표에 부합해야 한다. 개인 정보 보호 리스크와 관련된 사례로, 과거 애플이 자사의 음성 어시스턴트인 시리에 입력되는 명령을 분석하기 위해 사용자들의 음성 명령을 수집하고 외부 인력에게 내용을 듣고 분석을 요청했던 사건[9]이 있다. 이는 개인정보 보호 및 프라이버시를 침해하는 문제로 애플은 2019년 개인 정보 보호를 강화하고 사용자가 동의한 경우에만 데이터를 수집하도록 변경되었다.

거버넌스(Governance)에는 법적 규제 및 준수와 의사결정 과정의 투명성에 대한 리스크가 발생할 수 있다. 세계 각국에서 AI관련 법령 및 규제가 발의되고 그 적용 범위와 한계에 관한 논의도 활발하다. 기업에서 AI 기술을 사용할 경우 AI가 내린 의사결정 과정이 투명하지 않으면 ESG 관련 문제에 대한 책임 추적을 어렵게 하고 투명성을 잃을 수 있다. 특히 투명한 의사결정은 ESG 원칙을 준수에 따른 신뢰를 증진시키므로 거버넌스 영역에서 매우 중요한 요소이다. 의사결정의 투명성을 감소시키면 이와 관련된 모든 의사결정이나 과정을 관리, 감독하기 어렵게 된다. 아마존은 채용에 사용했던 머신러닝 기술이 남성 지원자에게 더 유리하게 작용하고 여성 지원자에게 불리한 영향을 미치는 것으로 밝혀져 선호하는 것이 밝혀져 사용을 중단했다.[10] 인공지능의 블랙박스 특성으로 인해 문제가 확인되어도 이러한 편견을 해결하거나 책임을 물기가 어렵다.

AI 기술을 사용하는 비즈니스가 더 발전하고 산업이 커질수록 ESG의 목표에 반하는 리스크를 마주하게 되기 쉽다. 발생할 수 있는 리스크를 ESG 경영 관점으로 인식하고 해결하는 것이 중요하다.

[그림 3] AI 시스템과 ESG 요소의 연관성(출처: EY[11])

AI 비즈니스의 ESG 리포트를 실현하기 위한 거버넌스 전략

ESG 리포트의 방향은 원칙을 강조하는 프레임워크를 넘어 역할과 책임, 운영 방식, 지표 등을 통합한 형태로 체계화되어야 한다. 이미 많은 기업에서 ESG 리포트와 AI 거버넌스의 중요성은 널리 확산하였고, 여러 프레임워크와 가이드라인이 제작되어 공유되고 있다. 하지만 각 개념을 이해하는 것과 이를 실현하기 위한 프로세스, 운영 절차, 책임 체계를 구현하는 것은 또 다른 문제이다. AI 원칙 들을 실용적인 접근 방식으로 운영하는 것이 중요하며, 전략, 리스크 관리 체계에 일관성 있게 적용되어야 한다.

글로벌 컨설팅회사 EY에서는 AI를 비즈니스에 통합하고자 하는 조직에서 거버넌스를 실현하기 위한 가이드를 제시한다. 이 가이드라인에서는 구축, 운영, 확장 3단계로 나누어 AI 리스크를 식별하고 통제하기 위한 핵심 활동과 산출물의 종류를 설명한다. ESG 리포트 체계를 처음 도입하는 단계에서는 먼저 AI 거버넌스 프레임워크를 설정하고, 이해관계자와 함께 AI 제품 개발과 관련된 정책과 운영 절차, 가이드라인을 세우는 과정이 필수적이다. 이후 실제로 거버넌스를 운영하면서 모델 평가 및 관리 체계 및 규제 관련 부서의 설립 등을 순차적으로 만들어야 하며, 일련의 과정을 전사적으로 이해하고 적용할 수 있도록 가이드라인을 구성하고 적극적으로 배포하는 것 또한 필요하다. 이러한 도구들이 단계별로 뒷받침된다면, ESG와 관련된 AI 이니셔티브를 빠르게 확산시키며, 조직의 생산성을 높일 수 있다.

[그림 4] AI 거버넌스 실현을 위한 단계별 활동과 성과물(출처: EY)

	주요 활동	성과
구축	AI 거버넌스 프레임워크를 구축하여 AI 도입을 활성화하고 새로운 위험을 관리한다. AI 정책, 절차 및 가이드라인을 설정하여 인력, 프로세스 및 기술요소를 간소화한다.	AI 및 AI 시스템리스크 계충화의 일관된 정의 AI 모델 라이프사이클 전반에 걸쳐 명확하게 정의된 역할과 책임 매트릭스 모델 인벤토리 프레임워크 윤리 및 개인정보 보호 평가 프레임워크 모델 개발 및 검증을 위한 AI 표준
운영	AI 모델 인벤토리, 개인정보 보호 및 윤리를 지원하는 기술을 활성화한다. 조직의 AI시스템을 모델 인벤토리에 기록한다. 실행 위원회, 에스컬레이션 포럼의 일정을 설정한다. 확인된 문제에 대한 개선 계획을 포함하여 현재 AI시스템을 조사한다.	AI거버넌스 프레임워크의 운영화 성능, 편향성, 투명성, 복원력, 설명 가능성을 보장하기 위해 신뢰할 수 있는 AI의 원칙에 따라 시스템 검증 표준리스트로부터 검증된 확인된 위험 및 문제 해결
확장	신뢰할 수 있는 AI 원칙이 조직 전체에 적용될수 있도록 지원한다. 공정성 툴킷 또는 지속적인 모니터닝 툴킷을 배포한다. 기술적 관점에서, 엔트투엔드 프레임워크를 통해 신뢰할 수 있는 AI 기술의 활성화를 지원한다.	기능 전반에 걸쳐 신뢰할 수 있는 AI 원칙의 일관되고 능률적인 채택(예:공정성, 지속적인 모니터닝) 기술을 통한 신뢰할 수 있는 AI 구현 가속화

특히, 실질적인 제품 개발 성과를 내기 위해서는 전략 단계부터 제품 개발, 모니터링 단계까지 AI 모델의 개발 라이프사이클에 맞는 엔드 투 엔드(End-to-end) 거버넌스를 갖추고, 각 프로세스별 담당자의 역할과 책임, 평가 기준 등을 세우는 것은 책임감 있는 AI를 향한 조직의 실행력을 높인다.[12] AI 제품의 개발 과정은 일반적인 소프트웨어와는 구별되게 길고, 반복적인 성능 개선 작업이 요구된다. 기업 차원에서 비즈니스 전략을 이해한 뒤 AI 기술의 역할을 규정했다면, 개발 라이프 사이클 단계(솔루션 설계, 모델 개발, 모델 배포, 모니터링 등) 별 필요한 작업과 프로세스를 이해하고 제도화할 수 있을 때, 좋은 거버넌스 관계를 만들 수 있다.

[그림 5] AI 모델의 라이프사이클을 반영한 엔드 투 엔드 거버넌스 구조(출처: PwC[13])

결국 일관적인 거버넌스 체계하에서 프로세스 단계별 산출물을 정의하고, 합의된 평가 체계를 통해 성능 적합도, 배포 적합도, 운영 방식, 모델 개선 및 중단 여부 등을 평가하고 공유해야 한다. 배포 이후에도 지속적인 모니터링을 통해 모델의 성능을 고도화하려는 노력이 필요하다. 단계별 진행 여부와 성과를 객관적인 기준을 통해 판단하고 통제할 수 있으려면, 비즈니스 KPI부터 사용자 지표, AI 모델의 성능 지표까지 관계성을 연결하고, 수치화된 지표를 통해 표현되어야 한다. 단계별 지표는 요약적으로 비즈니스의 지속 가능성을 판단하는 내부적인 기준이 되어야 하며, ESG 리포트를 발행하여 주요 이해관계자의 신뢰를 형성하는 매개로 활용될 수 있다.

마무리

생성형 AI는 AI 모델을 생산하는 기업과 소비하는 기업 양쪽에 일하는 방법에 있어서 상당한 변화를 만들 것이다. 생성형 AI를 신중하게 개발하고 적용하지 않으면, 법적, 사회적, 경제적 피해가 발생할 수 있다. 거버넌스와 ESG 리포트를 선제적으로 준비하는 기업은 지속 가능한 비즈니스를 이끌어 나갈 수 있을 것이다. 빠르게 변화하는 규제 환경에 맞춰 리스크를 식별하고, 거버넌스 구조, 기술 및 데이터 관리 체계, AI 사용 가이드 제정 등을 통해 실용적인 형태로 구현하는 것이 ESG 리포트와 관련된 이니셔티브를 유지하는 데에 매우 중요하다. 각각의 ESG 리스크 감소를 위한 견고한 기반을 구축한다면, 보안, 데이터 관리 및 보호, 책임 있는 AI 전반에 걸친 운영을 효율화하는 데 도움이 될 것이며, 결국 고객, 투자자 등으로부터 신뢰할 수 있는 기업 브랜드를 형성할 수 있다.

나아가 AI 기술은 ESG를 향한 더 많은 문제를 해결할 수 있는 충분한 잠재력을 가지고 있다. 에너지 사용에 대한 분석을 통해 최적의 사용 시나리오를 제시하여 온실 가스를 줄일 수 있고, 취약 계층의 의료 접근성을 높이는 등 헬스케어 산업에 기여할 수 있다. 금융 취약계층들도 충분히 활용할 수 있는 상품을 제시함으로써, 여러 분야에서 생산성 향상을 지원할 수도 있다. 이처럼 AI가 만들 수 있는 리스크를 통제할 수 있다면, 많은 영역에서 인류의 삶 전반에 크게 도움이 될 것으로 전망된다. AI 규제 등과 관련한 국가, 사회 전체적인 규범 확립과 기업의 노력을 통해 더욱 많은 영역에서 실질적인 변화를 이끌어낼 수 있게 되길 기대한다.

# References

[1] McKinsey Digital, “The economic potential of generative AI: The next productivity frontier”, June 14, 2023
[2] Goldman Sachs, “Generative AI could raise global GDP by 7%”, Apr 05, 2023
[3] Arstechnica, “Lazy use of AI leads to Amazon products called “I cannot fulfill that request””, Jan 12, 2024
[4] McKinsey, “As gen AI advances, regulators—and risk functions—rush to keep pace”, Dec 21, 2023
[5] Cigionline.org, “AI-Related Risk: The Merits of an ESG-Based Approach to Oversight”, Aug 21, 2023
[6] 삼성SDS 인사이트 리포트, “생성형 AI로 기업 경쟁력을 강화하기 위한 3가지 요소", Jan 03, 2024
[7] MIT Technology Review, “Training a single AI model can emit as much carbon as five cars in their lifetimes”, Jun 06, 2019
[8] Earth.org, “The Green Dilemma”, Jul 18, 2023
[9] Forbes, “Confirmed: Apple Caught In Siri Privacy Scandal, Let Contractors Listen To Private Voice Recordings”, Jul 30, 2019
[10] Reuters, “Amazon scraps secret AI recruiting tool that showed bias against women”, Oct 11, 2018
[11] Ernst & Young, “Artificial intelligence ESG stakes”, Oct 31, 2023
[12] 삼성SDS 인사이트리포트, “신뢰받는 제품 개발 프로세스를 만드는 책임 있는 AI(RESPONSIBLE AI)”, Aug 23, 2023
[13] PwC, “PwC's Responsible AI”

이 글이 좋으셨다면 구독&좋아요

여러분의 “구독”과 “좋아요”는
저자에게 큰 힘이 됩니다.

김영욱

SAP France의 Senior Program Manager

한국에서 컴퓨터 공학을 전공 후, 7년간 한국후지쯔에서 개발자로 근무하고, 1998년 프랑스 파리로 이주하여 Business Objects에서 개발 매니저와 프로그램 매니저를 거쳐, 현재 SAP의 클라우드 ERP 엔지니어링 그룹의 시니어 프로덕트/프로그램 매니저로 근무 중입니다. 책 <프로덕트 매니지먼트>의 저자입니다.