본격적인 생성형 AI 시대를 대비하는 AI 팀 운영 전략

2024-03-25 Lucas Mearian

이 글은 IDG의 아티클을 전재하여 제공합니다.
[원문보기] : https://www.ciokorea.com/news/321969#csidx10431de40c1a69c930cc22a1d02c9ba

생성형 인공지능(AI) 분야에서 뒤처질 것을 우려한 기업 다수가 지난 1년여 동안 이 기술의 도입과 활용에 뛰어들었습니다. 이제 직원용 생성형 AI 도구를 도입한 비즈니스 리더의 비율이 3분의 2를 넘었을 정도입니다. 그러나 지난 해 10월 해리스(Harris) 설문조사에 따르면, 대규모 언어모델과 생성형 AI 도구에 대한 직원 지식 수준과 교육 문제가 실제적인 구현을 가로막는 장벽으로 작용하고 있다고 합니다. 생성형 AI가 광범위하게 도입되고 있으나, 효과적으로 사용되지 않고 있으며 투자 수익(ROI)을 거두기는 더욱 힘든 것으로 나타났습니다.

기술 컨설팅업체 인사이트 엔터프라이즈(Insight Enterprises) 최고데이터책임자 캄 태그리엔티는 72%의 기업이 AI 개념에 대한 직원 교육을 실시했음에도 불구하고, 직원 지식 수준이 여전히 걸림돌이라고 조사 결과를 발표했습니다. 이는 많은 사람들이 교육은 받았으나 제대로 배운 것이 없었다는 의미로 볼 수 있습니다. 글로벌 콘텐츠 및 기술회사 톰슨 로이터(Thomson Reuters)의 새로운 설문조사에서는 응답자 중 거의 90%가 향후 5년 내 기본 AI 교육이 의무화될 것으로 예상하는 결과가 나왔습니다. IDC의 릭 빌라스 부사장은 기업이 인프라와 서비스, 소프트웨어 플랫폼을 확장하는 등 생성형 AI를 포함한 AI 관련 예산을 ‘반복적으로’ 늘리고 있는 현실을 확인했다고 밝혔습니다. 그러나, 이들 기업이 같은 수준으로 늘리지 않는 부분이 있습니다. 바로 내부 팀의 교육 및 역량 향상에 대한 투자입니다. 주로 IT 팀과 주제 전문가들을 대상으로만 실시하고 있습니다. 직원을 대상으로 더 나은 AI 행동 및 관행에 대한 교육만 실시하곤 합니다. 세계경제포럼(WEF) 설문조사에 의하면, 직원을 대상으로 한 AI 및 빅데이터(방대한 분량의 정형 정보와 비정형 정보) 활용 교육은 향후 5년 회사 기술 교육 우선순위 중 3위를 차지하고 있으며, 향후 42%의 회사들에 우선시될 전망이라고 합니다.

이러한 모든 현실을 감안할 때 기업은 어떤 직원이 AI 구현 팀의 일원이 되어야 하는지, AI의 잠재적인 장점을 모두 실현하려면 얼마나 많은(그리고 어떤 종류의) 교육이 필요한지 등의 문제를 해결해야 합니다.

누구를 AI 팀에 배치해야 할까요?

AI 팀 구성은 계속 발전하는 과정의 문제여야 합니다. 생성형 AI 자체가 빠르게 발전해 나가는 현실과 마찬가지입니다. IT 교육회사 스킬러블(Skillable) 창립자 겸 회장 코리 하인즈는 조직이 AI로 하고자 하는 것을 파악하는 것이 매우 중요하고, 혁신에 대한 열망과 헌신, 그리고 전략이 있어야 한다고 강조합니다. 적절한 투자와 생각 없이 AI 활동에 나서면 안 됩니다. 일단 목적과 목표를 파악한 후에 맞는 팀을 구성해야 합니다.

AI 팀으로서 주요 역할의 예는 다음과 같은 것들이 있습니다.

복잡한 데이터 집합을 단순화하여 다룰 수 있고, 모델 구축 과정에서 유용한 정보를 제공하는 인사이트를 갖춘 데이터 과학자

머신러닝 모델 설계 및 시스템 내 통합과 실행을 관장하는 AI 소프트웨어 엔지니어

AI 프로젝트 구현 시 일관성 있는 실행을 위해 지시를 내리고 이끌어 줄 AI 임원 또는 리더

규정 준수, 데이터 투명성, AI 모델 및 알고리즘에 수반되는 내부적인 취약성(예: 적대적인 공격, 모델 편향, 데이터 중독)과 같은 특유의 까다로운 업무를 처리할 AI 보안 담당 임원

생성형AI 도구에서 가능한 최상의 답변을 얻을 목적으로 대규모 언어 모델(LLM)에서 텍스트 질의 또는 지침(프롬프트)을 작성하고 개선할 수 있는 프롬프트 엔지니어

조직의 법규 준수를 위해 IT 팀을 자문할 법률 고문

딥러닝 알고리즘(신경망)인 LLM의 대표적 특징은 방대한 정보입니다. LLM은 수백만 개, 수십억 개, 많게는 수조 개의 파라미터(변수)를 가질 수 있으며 본질적인 역할은 다음에 나올 단어를 생성하는 것입니다. LLM이 주어진 질의에 적합한 응답을 선택하도록 훈련시키는 것이 프롬프트 엔지니어의 업무입니다. (프롬프트 엔지니어링은 유독 빠르게 성장하는 직업 기술 중 하나입니다)

컬럼비아대학교 AI 교수 겸 AI 컨설팅회사 퓨즈머신즈(Fusemachines) CIO 사미어 매스키는 본인이 원하는 결과를 기계가 출력하게끔 기계와 상호작용하는 과정이라고 생각하면 된다고 설명합니다.

오픈AI의 GPT-4, 구글의 람다(LaMDA) 허깅 페이스(Hugging Face)의 바트(Bart) 같은 LLM에는 방대한 양의 사전 정보가 미리 채워져 있습니다. 그러나 프롬프트 엔지니어링을 적용하면 특정 업계나 심지어 조직의 용도에 생성형 AI 도구를 커스터마이징할 수 있습니다. 이로 인해 시간이 지나면 GPT-4 같은 방대한 무정형 LLM은 상대적으로 컴퓨팅 집약도가 낮고 각 분야에 특화된 소형 모델로 대체될 가능성이 제기됩니다. 업계별 고유의 니즈에 대응하는 소형 LLM이 호응을 얻을 전망입니다.

한편 보안 문제는 여전히 비즈니스 리더들이 생성형 AI에서 가장 우려하는 부분입니다. 앞서 소개한 해리스 설문조사에서 38%가 보안 문제를 가장 큰 장벽으로 꼽았습니다. 구현 비용을 소속 조직의 장애물로 생각하는 응답자 비율의 두 배가 넘는 수치입니다. 실제로 블루쉴드 오브 캘리포니아(Blue Shield of California)의 인프라 및 클라우드 조직은 생성형 AI를 실험하기 전에 먼저 AI 거버넌스 팀을 조성했습니다. IT, 법무, HR 그룹의 일원들로 구성된 AI 거버넌스 팀은 현재 AI가 가동될 때 해를 끼치지 않게 하는 체계 및 보호 장치를 개발 중입니다. 회사의 담당 VP 마이크 피터슨에 따르면, 블루쉴드는 직원 업스킬링을 실시 중입니다. 대부분 직원 스스로 진행 속도를 정하는 학습을 통해 이루어집니다. 대체로 IT 인력은 대형 프로젝트에 투입하는데, 기억과 습득의 70% 내지 80%가 실습을 통해 일어납니다. 스킬러블 최고 마케팅 책임자 사라 단즐도 이에 동의하며, 실무 교육이 전무하다시피 한 상태로 직원들에게 생성형 AI를 사용하게 하는 것은 마치 사용 설명서만 읽은 사람에게 비행기 조종을 시키는 것이나 마찬가지라고 합니다. 실무 교육이 기술 숙달을 촉진하며, 경쟁력 있는 새로운 기술을 익히는 것은 IT 전문가들에게 가장 중요한 미래 대비책이자 미래에 대비하고자 하는 회사들이 나아갈 길이기도 합니다.

생성형 AI 팀 구성 방법

디지털 엔지니어링 서비스 제공업체 알티메트릭(Altimetrik)의 머신러닝, AI, 시각화 부서장 자야프라카쉬 나이르에 따르면, 생성형 AI 팀 구성에는 총체적인 접근 방식이 필요합니다. 실패의 위험을 줄이려면 조직은 먼저 양질의 데이터를 위한 기초를 확립한 후 ‘단일 정보 출처 전략’을 수립하고 비즈니스 목표를 규정해야 합니다. 데이터 과학자, 머신러닝 엔지니어, 데이터 엔지니어, 분야 전문가, 프로젝트 관리자 및 윤리 전문가/법률 자문가 등 다양한 역할이 포함된 팀을 구성하는 것이 매우 중요합니다. 각 역할 담당자는 고유의 전문지식과 관점으로 팀에 기여하는데, 이는 효과적이고 책임 있는 구현에 필수입니다. 경영진은 이들 역할 간의 협력을 육성하고 각 직능이 비즈니스 목표와 일치하도록 지원하며, 윤리 및 법률 지침을 반영하여 프로젝트가 업계 지침 및 규정을 준수하도록 노력해야 합니다. 예를 들어, 데이터 과학자는 인사이트 추출 및 트렌드 예측을 수행할 AI 모델을 개발합니다. 머신러닝 엔지니어는 데이터 과학자가 개발한 AI 모델을 생산적으로 활용할 수 있도록 알고리즘 최적화 및 배포에 중점을 두고 확장합니다. 데이터 엔지니어는 AI 운영에 모두 필요한 효율적이고 안전한 데이터 수집, 보관 및 접근이 가능한 인프라 및 파이프라인을 구축하고 유지합니다. 분야 전문가는 개발 및 솔루션 지도에 필요한 업계별 지식을 제공합니다. 프로젝트 관리자는 다양한 역할 간의 조율 및 감독을 수행합니다. 자원과 일정을 관리하고 프로젝트가 자체의 목표와 비즈니스 목표를 달성하도록 조치합니다. 한편, 법률 자문가는 프로젝트가 관련 법규를 준수하도록 조치합니다.

신흥 기술을 갖춘 IT 직원도 중요합니다. 스킬러블의 최신 설문조사에 따르면, 이들은 CIO 및 CTO의 목표를 뒷받침하는 데 필수적인 존재로 평가되고 있습니다. 특히 IT 운영을 위한 AI(AIOps) 역량이 상위 5위 안에 들었습니다. AI 팀원에게 필수적인 신기술과 지식 분야 상위 3위는 다음과 같습니다

AI 신뢰, 위험, 보안 관리(AI TRiSM)

복합 AI(최상의 결과를 달성하기 위한 다양한 AI 기법의 조합)

생성형 AI

가트너에 따르면, AI TRiSM은 조직들이 생성형 AI로 인해 제기된 난제를 헤쳐 나갈 근간으로 부상했습니다. 현재의 직원들에게 모범 사례에 대한 효과적인 업스킬링을 하지 못한다는 것은 생성형 AI 구현에 뒤처짐을 의미합니다. 따라서 당연하게도 회사들은 이제 AI 기술을 갖춘 사람들의 채용을 추진하고 있으며 AI 기술을 보유한 구직자들 또한 관련 역량을 강조하고 있습니다. 옥스퍼드대학교 인터넷 연구소의 최근 조사 결과, AI 분야에 기술을 갖춘 직원들은 그렇지 못한 동료 직원보다 40%나 높은 급여를 받을 수 있으며 AI 기술을 다양한 다른 기술과 결합하는 것이 조직에게 특히 가치 있는 것으로 나타났습니다. 구인 사이트 업워크(Upwork)는 지난 가을, 일자리를 수락하는 구직자가 갖춘 기술과 생성형AI 프로젝트 추진 회사들의 검색 및 채용 행태를 조사한 결과를 공개했습니다. 채용 담당자의 약 절반 정도가 독립 인재 채용을 늘릴 계획이며 49%는 상근 직원 채용을 늘릴 계획인 것으로 나타났습니다.

신기술 배우기를 좋아하고, 뛰어난 비즈니스 감각이 있으며, 기술이 어떻게 회사에게 도움이 될 수 있는지 이해하는 사람을 찾는 것 역시 중요합니다. 인사이트 엔터프라이즈의 태그리엔티는 회사 직원 중 10% 내지 20%는 프롬프트 엔지니어링을 반드시 배워야 한다고 강조합니다. 그 밖의 직원은 AI 콘텐츠 생성 기술과 마이크로소프트 코파일럿(Microsoft Copilot)이나 아마존의 코드위스퍼러(CodeWisperer) 같은 코딩 비서의 사용 방법을 알아야 합니다. AI와 상호작용할 때엔 지식이 많이 없어도 사용 가능합니다. 이 기술이 민주화되면서 직원들에게 파이썬(Python), 인프라, 클라우드 기술을 가르쳐야 할 이유가 희박해지고 있습니다. 회사에 도움이 될 수 있는 아이디어를 실험하거나 실행하기 위한 기본 사항을 새로 적응시키고 교육하는 과정(온보딩)을 비교적 간단하게 만들 필요가 있습니다.

현 사용자 온보딩

현업 분야에서는 어떤 신기술이든 비즈니스에 분명한 장점이 있으면 직원들에게 그 기술을 배우게 할 이유가 있습니다. 건강 데이터 플랫폼 판매업체 아카디아 CTO 닉 스테프로는 생성형AI로 생산성이 급증할 쪽은 기술 사용자보다 오히려 비즈니스 사용자라고 합니다. 앞으로 4~5년 후에 중간급 소프트웨어 엔지니어가 어떤 모습일지 모르지만, 비즈니스 사용자의 경우 이제 예전에는 없던 자연스러운 대화 방식으로 막대한 힘을 활용할 수 있습니다. 생성형 AI와 빅데이터의 힘이 의료 업계를 비롯한 여러 업계의 양상을 크게 바꿔 놓을 것입니다. LLM이 출력한 내용에 가치가 있으려면 LLM에게 무슨 데이터를 입력해야 하는지 이해할 사람은 바로 비즈니스 사용자입니다. 비정형 데이터와 함께 수집된 다량의 정형 데이터를 적절한 메타데이터 태깅으로 활용할 수 있습니다. LLM은 앵무새처럼 입력 받은 내용에 반응합니다. 쓰레기를 잔뜩 입력하면 쓰레기가 잔뜩 출력됩니다.

비즈니스 환경 내 생성형 AI 용도는 무수히 많습니다. 예를 들면, 마케터들은 생성형 AI를 광고물 제작에 사용할 수 있습니다. 내과 의사들은 생성형 AI를 사용하여 환자 기록을 열람하고 환자의 병력은 물론 추천 치료법까지 요약된 내용을 받아볼 수 있습니다. 또한, 비즈니스 사용자는 오늘날 로우코드 및 노코드 도구가 지원하는 방식과 비슷하게, AI 증강 소프트웨어 개발을 활용하여 애플리케이션 제작자가 될 수도 있습니다. AI나 고전적인 머신러닝에 비해 생성형 AI는 사용하기 쉽습니다. 따라서 장벽이 상당히 낮습니다. 교육을 많이 받지 않고도 당장 AI 사용을 시작할 수 있습니다. 우리 세계에서 어려운 부분은 비즈니스 현장에서의 운용입니다. 사람들에게 챗봇을 제공할 수는 있지만 생산에 활용할 수준의 일관성을 얻으려면 과정을 통제해야 합니다. 그리고 사용 행태를 모니터링해야 합니다. 비즈니스 쪽에서 생성형 AI를 마케팅 활동 기획이나 매출 자료 추출에 사용한다고 가정할 때, 사용자는 자신이 기대하는 종류의 응답을 생성형 AI 도구가 제공하고 있는지, 어떻게 확신할 수 있는지 의문을 제기해야 합니다. 일관성과 모델의 성능을 어떻게 측정해야 할까요? 우리는 고객과 연계하여 고객이 사용법과 운영 성능을 이해하도록 돕고 있습니다. 이는 다른 모든 IT 배포와 마찬가지로 조직들이 살펴봐야 하는 부분입니다.