AI Frontiers Conference 2018 참관 후기

AI Frontiers Conference 2018 참관 후기

필자는 지난 11월 9일부터 4일간 California San Jose에서 개최된 “AI Frontiers Conference 2018”에 참석하여 AI 석학들의 Keynote Speech를 직접 듣고, 최신 Trend를 경험할 수 있었습니다. 총 40여 명의 연사들이 다양한 주제를 가지고 발표를 진행하였는데, 그 중 가장 인상 깊었던 Session을 소개해 드리고자 합니다.

ai frontiers conference 2018 이미지 Google의 AutoML

그것은 바로 Google Brain의 Research Scientist인 Quoc Le가 발표한 “Using Machine Learning to Automate Machine Learning”입니다.

일반적으로 Machine Learning 모델을 설계하는 데는 상당한 전문지식이 필요한데, Computing power를 이용하여 전문가의 도움 없이도 최적의 Machine Learning 모델 생성을 자동화하려는 시도가 바로 Google의 AutoML입니다.

Neural Architecture Search

AutoML의 동작 방식은 아래 그림과 같이 최상위 Controller가 구성 가능한 수많은 Child Network들을 모두 연산해 보고, 이 중 가장 좋은 결과를 갖는 Child Network들만 조합하여 최종 모델을 도출하는 구조입니다. 이렇게 최적의 Child Network를 찾는 과정을 “Neural Architecture Search”라고 합니다.

summary of AutoML and its progress

Neural Architecture Search가 일어나는 과정을 조금 더 자세히 살펴보면, Controller는 Child Network를 flexible하게 구성한 recurrent neural network이며, Reinforcement Learning을 적용하여 가장 좋은 Accuracy(Reward)를 도출하는 Child Network를 선택(Action)하게 됩니다.

가장 좋은 Accuracy(Reward)를 도출하는 Child Network를 선택하는 이미지

Controller는 말 그대로 전체 Network를 구성하는 Policy Network이며, Child Network가 선택될 때마다 Controller Network의 내부 Layer들 간의 Weight를 조정하게 됩니다.

Child Network가 선택될 때마다 Controller Network의 내부 Layer들 간의 Weight를 조정하는 이미지

이렇게 AutoML을 통해 자동으로 만들어진 모델이 실제 전문가들에 의해 만들어진 모델에 비해 좋은 성능을 보일 수 있을까요? 살펴보니 적어도 Image Classification 분야에서는 아래와 같이 상당히 훌륭한 결과를 보여주고 있었습니다.

최적의 Machine Learning 만들기 위한 과정

Machine Learning을 이용해 Machine Learning을 자동화하고, 전문가가 직접 고안한 모델보다 우수한 결과를 내는 걸 보니 문득 이세돌 9단이 알파고에 고개를 떨구던 장면이 떠올랐습니다. 하지만 Automated ML을 통해 전문가의 도움 없이도 최적의 Machine Learning 모델을 만들 수 있다면, 그만큼 AI 진입장벽이 낮아져 많은 사람들이 AI를 더 쉽게 활용할 수 있을 것으로 기대됩니다.

발표 자료는 아래에서 확인 가능합니다.
- 발표 자료 다운로드: https://www.slideshare.net/AIFrontiers/quoc-le-at-ai-frontiers-using-machine-learning-to-automate-machine-learning


[참고]
- Neural Architecture Search with Reinforcement Learning. Barret Zoph and Quoc V. Le. ICLR, 2017
-Learning Transferable Architectures for Large Scale Image Recognition. Barret Zoph, Vijay Vasudevan, Jonathon Shlens, Quoc V. Le. CVPR, 2018
-AutoAugment: Learning Augmentation Policies from Data. Ekin D. Cubuk, Barret Zoph, Dandelion Mane, Vijay Vasudevan, Quoc V. Le. Arxiv, 2018
-Searching for Activation Functions. Prajit Ramachandran, Barret Zoph, Quoc Le. ICLR Workshop, 2018

▶   해당 콘텐츠는 저작권법에 의하여 보호받는 저작물로 기고자에 저작권이 있습니다.
▶   해당 콘텐츠는 사전 동의없이 2차 가공 및 영리적인 이용을 금하고 있습니다.



현충헌 프로
현충헌 프로 물류서비스 전문가
삼성SDS 개발실

현충헌 프로는 삼성SDS 물류 플랫폼 Cello를 개발, 운영하고 있습니다.

구독하기

인사이트 리포트 소식을 메일로 받아보세요