시스템 다이내믹스 기반 비즈니스 혁신 Case Study - ② 물류운임 예측모델 활용

시스템 다이내믹스 기반 비즈니스 혁신 Case Study

: 시장 변동요인을 고려한 물류운임 예측 - ② 예측모델 활용

지난 1편에서는 글로벌 3PL 회사가 물류운임 예측모델을 개발하게 된 배경과 과정을 말씀드렸습니다.
이어서 이번 2편에서는 물류운임 예측모델 개발 프로젝트의 결과를 분석해 보고, 시스템 다이내믹스 모델을 활용할 때 고려해야 할 사항에 대해 알아보도록 하겠습니다.

3) 예측 결과

19개 예측모델 가운데 상해-북유럽 간 해상운임 지수인 북유럽 SCFI(Shanghai Containerized Freight Index, 상해 컨테이너 운임 지수) 예측결과를 설명하겠습니다.
모델링 과정은 '학습'과 '테스트'로 나뉩니다. 본 프로젝트에서는 총 55개월 간의 과거데이터를 다루었는데, 그 중 45개월 치는 학습을 위하여 사용하고 나머지 10개월 치는 정의된 모델이 얼마나 잘 예측되는지를 테스트하는 용도로 활용했습니다. 모델의 예측력을 설명하기 위해서는 '모델 정확도'와 '예측 정확도'를 모두 살펴보아야 합니다. 모델 정확도란 정의된 모델이 학습기간 동안의 실운임을 얼마나 잘 설명하는지를 의미하고, 예측 정확도란 정의된 모델이 예측하려고 하는 구간의 물류운임을 얼마나 정확하게 맞추는지를 나타내는 것입니다. (정확도 = (예측치-실적치)/실적치)
모델 정확도를 높이기 위하여 모델을 지나치게 학습시키면 오히려 미래구간의 예측력이 저하되는 과적합(Overfitting) 문제가 발생하므로 주의 깊은 학습조건 결정이 요구됩니다.

상해-북유럽 해상 컨테이너 운임 예측결과 [그림 3] 상해-북유럽 해상 컨테이너 운임 예측결과

2014년 1월부터 2017년 9월까지 45개월 간의 데이터를 학습시켜 예측모델을 정의한 결과, 학습기간 모델 정확도는 85.1%로 나타났습니다.(과적합 시킬 경우 96%까지 정확도를 높일 수 있습니다) 이 모델을 테스트구간에 적용하여 2017년 10월~2018년 7월까지 10개월 간 예측을 수행한 결과, 90.4%의 예측정확도를 얻었으며 월간 운임 등락을 따르는 양질의 예측결과를 확인할 수 있었습니다. 참고로 적정 예측정확도 수준에 대한 명확한 기준은 없지만, 업계 전문가들은 전략요소에 따른 운임 변동이 심한 해상 컨테이너 운임지수를 80% 이상의 정확도로 예측하는 것이 매우 어려운 일로 보고 있음을 알려드립니다.

4) 인자 영향도 분석

예측정보가 합의 기반으로 활용되기 위해서는 관계자들이 인자의 영향력을 이해하고 동의하는 것이 중요합니다.
[그림 4]에서 북유럽 SCFI의 변동을 인자 간의 영향력 관점에서 해석해 보면 유가의 등락이 전반적인 운임 변동에 가장 큰 영향을 미치고 있으나, 공급과잉 시장이라는 특성 상 해운사들은 선박 운항을 중지하고 항구에 정박해두는 계선을 통해 가용화물량을 조정하거나 선박 내 화물적재 공간을 변경하는 등의 전략을 운용해 운임하락 방어에 힘쓰고 있는 것으로 해석할 수 있습니다. (영향력 그래프에서 운임 증감 영향력은 0에서 멀어질수록 커지며, +는 증가, -는 감소시키는 경향을 의미합니다)

기간별 인자 영향도 분석 [그림 4] 기간별 인자 영향도 분석

4. 활용 시나리오

많은 분석 전문가들은 기대와 달리 분석결과가 실질적 비즈니스 성과로 연결되지 못하는 경우를 경험해 왔습니다. 낮은 예측정확도와 같은 저조한 분석성능, 분석결과에 대한 설명력 부족(딥러닝의 모델의 경우, 훌륭한 분석성능에 비해 결과에 대한 설명력 한계로 인하여 제한적으로 활용되고 있습니다) 등이 원인일 수 있지만 이를 비즈니스 현장에 어떻게 적용할지에 대한 시나리오 정의가 미흡하기 때문인 경우도 많습니다.
우리는 물류운임 예측결과가 화주사와 물류사 간 운임계약에 활용될 수 있는 프로세스를 정의하여 양사 간 계약 프로세스를 혁신할 수 있도록 하였습니다.([그림 5] 참조)

먼저 예측대상인 구간별 물류운임(SCFI, CASS[5], TAC[6] 등)은 변동이 큰 단기운임임을 고려할 때, 중기 및 대물량 운임계약에 단기 예측운임을 적용하기 위해 단기시장의 운임변동을 어느 수준으로 계약에 반영할 것인지 합의토록 하였습니다. 예를 들어 변동 반영률을 30%로 가정할 경우, 예측운임이 20% 증가하면 계약 인상률은 6%가 증가하는 식으로 협의할 수 있습니다. 또한 예측정확도가 100%가 되지 않는 한, 예측 대비 실적은 차이가 날 수 밖에 없으며 당기 계약의 차이에 대한 보정을 차기 계약에 반영할 수 있는 보정률에 대한 합의기준도 마련하였습니다.

예측기반 계약운임 프로세스 [그림 5] 예측기반 계약운임 프로세스

5. 프로젝트 공헌 및 추가 고려사항

시스템 다이내믹스를 활용한 물류운임 예측을 통하여 우리는 업무에 적용 가능한 수준의 유의미한 예측정확도를 확보하고 인자 간의 관계 변화에 따른 운임변동을 설명할 수 있는 방안을 제시하였습니다. 결과적으로 화주사와 물류사 간 계약운임 협상에 필요한 합리적 근거를 마련함으로써 단기에 양사 간의 전략적 합의를 도출해 낼 수 있게 되었습니다. 이와 더불어 3PL사는 항공사나 해운사와 같은 물류실행사와의 운임계약 협상에서 유리한 전략을 수립할 수 있는 기반을 확보한 것으로 판단됩니다.(운임 상승이 예상되면 장기계약, 하락이 예상되면 단기계약이 유리할 것입니다)

다만, 운임예측 모델링에 필요한 모든 영향인자들의 예측모델도 따로 개발해야 한다는 점에서 시스템 다이내믹스 모델을 운영하는 데에는 예측대상 및 영향인자의 예측력을 유지, 개선하기 위한 많은 노력이 필요합니다. 이에 대안기법에 대한 추가연구도 진행 중에 있습니다. 통계모형(회귀모형, ARIMA), 머신러닝(Random Forest), 딥러닝(Recurrent Neural Network), 시스템 다이내믹스(System Dynamics) 모델의 예측력을 비교, 검토한 결과, 예측정확도 및 설명력의 관점에서 아직은 시스템 다이내믹스가 가장 우수한 성과를 보장할 수 있는 것으로 판단됩니다. 다만, 인자별 예측모델을 별도로 개발할 필요가 없는 딥러닝 모델의 경우(딥러닝의 예측정확도는 현재 86% 수준이며 개선 가능성이 존재합니다), 추가연구를 통해 예측정확도 및 인자영향도의 설명방안을 확보할 수 있다면 시스템 다이내믹스 기법 대비 운영 편리성 측면에서 더 나은 대안이 될 수 있을 것입니다.



References:
[5] Cargo Accounts Settlement System, IATA(International Air Transport Association)의 표준 항공 화물 운임 정산 제도
[6] 홍콩 The Air Freight Index Company가 발표하는 항공화물 운임지수



▶   해당 콘텐츠는 저작권법에 의하여 보호받는 저작물로 기고자에 저작권이 있습니다.
▶   해당 콘텐츠는 사전 동의없이 2차 가공 및 영리적인 이용을 금하고 있습니다.

에스코어
공유하기
이승근 이사
이승근 이사
에스코어(주) 컨설팅사업부 전략프로세스혁신팀

Director, Biz Science TF, S-Core


약 20년 간의 Strategic & Operation 컨설팅 경험을 바탕으로 ‘분석기반 혁신’ 모델을 개발하는 Biz Science팀을 리딩하고 있습니다. 제조, 유통, CPG 등 넓은 산업군 및 Value Chain 전반에 걸친 다양한 경험을 바탕으로 Data Scientist(머신러닝, System Dynamics, 통계)와 함께 다수의 분석 프로젝트를 진행하고 있습니다.