위∙변조 사전 차단이란 무엇일까요?

지난 시간까지는 딥페이크(Deepfake)와 칩페이크(Cheapfake) 탐지에 대해 알아봤습니다. 이와 같은 위∙변조 검증 기술은 미디어가 변조된 이후, 즉 편집 사후 시점에 위∙변조 여부를 탐지하는 방법인데요. 학계와 관련 업계에서는 ‘향후 개발될 새로운 탐지 기술과 방법으로도 위∙변조된 미디어를 완벽히 막을 수는 없을 것’이라 말하며 우려하고 있습니다. 그렇다면 ‘미디어 위∙변조 시도 자체를 완벽하게 막을 수 있는 기술은 없을까?’ 궁금해지실 텐데요. 지금부터 미디어 위∙변조 사전 차단(이하 사전 차단, Proactive Media Forgery Prevention) 기술에 대해 알아보겠습니다.

사전 차단 원리

먼저 국제적으로 통용되는 미디어 위∙변조 사전 차단 기술에 대해 살펴볼게요. 아래 분류와 같이, 이미지 위∙변조 검증은 Active와 Passive 검증 영역으로 나뉩니다.

이 중 Passive 영역에 ‘Deepfake, Cheapfake detection’이 해당되는데요. 지금까지 Passive 영역 이미지 조작 감지에 수많은 기술이 도입되었지만, 위∙변조를 생성하는 기술이 훨씬 빠른 속도록 발전하다 보니 완벽하게 탐지하기란 쉽지 않았습니다. 반면 Active 영역은 사전 차단 관점에서 100% 위∙변조에 대한 검증이 가능하죠.

Image Forgery →Active → Digital watermarking Image Forgery →Active → Digital Signature Image Forgery → Passive → Image Splicing Image Forgery → Passive → Image Cloning Image Forgery → Passive → Image Retouching
출처 : Blind Approach for Digital Image Forgery Detection, international Journal of Computer Applications vol. 179-no.10, Jan 2018 인용
https://www.ijcaonline.org/archives/volume179/number10/28839-2018916108

Active 영역에서 어떻게 100% 탐지가 가능한지 궁금하시죠? 지금부터 JPEG Privacy & Security에서 적용한 Digital Signature에 대해 알아보겠습니다.

JPEG Privacy & Security

우리가 촬영하는 스마트폰에서 생성되는 이미지는 JPEG 국제표준에 맞게 생성되고 있습니다. 디지털 촬영 장치를 통해 생성된 이미지가 여러 플랫폼을 통해 유통이 되는데요. 이 과정에서 이미지가 위∙변조되면서 사실 왜곡 문제가 발생하고 있습니다.

JPEG 국제표준 기구에서는 생성 디지털 이미지에 대한 위∙변조 방지 방법으로 Privacy & Security 관련 표준을 제정하고 적용했습니다. JPEG Privacy & Security 분야 Digital Signature에서는 이미지 부분과 메타 데이터(1) 특정 부분에 대한 Hash 값을 추출하고, 이 값을 특정 Key로 Sign(서명) 한 값을 ‘JUMBF(JPEG Universal Metadata Box Format)’라고 하는 특정 메타 데이터 영역에 포함시킵니다.
(1)촬영 기기, 생성/촬영/저장 시각/위치 등 JPEG 파일에 포함된 정보

모든 이미지에는 원본 이미지의 Hash 값이 포함되어 있습니다. 만약 메타데이터나 이미지를 수정하게 되면 포함되어 있는 Hash 값과 다른 값이 만들어지는데요. 수정되기 전 Hash 값과 수정된 이후 Hash 값을 비교해서 다른 값이 나오면 해당 이미지가 수정되었다는 사실을 쉽게 찾을 수가 있습니다. 팀나인은 해당 기술을 국제 최초로 적용하여 위∙변조를 사전 차단하는 기술 중 하나로 활용하고 있습니다.

Signature-based method Support JPEG-1 (ISO/IEC 10918), JPEG XT(ISO/IEC 18477), and JPEG2000 (ISO/IEC 15444) Embedding module Verification module Embedding module JPEG image SOL APP1 (Exif) SOS image data EOI image data APP1 (Exif) -> Hash function -> signature 8AEFB06C 426E07A0A671A1E2 488B4858D694A730 1. Open image 2. Collect metadata for integrety checking 3. Generate signature 4. Embed signature & metadata 5. Protected image Signature P&S metadata JPEG image SOI APP1 (JUMBF BOX) SOS image data EOI Verification mudule JPEG image SOI APP1 (Exif) APP11 (JUMBF Box) SOS Image date EOI Signature P&S Metadata Image data APP1 (Exif) Hash function -> 8AEFB06C 426E07A0A671A1E2 488B4858D694A730 1. Open protected image 2. Read signature & metadata 3. Generate signature 4. Compare both signature 5. Verify Signature <-> signature compare
출처 : 권오진 교수, JPEG Privacy & Security 관련 자료, 세종대학교

MpF(Multi-point Focus)

MpF(Multi-point Focus)란 팀나인이 자체 구현한 입체/평면 구분 기술 중 하나입니다. 먼저 입체 이미지를 가로와 세로로 임의 분할합니다. 이렇게 분할된 구역 중 특정 영역 하나에 카메라 포커스를 맞추면 가까운 부분과 먼 부분의 사진 선명도가 달라지게 됩니다. 다른 영역으로 카메라 포커스를 보내면 원근에 의해서 사진 선명도가 또다시 달라지게 되는데요. 이렇게 카메라 포커스에 따른 원근으로 사진 선명도가 달라진다는 점에서 아이디어를 얻었습니다. 입체 사진과 평면 사진을 여러 장 촬영하여 그 결과물을 AI로 학습을 시켰고, 입체, 평면 사진을 촬영해서 각각 판별을 해보니 이 피사체가 평면인지 입체인지를 구분할 수 있게 되었습니다.

3D(입체) 1 2 3 4 5 6 7 8 9 2D(평면) 1 2 3 4 5 6 7 8 9 1 2 3 4 5 6 7 8 9 1 2 3 4 5 6 7 8 9 1 2 3 4 5 6 7 8 9
Samsung SDS, ‘이미지 촬영 및 판독 방법, 이를 위한 장치’, 국내/해외 특허 출원서 인용 (2020.4)
중앙 초점 사진 주변 초점 사진
Samsung SDS, DoFNet: Depth of Field Difference Learning for Detecting Image Forgery, ACCV 2020 인용
출처: https://bit.ly/3Qk9R25

ToF(Time of Flight)

ToF는 약자로 단말기에 포함되어 있는 LiDAR(Light Detection And Ranging) 센서의 하나인데요. 카메라에서 방출된 신호가 측정 범위 내 피사체까지 도달한 뒤 반사되어 되돌아오는 시간을 측정하는 기술입니다. 팀나인은 입체 피사체와 평면 피사체의 ToF가 다르다는 가정을 해봤습니다. 입체 피사체는 표면 굴곡에 따라 각 지점에서 되돌아오는 시간에 차이가 있고, 평면 피사체는 촬영되는 표면으로부터 돌아오는 신호의 시간에 큰 차이가 없을 거라는 가정이죠.

ToF (Time of Flight) - LIDAR 센서의 한 종류 (Light Detection And Ranging) - 카메라에서 방출된 신호가 측정 범위 내 피사체까지 도달한 뒤 반사되어 되돌아오는 시간을 측정하는 기술 카메라 <-> 피사체간 거리의 정밀 계산시 사용
Samsung SDS, 팀나인 Show Case 자료 (2020.4)

팀나인은 이렇게 측정한 자료를 바탕으로 촬영 사진이 평면인지 입체인지 판별하는 기술을 확보했습니다.

실제 컵 촬영 사진의 2D/3D 여부 분석 2020-04-01-05-08-991.jpg 2020-04-01-16-05-51-083.jpg

Artifact 탐지

실물 또는 종이, 모니터 등을 촬영했을 경우 특정 패턴으로 모아레 현상이 사진에 나타나죠. Artifact는 이런 특징을 분석하고 학습하여 촬영된 사진이 실물을 촬영한 피사체인지, 위∙변조를 한 종이 또는 모니터에 출력된 피사체를 촬영한 것인지 분석하는 기술입니다. (자세한 내용은 Cheapfake(Shallowfake)란 무엇일까요?를 참고하시기 바랍니다.)

Real 아기등록증 강기빈 060422-3462345 위 아이는 강성욱 님의 아이로 언제나 건강하고 행복하게 성장할 것을 인증합니다. 2006.08.05 행복한 기빈이네 집 행복아기 Print 아기등록증 강기빈 060422-3462345 위 아이는 강성욱 님의 아이로 언제나 건강하고 행복하게 성장할 것을 인증합니다. 2006.08.05 행복한 기빈이네 집 행복아기 Screen 아기등록증 강기빈 060422-3462345 위 아이는 강성욱 님의 아이로 언제나 건강하고 행복하게 성장할 것을 인증합니다. 2006.08.05 행복한 기빈이네 집 행복아기
삼성SDS, 팀나인 내부 테스트 자료 (2021.4)

Adobe CAI

Adobe는 Photoshop을 통해 이미지 편집 프로그램의 사실상 표준을 제시합니다. 콘텐츠 진위 이니셔티브인 CAI(Content Authenticity Initiative)를 구성하고 사진과 비디오 등 모든 유형의 디지털 콘텐츠를 검증하고 있습니다. 특히 검증 가능한 신뢰 계층을 추가하는 오픈 소스 개발, 업체 간 협업과 운영을 통해 디지털 콘텐츠 출처를 확인할 수 있는 안전한 시스템 체계(C2PA: https://c2pa.org/)를 리드하고 있기도 해요.

CAI를 적용한 이미지는 촬영부터 편집, 게시 또는 소셜 미디어 공유에 이르기까지 전 과정을 자세히 알아볼 수 있는데요. 아래 이미지 오른쪽 상단에 있는 ⓘ 아이콘을 클릭해서 촬영, 편집, 게시 등의 정보를 확인합니다.

Verity Beta Upload Image FAQ Learn more SNL_20201115_100701_M.jpg Content credentials ? These assets are in chronological order, starting with the latest version. Select one to explore itsd own content credentials. i FILE NAME SNL_20201115_100701_M.jpg i FILE NAME IMG_20201115_100701.jpg Compare credentials Contenet producer ? PRODUCED BY Sara Lewkowicz PRODUCED WITH Ps Photoshop PRODUCED ON 11/17/2020, 12:29 AM Edits and activity ? Color and adjustments Changes in color or tone Effects and styles Changes to a layer's appearance, like filters or layer styles Resizing and moving Changes to size, orientation, direction, or position Providers ? PRODUCER IDENTIFIED BY Adobe SIGNED BY Adobe Copyright c 2021 Adobe. All rights reserved. Privacy Terms of use Contact us
Adobe CAI, How it works 2020 (https://contentauthenticity.org/how-it-works)
참고 영상 : https://www.youtube.com/watch?v=Xd6vtHMlse4

Adobe CAI에는 대표 IT 기업 Microsoft, Twitter를 비롯해 ARM, Nikon 등의 제조사, 그리고 BBC 등 언론사까지 다수 참여하고 있습니다. 디지털카메라 센서에서 생성되는 콘텐츠 이력을 관리하고 클라우드에서 이 부분을 조회할 수 있다 보니 이 단체의 영향력은 점점 커질 것으로 예상되는데요. 팀나인에서도 이를 향후 솔루션 버전에 포함되어야 할지 검토하고 있습니다.

팀나인이 개발한 미디어 위∙변조 사전 차단 플랫폼

위∙변조 사전 차단을 위해 팀나인의 단말기 전용 애플리케이션으로 사진을 촬영하면 바로 서버로 전송됩니다.

CYNETHIC Gallery @2021 SAMSUNGSDS rightsd reserved Cyethic 앱 실행 Camera Hi, Kwansik Yoon. Welcome Take a picture and upload it. Camera Gallery Picture Camera 탭 선택 사진촬영
Gallery Hi, Kwansik Yoon. Welcome Upload a picture from the gallery. Camera Gallery Picture Gallery 탭 선택 Download 업로드 사진 선택 Picture Picture Picture Picture Picture Picture Camera Gallery Picture Picture 탭에서 업로드 사진 리스트 확인

이렇게 전용 애플리케이션으로 실시간 촬영한 사진은 서버 전송 > 블록체인 연계 > 저장 순서를 거치는데요. 실시간 분석을 통해 위∙변조 되지 않은 원본임을 증명하고, 분석 결과를 PDF 리포트 파일로 조회할 수 있습니다.

CYETHIC contact Us sign up Login to Recharge Direct If you don't have an account You can Sign Up here! ID adam75 Password ....... Login Remeber me Forgot you Password? Request a reset link. English CYETHIC Home Task request Task in progress Task complete Hello, Kwansik Yoon Have a nice day at work! Recent Closed Tickerts Fail Warning Close table Ticket No Recipient Agent Last Updated 10998 navermi... minki hong 2021/05/222221/13:35 10123 창현 박 JaeHyeon Lee 2021/04/21 13:53 10096 박창현님 changhyun... 2021/04/16 13:25 Verification Analytics May 2021 close 61 Review 84 PASS WARNING FAIL N/A Closed Verification Chart Weekly PASS 33% WARNING 33% FAIL 33% Review Verificationn Chart Weekly PASS 17% WARNING 83% FAIL 0% Submit Timeline Today SF Ticket No 11043 재 Ticket No 11019 재 Ticket No11018 KY Ticket No11017 NT Ticket No 11042 Yesterday KY Ticket No 11031 IT Ticket No 11034 재 Ticket No 11035 재 Ticket No 11036 IS Ticket No 11037 재 Ticket No 11038 IE Ticket No 11033
CYETHIC Home Task request Task in progress Task complete Task request *Requied Infotmation Field REQUEST Request Mode* Select request mode Email Mobile Kakao Talk Talk Email teamnine@samsung.com First Name * First Name Last Name * Last Name Message Take your picture! Please download and run the CYETHIC app from the link below. You may refer to the guide while using the app. 171/500 Close Send Task in progress Total 537 Create 1 Open 1 Upload 13 Review 522 Ticket No Please enter a search term Verification Pass Warning Fail N/A Last Updated Today 1Week 1Month Reset Search Total 537 Status change *You cannot change the status in the Total tab. Status change Ticket No verification Recipient Agent Last Updated Upload Upload Review Review Upload Upload Review 11043 11042 11041 11040 11039 11038 11037 WARNING WARNING WARNING PASS WARNING PASS WARNING sds fifteen Note Ten test yj android two sds fourteen 재현 이 ios sds_thirsty chun seungbum changhyun park chun seungbum chun seungbum JaeHyeon Lee chun seungbum 2021/05/27 10:36 2021/05/27 08:07 2021/05/26 16:03 2021/05/26 15:38 2021/05/26 22:16 2021/05/26 14:37 2021/05/26 14:52
Ticket Result PDF Download Ticket Close Real time 2 update 3 Ticket No 11031 Agent kwansik yoon Recipient kwansik yoon Original view Q Location Verification 부천고등학교 현대아파트 대한아파트 송내근린공원 가은병원 월궁빌라 샛별우치 부천공업고등학교 송내대우아파트 경기 부천시 Scattered Clouds 17 Image Data MpF Verification result WARNING Edit Image Detection WARNING ToF Verification result PASS Artifact Verification result PASS Data transmission section encryption PASS Timestamp verification PASS Weather Verification result PASS Metadata & Sensot Information Device time 2021.05.25 13:22:33 Transfer time 2021.05.25 13:22:34 Verification time 2021.05.25 13:43:26 Geo 37.478578, 126.767269 Device Mfg/.Model SAMAUNG / SM-G977N Search similar Image CYETHIC Media Analysis Report VERIFIED by CYETHIC Thu May 27 2021 Header Full name Kwansik Yoon Device Informatiom N/A Media Summary Obtained between 2021-05-13-2021-05-13 Number of Media 1 Analysis Result Pass1 / Warning 0 /Fail 0 Pass : Meta data and its information from the media matches to the server and found no evidenve of forgery Warning : Some of the information from are not found or seem as if were manipulated with high probabilities Fail : Some if the Information failed in analyzing the authenticity 1 of 5 Media Analysis #1 DeepFake Verification PASS Artifact Verification PASS Data Transfer Verification PASS Time Stamp Verification PASS Location Verification PASS Edit Image Verification N/A Block chain Verification N/A File Name : 20210501_091211.jpg SHA-256 Hash 16e94739208f5670c667c88981b2c05a8a9c691124ccb3a5aec113031e584943 Description N/A Metadata Server Time 2021-05-13 10:37:03 Device Time 2021-05-13 10:37:02 Verification Time 2021-05-13 10:39:19 Device Information N/A Device Intengrity Checks Rooted /Jailbroken N/A Malware Detection N/A Data Transfer Verification The media has been uploaded via the secure channel Detected Location & Weather Verification 서울 종로구 보암동 산 2-3 N/A (No information included in the image) Time & Data Verification Device Time matched the Server/Location Time Detected Written to Blockchain The media has been written to Blockchain N/A Image Analysis Time of Flight Detection N/A Multi-point Focus Detection N/A Photoshop Manipulation Detection N/A Deepfake Detection Detected

여전히 인터넷에는 사진·영상의 원본 또는 사본이 돌아다니고 있고, 그것의 위∙변조 미디어 데이터까지 유통되면서 개인이 피해를 입고 있는데요. 팀나인의 사전 차단 기술은 이러한 미디어 파일의 위∙변조를 사전 차단하고 원본 여부를 증명함으로써 사실 왜곡을 막고자 개발되었습니다.

다음 시간에는 Deepfake와 Cheapfake 사전 차단 사례와 관련 사업 분야에 대해 알아보겠습니다.

*본 연재 내용은 작성일 기준 공개된 객관적 연구 결과와 사실에 근거하여 작성되었지만, 회사의 방향과 다를 수 있음을 알려 드립니다.

+ AI를 활용한 멀티미디어 위변조에 대응하는 삼성SDS 사내벤처 팀나인
+ 누가 진짜일까? 딥페이크 생성과 탐지
+ Cheapfake(Shallowfake)란 무엇일까요?


삼성SDS 소셜크리에이터 팀나인 윤관식 프로

이 글이 좋으셨다면 구독&좋아요

여러분의 “구독”과 “좋아요”는
저자에게 큰 힘이 됩니다.

subscribe