사진의 가치를 새롭게 만들어 주는 인공지능

개인적으로 가장 피부로 와 닿는 인공지능 기술을 하나 꼽으라고 하면 ‘사진’을 들 수 있습니다. 사진에 무슨 인공지능 기술이 있다는 걸까요? 멀리 볼 것도 없습니다. 운영체제를 가리지 말고 지금 쓰는 스마트폰에서 ‘사진’, 혹은 ‘포토’라고 쓰인 앱을 실행하고 ‘검색’ 버튼을 눌러 ‘음식’이나 ‘자동차’같은 단어를 검색해 보세요. 아마도 원하는 사진들이 꽤 정확하게 골라져서 나올 겁니다.

 

어떻게 보면 신기하고, 어떻게 보면 별 것 아닌 것 같은 기술이지만 이는 사진의 경험을 풍성하게 만들어 주는 계기가 됩니다. 사진의 검색창은 개와 고양이를 구분하는 것은 물론이고, 사람의 얼굴도 알아보기 시작했습니다. 수많은 사진 중에서 내가 나온 것들, 내 친구가 나온 사진들을 골라내고 따로 구분해서 볼 수 있는 것이지요.

​

이는 머신러닝 기술이 등장하면서 가능해진 일입니다. 먼저 시작한 것은 구글입니다. 구글은 지난 2015년 무제한으로 사진을 보관해주는 ‘구글 포토’ 서비스를 발표합니다. 이게 지금 안드로이드 스마트폰의 기본 사진앱인 ‘포토’인데, 당시에는 용량에 제한 없이 무제한으로 데이터를 담아준다는 점이 화제가 됐지요. 하지만 사실 이 안에는 사진을 맥락을 읽어주는 머신러닝 기술이 처음 대중적으로 도입된 것에 더 큰 의미가 있습니다.

 

구글은 약 15개의 뉴럴 엔진을 통해 점, 선, 면, 색깔, 음영 등을 뽑아낸 뒤에, 이 데이터 값을 해석해서 사진 속에 담긴 내용들을 읽어냅니다. 그리고는 그 해석된 내용들에 우리는 보이지 않는 해시 태그를 붙여 둡니다. 그 뒤로는 앞에서 이야기한 것처럼 간단하게 텍스트 검색어를 입력하면 이를 기반으로 해당 사진들을 골라내는 것이지요.

​

애플도 2016년 iOS10과 함께 사진 서비스에 인공지능 기술을 더했습니다. 구글과 마찬가지로 이미지를 머신러닝 모델로 분석해서 사물을 판단하고 사람 얼굴을 구분하기 시작했습니다. 애플의 사진 앱은 초기에는 구글보다 정확도가 높지 않다는 평을 받기도 했는데 이는 분석 방식의 차이 때문입니다.

 

구글은 구글 포토 이전부터 웹에 있는 수많은 정보들을 통해 ‘이미지 검색’이라는 이름으로 검색 서비스를 운영해 왔지요. 이미 사진에 대한 정보들을 파악할 수 있도록 머신러닝 기반의 분석 기술과 꽤 많이 학습된 머신러닝 모델도 갖춰진 것입니다. 구글은 이를 바탕으로 서비스에 업로드된 이미지를 강력한 클라우드로 분석합니다.

​

반면 애플은 다른 방식으로 접근합니다. 초기의 데이터는 부족했지만 무작정 많은 데이터를 수집하고 분석하기 보다 조금 더 안전하길 바란 것이지요. 특히 사진을 해석하는 과정은 애플의 아이클라우드에 사진을 전송하지 않아도 기기 안에서 이뤄집니다. 기기를 쓰지 않고 충전기에 꽂혀 있는 동안 CPU와 뉴럴 엔진이 사진첩을 정리하고, 이름표를 붙이는 방식입니다.

​

이는 개인정보에 대한 논란이 커질 때마다 두 회사가 비교되는 부분이기도 합니다. 더 나은 성능이냐, 안전한 개인 정보 관리냐를 판단해 볼 수 있는 기회인 셈이었지요. 그리고 그 걱정과 지적들을 바탕으로 두 서비스는 약점을 해소해 가고 있습니다. 구글은 개개인이 올린 사진의 내용을 따로 열어보는 일은 절대 없다고 강조합니다. 또한 이용자들이 구글 포토에 올린 이미지는 데이터 학습에 절대로 활용하지 않는다고 밝히기도 했습니다. 애플 역시 데이터 학습의 정밀도를 높이고 업데이트 때마다 더 나은 학습 모델을 기기에 심어서 검색의 정확도를 높였습니다.

​

최근에는 사진 속의 텍스트도 검색해 내는 수준이 됐습니다. 책의 한 면이나, 벽에 걸린 광고 포스터, 서류에 담긴 내용도 검색창에 입력하면 됩니다. 머신러닝 모델이 사진 속의 글자를 이미지에서 진짜 글자로 읽어낼 수 있게 됐기 때문입니다. 똑바로 찍은 것이 아니라 비스듬히 찍은 사진도 읽어냅니다. 심지어 그 속의 맥락을 읽어서 전화번호와 주소 등은 앱으로 연결해서 전화를 걸고 지도에 위치를 찍어주기도 하고, 구글 포토의 경우는 포스터의 내용으로 특정 공연의 예약 페이지로 연결해주기도 합니다.

 

이게 모두 사진 속의 맥락을 읽을 수 있게 되면서 생긴 일이지요. 더 재미있는 것은 사진 속의 내용을 바탕으로 인공지능 기술들이 사진의 가치를 다시 만들어줍니다. 애플의 사진 앱에는 For you라는 메뉴가 있는데 그 안에는 이전에 있었던 일들의 사진들을 비슷한 맥락으로 묶어서 보여줍니다 적절한 음악도 더하고 사진에 효과도 그럴싸하게 입혀줍니다. 사진을 다시 보는 재미를 만들어주는 것이지요. 여기에는 애플 뮤직의 인공지능 기술도 함께 하는데, 내가 좋아할 만한 음악들 중에서 사진과 잘 어울리는 배경 음악을 뽑아 오는 겁니다.

​

구글 포토도 여러가지 주제의 추억들을 묶어서 보여줍니다. 예를 들어 3년 전, 5년 전, 10년 전 오늘 무슨 일이 있었는지 사진첩으로 묶어주는 것이죠. 또한 사진에서 사람만 똑 떼어서 확대 효과를 내어 준다거나, 분위기에 맞게 색을 보정해주기도 합니다. 결국 사진의 가치는 찍는 순간이 아니라 지나고 나서 어떻게 활용하느냐에 달려 있는데, 이 서비스들은 점점 서비스를 확대해 가면서 잊혀진 사진들에서 다시 빛이 나도록 만들어줍니다.

 

이 사진 분석 기술의 진화는 범죄 예방으로도 영향을 끼칩니다. 애플은 최근 iOS15에 대해 아동 성범죄로 추정되는 콘텐츠에 대한 분석을 하겠다고 밝혔습니다. 그러니까 아이폰 속에 아동들의 성학대가 담긴 영상이 담겨 있다고 판단되면 수사 기관에 의뢰하고, 유포를 막는 등 꽤 적극적인 대응을 하겠다는 겁니다.

​

이는 곧바로 개인정보 논란으로 이어졌습니다. ‘아무리 범죄를 찾는다지만 애플이 내 사진첩을 들여다 본다고?’라는 생각이 먼저 드는 것이지요. 애플은 개인정보 보호를 가장 우선에 둔다고 이야기 해 왔는데 전혀 정반대의 정책인 셈입니다.

​

사실 이 분석은 앞서 이야기한 이미지 분석과는 전혀 다른 방법으로 이뤄집니다. 기본 머신러닝 모델은 아동보호 단체에서 학대가 담긴 사진이라고 지정한 이미지들을 바탕으로 만들어집니다. 이를 학습해서 머신러닝 모델을 학습시킨 뒤 운영체제와 함께 전송됩니다. 이렇게 만들어진 해시 데이터들은 기기 속 사진의 해시 데이터와 비교됩니다. 높은 수준으로 해시값들이 일치한다고 판단하면 대응이 이뤄지는 것이지요. 개인 집합 교차라는 암호화 기술로 결과의 내용을 공개하지 않으면서 분석을 하고, 아주 높은 임계값을 넘을 때만 사진에 대한 해석을 합니다.

 

애플은 이 머신러닝 모델의 판단이 틀릴 확률이 1년에 1조분의 1 이내라고 설명합니다. 어떤 해석이 일어나는 지는 아무도 알 수 없고, 머신러닝이 아주 확실하다고 판단할 때만 수동 검토를 할 수 있다는 것이지요.

​

애플은 프라이버시 보호와 안전성을 이야기하고, 또 다른 한 켠에서는 개인정보 침해의 우려를 이야기합니다. 넓게 보자면 어떤 방법으로든 내 사진이 해석된다는 것에 대한 걱정은 남아 있게 마련입니다. 동시에 아동 성범죄처럼 끔찍한 일은 계속해서 일어나고 있습니다.

​

그래서 이 논란은 인공지능이 그런 문제를 풀어내는 답이 될 수 있을지에 대한 관점에서도 중요한 일입니다. 특히 실종 사고나 성범죄 등 아동을 대상으로 일어나는 일들의 상당수는 피해 아동들이 스스로를 피해자라고 인지하지 못하는 동안 일어납니다. 그리고 아주 오랜 기간동안 지속적으로 이어지기도 하고요. 여전히 고민의 여지는 남아 있지만 그 의도에 대해서는 공감을 받는 주제이기도 합니다. 그래서 이미 많은 기업들이 데이터를 기반으로, 인공지능을 기반으로 범죄를 인지하는 방법을 고민하고, 실제로 서비스로 이어지는 경우도 많습니다.

​

이 모든 일들의 출발은 결국 인공지능이 사진을 읽을 수 있게 된다는 데에서 시작합니다. 사진은 이미 우리의 일상이 됐고, 모든 일의 시작과 끝이 사진으로 이어지고 있습니다. 인공지능은 그 사진 속의 가치를 끄집어내는 기술을 확장해 나가면서 우리의 추억을 자극하지요.

 

출처 : < 테크플러스 - 에디터 초이스 >