최근 연구되고 있는 안면 인식(facial recognition) 분야 기술들
등록일
작성자
조회수625
AI 기반 안면 인식 기술은 우리 주변에서 일상적으로 쓰이고 있다. 여러 휴대폰 기종들에 안면 인식 잠금 해제 기능이 있고, 소셜 미디어에 사진을 올리면 자동으로 인물 태그를 추천해 준다. 앱 Snow에서 친구와 얼굴을 교체하거나 FaceApp으로 얼굴의 성별이나 나이를 바꾸는 것이 하나의 놀거리다. 한편 안면 인식 기술이 CCTV의 범죄자 트래킹에 이용되거나 딥페이크로 조작된 영상이 올라오는 데 사회적인 불안감이 있기도 하다. 안면 인식 기술은 어디로 향하고 있을까? 이번 design close up에서는 최근 공개된 안면 인식 관련 기술특허나 연구 결과를 소개한다.
안면인식 기술이 대중 통제 수단이 될 수도 있다는 불안감이 존재한다. 페이스북이 이런 통제를 빗겨갈 수 있는 기술을 내놓았다. 올해 페이스북은 얼굴 이미지를 미묘하게 왜곡해서 사람은 인식할 수 있지만 기계는 인식할 수 없도록 하는 기계학습 시스템에 관한 논문을 발표했다. 연구에 의하면 사람들은 얼굴보다도 헤어스타일, 성별, 인종 등에 의해 신원을 인식한다. 인공지능이 이런 특징들만 남겨놓고 이미지를 최대한 사람들이 알아채기 힘든 방식으로 왜곡한다. 시스템의 학습 방법은 다음과 같다. 시스템은 불분명한 이미지를 받아 시스템이 해석하는 인코더-디코더 구조를 통해 한 사람의 얼굴 이미지를 회전시키고 크기를 바꿔서 시스템의 인코더 부분에 입력하면 디코더가 왜곡되기 전의 원래 이미지로 추정되는 아웃풋을 내놓는다.
구글의 검색기능 중 이미지를 업로드해 셀러브리티를 역으로 검색할 수 있는 기능은 이미 널리 쓰이고 있다. 구글의 2018년 등록된 특허에 의하면 이런 기능이 일반인 대상으로 확장될지도 모른다. 이 특허는 사용자의 앱에서 추출한 정보를 기반으로 이미지로부터 인물의 신원을 추측한다. 먼저, 사용자가 이미지를 구글 검색엔진에 업로드하면 시스템이 이미지를 분석해 가장 유사한 이미지들을 찾는다. 구글은 사용자의 커뮤니케이션 정보, 소설 네트워킹, 캘린더 정보, 연동 앱 등의 정보를 바탕으로 가장 그럴듯한 정보를 찾아낸다. 특허는 이 기술을 응용하는 예로 그룹 사진에 나온 인물들에게 자동으로 사진을 공유하는 사례를 기술하고 있다.
- 참고 링크:
딥페이크가 보급되면서 조작된 이미지와 실제 이미지를 분간하기 어려워질 것이라는 전망이 사람들을 불안하게 하고 있다. IBM은 그런 사람들에게 희소식이 될 만한 특허를 출원했다. 2018년 1월 등록된 이 특허의 기술은 디지털 이미지나 영상에 나오는 인물의 이미지가 진짜인지 가짜인지를 가려낸다. 시스템이 입력받은 영상의 여러 선택된 이미지들을 바탕으로 얼굴 인식 인증 시스템의 얼굴이 3차원 구조인지를 판정하는 방식이다.
이제는 안면인식으로 휴대폰 잠금을 해제하는 기능이 그렇게 신기하게 느껴지지 않을 정도다. 하지만 그 과정에서 동의 없이 사용자의 프라이버시가 확인된다는 사실을 알고 있는 사람은 많지 않다. 모바일 제조회사들이 인증 과정에서 프라이버시를 보호하는 옵션을 딱히 제공하지 않기 때문이다. IBM의 이 특허는 모바일이나 웨어러블 기기에 적용된 안면 인식 기술에서 사용자의 프라이버시를 보호할 수 있도록 하는 것이다. 시스템은 데이터베이스를 프로필, 얼굴, 프라이버시의 세 계층으로 분리한다. 사용자가 프라이버시 환경 설정을 하지 않은 경우에는 개인 정보를 포함한 프로필이 센서 측에 전달되지만, 프라이버시 환경 설정을 한 경우에는 개인정보를 생략한 프로필을 생성해 센서에 전달한다.
이제 사진 한 장만 있으면 실시간으로 그 사람의 얼굴을 영상으로 재현할 수 있다. 이제까지의 안면 재현 기술은 재현하고자 하는 사람(이하 '타깃')의 얼굴 윤곽과 비슷한 얼굴의 영상을 사용해야 했고, 타깃마다 딥러닝 모델을 학습시켜야 하는 등 번거로운 부분이 많았다. 한국발 글로벌 영상 기술 하이퍼커넥트가 최근 발표한 기술은 타깃의 사진 한 장만 있으면 움직임을 부여하는 얼굴 모델을 그대로 따라하는 영상을 만들 수 있다. 원리는 얼굴에서 정체성을 나타내는 정보와 표정 및 움직임의 정보를 분리하는 것이다. 그러면 타깃의 얼굴 정체성에 다른 영상의 표정 및 움직임만 덧씌우는 것이 가능해진다. 후보정 없이 결과가 실시간으로 나오기 때문에 안면 재현 기술을 영상 통화, 게임 등 다양한 서비스에 상용화할 수 있을 전망이다.
몇 년 전까지 안면 인식을 바탕으로 소비자의 기분을 인지하고 더 나은 서비스를 제공하려는 시도들이 많았다. 한편 최근의 안면 인식 특허들은 보안에 대한 인식이 증가하면서 그에 대한 해결책들을 고안하고 있는 것으로 보인다. 영상에서의 안면 재현 관련 연구가 증가한 점도 주목할 만하다. 이러한 연구의 증가는 그 활용성과 확장성에서 새로운 서비스를 기대할 수 있을 것이다. 안면 인식 기술을 이용한 더욱 안전하고 흥미로운 미래의 일상을 기대해 본다.
글｜디자인맵 편집부
출처 : https://www.designmap.or.kr:10443/ipf/IpTrFrD.jsp?p=646
