딥러닝으로 인한 인공지능의 발전은 인지, 학습, 추론, 행동과 같은 인간 지능 영역의 전 과정에 걸쳐 혁신적인 진화를 만들어 내고 있다. 인공지능은 ‘추론과 기계학습’, ‘시각지능(컴퓨터비전)’, ‘청각지능, ‘복합지능’, ‘지능형 에이전트(Intelligent agent)’ 또는 ‘상황인지 컴퓨팅’, ‘인간과 기계의 협업’ 등 크게 7가지 기술로 분류할 수 있다. 인공지능의 주요 기술을 활용해서 개발할 수 있는 제품과 서비스 분야는 무궁무진하다. 특히 시각, 청각과 같은 감각기관에 해당하는 인지 지능은 지능형 에이전트와 함께 발전을 거듭하고 있다. 시각 인지 분야의 지능은 인간 수준을 초월하는 수준으로 구현되고 있다.

시각지능은 단순히 이미지 속의 사물의 종류를 인식하는 것을 뛰어넘어, 영상과 이미지 속의 상황을 이해한다. 사람 얼굴의 사진을 보면 남성, 여성 등과 같은 외형적 특성을 인식하는 것은 물론이고 눈, 코, 입 모양의 상관관계를 분석해 표정을 인지하거나 감정을 추측해 낼 수 있다. 시각지능을 통해 이미지를 인식하고 이해하게 된 인공지능은 이미지 속 상황에 대한 인간의 물음에 대해 정확히 답을 하기도 한다. 

이처럼 진화하고 있는 시각지능을 기반으로 한 인공지능은 실제 상황에 적용되며 다양한 혁신을 만들어 가고 있다. 마이크로 소프트의 ‘Seeing AI’라는 시각 장애인용 인공지능은 앞을 볼 수 없는 시각 장애인의 시각지능을 인공지능이 대신하는 것이다. 시각 장애인에게 눈앞의 상황을 인간의 언어로 설명해 주거나, 앞에 앉아 있는 상대방의 성별, 나이, 표정 등의 정보를 제공해준다. 즉, 시각 장애를 갖은 사람들의 시각 인지 기능을 인공지능이 대신 제공해 장애인들의 일상생활을 혁신적으로 변화시킬 수 있을 것으로 전망된다.

시각지능의 컴퓨터 비전(Computer Vision)은 다양한 변조 영상을 만들 수 있는 기술로 최근 관심이 많아 지고 있다. 컴퓨터 비전 기술을 활용해 사람의 얼굴이나 특정 부위를 합성한 가짜 동영상을 만들어내는 기술 ‘딥페이크(Deepfake)’가 사회적 이슈로 등장했기 때문이다. 최근 세계적인 인기를 얻고 있는 K-POP 연예인들의 얼굴을 이용한 딥페이크 영상물이 만들어지고 있고, 성 착취 동영상의 형태로 악용되고 있어 사회적으로 큰 이슈가 되고 있다. 

컴퓨터 비전은 딥 러닝을 사용해 이미지 처리 및 분석 시스템을 안내하는 신경망을 형성하고, 충분히 훈련된 컴퓨터 비전 모델은 사물을 인식하고 사람을 감지하거나 인식하며 패턴인식(Pattern recognition)과 움직임도 추적할 수 있다. 

다양한 환경에서 가치를 발휘하는 컴퓨터 비전은 얼굴인식, 얼굴 추적, 사물과 사람을 빠르게 인식하고, 객체인식, 차량번호인식, 이미지 내에서 나이와 성별 추적, 흉부 X-ray 폐렴 분류 예측, 손글씨 다중 분류 예측, 고객 통계 자료를 분석, 공산품을 검사하는 등의 작업을 수행할 수 있다.

시각지능은 다양한 기술이 적용되고 있고 국내외적으로 많은 연구가 진행되고 있다. 시각지능의 주요 연구 분야를 정리하면 다음과 같다. 먼저, 정교한 행동 이해 기술이다. 비디오 영상에서 사람의 움직임, 행동, 행위에 대한 내용을 이해하는 기술로 사람 수준으로 인식하기 위해서는 너무 많은 컴퓨팅과 알고리즘의 복잡성으로 인해 비디오 영상의 스트림을 특징화해 딥러닝으로 학습하는 방식이 적용되고 있다. 

두 번째로 비주얼 관계 인식인데, 사람 수준으로 이미지의 내용을 이해하기 위해서는 객체, 행동, 배경 인식뿐 아니라 각각의 관계를 이해해야 한다. 딥러닝 기술에 기반을 둬 이미지로부터 객체 간의 비주얼 관계를 인식하고 이미지에 존재하는 모든 관계를 분석하는 기술의 발전으로 객체, 행동, 배경 인식 성능이 향상됨에 따라 그들의 관계 인식을 위한 연구 개발이 활발하게 진행되고 있는 분야이다.

세 번째로 시각지능의 영상 복원 및 3차원 영상 생성으로 사람의 사물에 대한 이해를 바탕으로 보이지 않는 부분 또는 가려진 부분에 대한 정보를 추론하고 복원하는 연구이다. 사람은 영상을 보고 3차원으로 이해하는 능력을 가지고 있어, 이를 모사해 2D의 영상 이미지를 보고 3차원의 특징이나 움직임을 이해하는 것이다. 

네 번째는 이미지 및 영상의 합성과 생성이다. 인간 수준 이상의 시각 지능을 갖게 된 인공지능은 이제 시각 정보를 자유롭게 변형하거나 전혀 새로운 이미지를 생성해 낸다. 

인간의 인식 수준을 초월한 시각 지능에 기반해 만들어지고 있는 이러한 가상 이미지는 인간이 쉽게 구분해 낼 수 없을 정도의 높은 완성도를 갖고 있다. 풍경 사진의 자연스러운 합성, 마네, 고흐 등 특정 유명화가의 화풍을 학습해 변형시키고 생성시키는 것 등 인공지능이 생성했다는 사전 정보가 없다면, 인위적으로 생성된 가상의 이미지라는 것을 인간의 시각지능으로 구분하기 어려울 정도의 높은 완성도로 구현된다. 

시각지능은 단순히 정지된 이미지 정보를 합성하는 수준을 넘어 실시간의 영상 변형, 합성까지 가능하다. 대표적인 예가 오바마 대통령의 목소리만을 가지고 입 모양을 생성해 오바마 대통령의 전혀 다른 연설 영상을 합성한 것이다. 인공지능은 이제 세상에 존재하지 않는 전혀 새로운 사물을 생성해 내기도 하는데 가상으로 생성된 이미지를 구분할 수 없을 정도로 높은 완성도를 보여주고 있다.

다섯 번째는 비정형 심볼인식으로 이미지 내에서 숫자를 포함한 문자 및 표지 등, 의미가 있는 기호를 자동으로 인식하는 기술로 정의하며 의사소통을 위해 기호 체계를 사용하는 사람에게 매우 중요한 기술이다. 단순한 광학 문자 인식 OCR(Optical Character Recognition) 기술에서 복잡한 장면 내 문장 및 의미를 추론하는 STR(Scene Text Recognition) 기술로 발전하고 있다.

이제는 인공지능이 애니메이션의 영상뿐만 아닌 음성까지도 스스로 생성해 내는 것이 가능하기 때문에 유명 배우의 외형을 학습한 인공지능은 다양한 모습으로 배우의 영상을 변형하거나 새롭게 생성하는 것이 가능해졌다. 인공지능 기술의 발전은 단순한 콘텐츠 산업을 넘어 인간의 시각과 관련된 거의 모든 산업에 직접적이거나 간접적으로 영향을 미치게 될 것이다. 시각지능은 교육, 엔터테인먼트, 쇼핑, 교통, 국방 등 모든 영역에서 산업의 핵심 요소 기술로 작용해 기존 산업의 경쟁 방식을 혁신시키며 발전해 나갈 것이다.

<정종기박사, AI 비즈니스 전문가 1호 / 얼라이언스코리아 대표 / 한국외국어대학교 겸임교수>

오늘경제

정종기 칼럼니스트 다른기사 보기