연세대학교 경영대학

연세대학교 경영대학 부속 경영연구소가 주관하는 제29회 4차 산업혁명 런치포럼이 2019년 5월 30일 개최되었다. 이번 포럼에서 ‘딥러닝을 활용한 비디오 이해’를 주제로 김선주 연세대 컴퓨터과학과 교수가 발표했다.

김 교수는 “지금의 딥러닝은 진입장벽 및 경계가 굉장히 낮아져서 학생들이 어느 정도 공부를 하면 딥러닝이 돌아가는 시스템을 쉽게 만들 수 있는 세상이 왔다”며 발표를 시작했다.

딥러닝은 ‘주어진 인풋과 아웃풋 간의 관계를 잘 매핑해 주는 함수를 모델링하는 것’으로 데이터를 제공하면 컴퓨터가 사람처럼 스스로 학습할 수 있게 하는 것이 딥러닝의 역할이자 가장 큰 장점이다. 김교수는 현재 싱글 이미지 처리를 위한 딥러닝은 보편화되어 있지만 비디오에서 활용하는 것은 아직 어려운 단계라고 언급하면서 현재 자신이 진행 중인 비디오 작업들을 설명했다.

첫 번째는 딥러닝으로 비디오의 하이라이트 영상을 만드는 것이다. 김 교수는 사용자가 자신이 원하는 영상을 컴퓨터에게 입력하면 그에 맞춰서 컴퓨터가 알아서 비디오를 요약해주는 알고리즘을 만드는 것이 이 작업의 목표라고 언급했다. 이러한 알고리즘을 만드는 데 성공하면 드라마나 영화 제작 홍보에 유용하게 사용될 뿐만 아니라 CCTV를 활용해 범인을 잡고자 하는 형사들에게도 큰 도움이 될 것으로 김교수는 전망했다.

두 번째는 비디오 처리과정에서 딥러닝의 활용이다. 예를 들면, 입력된 일반 비디오가 화질이 개선된 비디오로 출력되는 vide super-resolution 기술과 비디오 영상 구간에 frame을 추가로 만들어 slow motion을 구현하는 기술인 frame interpolation 등이 그 예이다. 또한 인공지능이 어떠한 물체를 비디오에서 분리해주는 기술인 video object segmentation이라는 기술도 딥러닝을 활용하면 그 정확도를 훨씬 더 높일 수 있다고 말했다. 이러한 기술들은 디자이너나 방송국 등에서 작업을 하는 데 유용할 것이라고 김교수는 전망했다.

마지막으로 김 교수는 포토샵에서 활용할 수 있는 딥러닝 기술을 현재 연구 중이라고 전했다. 김교수는 현재의 복잡한 포토샵 인터페이스를 사용하는 대신 사용자가 언어로 원하는 바를 인공지능에게 전달하면 AI가 알아서 사진을 바꿔주거나 수정해줄 수 있으면 좋겠다는 아이디어에서 시작하여 문장기반의 영상편집 기술을 개발했다고 했다. 현재 이 기술은 영상의 텍스처나 컬러 위주로 영상편집을 할 수 있게 하는 수준이지만, 앞으로는 영상의 형태를 바꾸거나 비디오 작업에도 적용할 수 있는 기술을 개발할 예정이라고 전하며 발표를 마쳤다.