◀ 앵 커 ▶
영화 '쥬라기 공원' 속 거대한 공룡이 걸어오는 장면은, 화면만 봐도 지축이 흔들리는 게 느껴지죠?

우리 뇌가, 크기와 움직임 등 여러 시각 정보를 종합해 소리를 상상하기 때문인데요.

국내 연구진이, AI가 물리적 특성까지 이해해 최적화된 효과음을 생성하는 2세대 효과음 기술을 개발했습니다.

이교선 기자입니다.

◀ 리포트 ▶

(2020년 11월 20일, MBC 뉴스투데이)
뼈 부러지는 건 셀러리로, 긴박한 말발굽 소리는 코코넛으로 냅니다.

영화 한 편에 들어가는 효과음만 5천여 개.

그동안은 소리로 화면에 생명을 불어넣는 효과음 전문가, 폴리아티스트의 몫이었습니다.

이제 실감 효과음도 AI가 만듭니다.

KAIST와 포스텍, 소니 AI 공동 연구진은 영상 속 물체의 무게와 속도를 AI가 추론해 효과음을 만드는 ‘파바스’를 개발했습니다.

1세대 AI 효과음이 화면 속 사물의 형태나 움직임 정도만 반영했다면,

물체의 무게와 속도 등을 종합 추론해 소리의 크기와 질감까지 다르게 표현합니다.

오현빈 / 포스텍 통합과정 연구원
“추정된 물리량을 음향 생성 모델에 집어넣음으로써 좀 더 이제 물리적으로 그럴듯한 소리를 영상으로부터 생성하는.."

AI가 먼저 영상 속 물체를 분석해 질량과 속도 정보를 추론한 뒤 10초 만에 효과음을 만드는 겁니다.

단순히 화면을 따라 하는 수준을 넘어 물리적 인과관계까지 이해하는 게 핵심입니다.

실제 몸집이 작아 날쌘 공룡 '랩터'와 달리,

"효과음"

거대한 초식공룡 브라키오사우루스의 발소리는 느리면서도 묵직함을 구현합니다.

"효과음"

같은 버스 충돌 장면도 속도에 따라 충돌 파장을 다르게 전달합니다.

오태현 / KAIST 전산학부 교수
“가내 수공업처럼 이렇게 노동력으로 소리 효과를 만들어내는 그런 작업들을 굉장히 많이 하시는데 그분들 일의 퀄리티(품질)를 올려드리고 그다음에 보조도구로서의 큰 역할을...”

연구팀은 이번 기술이 영화 등의 후반 작업과 가상현실 속 몰입형 콘텐츠는 물론, 딥페이크 영상 등 조작된 콘텐츠를 판별하는 기술로도 확장될 수 있을 것으로 기대했습니다.

MBC 뉴스 이교선입니다.

(영상취재:여상훈, 화면제공:KAIST)