KAIST, AI 기반 음악 창작 시스템 ‘어뮤즈’ 공개

KAIST 전기·전자공학부 이성주 교수 연구팀이 창작자의 영감을 실질적으로 지원하는 인공지능(AI) 기반 음악 창작 시스템 ‘어뮤즈(Amuse)’를 개발했다고 7일 밝혔다.

이번 연구는 인간과 AI의 협업을 핵심에 두고 설계된 시스템으로, 최근 일본 요코하마에서 개최된 국제학술대회 ‘ACM CHI 2025’에서 최우수 논문상(Best Paper Award)을 수상하며 학계와 산업계의 주목을 받았다.

어뮤즈는 텍스트, 이미지, 오디오 등 다양한 형태의 창작자 입력을 화성 구조, 즉 코드 진행으로 변환하는 AI 시스템이다.

예를 들어 사용자가 ‘따뜻한 여름 해변의 기억’이라는 문장을 입력하면, 해당 이미지에 적합한 음악 코드가 대형언어모델(LLM)을 통해 자동으로 생성돼 제안된다.

이 과정에서 음악 데이터를 학습한 AI가 부자연스럽거나 어색한 결과는 걸러내는 기능을 수행한다.

또한 어뮤즈는 제안된 코드에 대해 창작자가 자유롭게 수용하거나 수정할 수 있도록 유연한 상호작용 방식을 지원하며, 창작자의 창의적 흐름을 방해하지 않는 것이 특징이다.

KAIST는 “어뮤즈는 단순한 음악 생성 AI를 넘어서 사람과 AI가 함께 작업하는 동반자로서의 가능성이 높다”고 평가했다.

어뮤즈의 핵심은 두 가지 AI 기술을 결합한 하이브리드 방식에 있다.

먼저, 대형언어모델을 활용해 창작자의 영감에 기반한 음악 코드를 생성한 뒤, 실제 음악 데이터에 기반해 어색한 결과를 거르는 ‘리젝션 샘플링’ 과정을 거친다.

이를 통해 더 자연스럽고 창의적인 결과물을 제공할 수 있는 기술적 구조를 갖췄다.

실제 뮤지션들을 대상으로 한 사용자 연구에서도 어뮤즈는 높은 평가를 받았다.

창작 과정에서 단순한 도구 이상의 역할을 수행하며, 사용자와의 협업 가능성을 현실화한 사례로 주목됐다.

이는 기존 생성형 AI가 저작권 침해나 일방적인 결과 제시에 따른 문제로 비판받아온 것과 차별화되는 지점이다.

이성주 교수는 “최근 생성형 AI 기술은 저작권이 있는 콘텐츠를 그대로 모방해 창작자의 저작권을 침해하는 등 논란이 되고 있다”라 말했다.

이어 “창작자의 주도권을 유지한 채 인공지능과의 협업 가능성을 탐색하는 시도로, 창작자 친화적인 생성형 AI 시스템 개발에 기여할 것”이라고 강조했다.

이번 연구는 과학기술정보통신부의 재정 지원을 받은 한국연구재단 연구 과제를 통해 수행됐다.

논문은 KAIST 박사과정 김예원, 이성주 교수, 미국 카네기멜런대 크리스 도너휴 교수의 공동 저술로 완성됐으며, 인간 중심의 창작 도구로서 AI의 가능성을 제시한 사례로 평가받고 있다.

다른기사보기

박세준 (karung2@sabanamedia.com) 기사제보