KAIST 사계 2050 프로젝트팀이 전하는
사계 2050 - 대전 작업과정
1. 데이터 분석 및 수집
‘사계 2050 - 대전’에서는 기후 변화 시나리오가 예측한 미래 사계절의 모습을 표현하여, 기후 변화에 대한 경각심을 심어주고자 했다. 그 시작점은 ‘사계’의 소네트였다. 본 프로젝트팀은 비발디의 ‘사계’가 담고 싶었던 이미지들을 파악하고, 기후 변화가 그 광경들을 어떻게 바꿔놓을지에 대한 예측 데이터를 찾아나섰다.
‘사계 2050 - 대전’에 담길 각 계절의 풍경을 예측하기 위해, 우리는 IPCC의 기후 시나리오(RCP8.5와 SSP5-8.5)를 이용한 연구들을 살펴보았다. 가장 먼저 기온, 강수량, 대기정체, 폭염 및 한파, 계절 길이 등 직접적인 기후 요소들의 예측값을 정리하였다. 이에 더해 종 다양성, 동식물 서식지, 농산물 생산량, 해충 활동범위, 불쾌지수 등 기후 변화가 생태계 전반/인간 생활에 끼칠 영향에 대해서도 함께 조사하였다. 또한, 서울과 대전 지역의 데이터를 함께 수집해 현재와 2050년의 미래, 두 지역이 어떻게 달라질지 확인할 수 있도록 하였다.
원래의 ‘사계’ 소네트는 각 계절의 특징적인 자연환경과 인간들의 생활, 그리고 그로부터 느낄 수 있는 위협과 아름다움을 노래하고 있다. 하지만 기후 변화 시나리오가 예측한 미래는 사뭇 다르다. 즐거운 축제 같던 봄은 동식물 서식지의 변화와 종 다양성의 감소로 조용해진다. 여름과 겨울은 극한 기후와 강수량 증가로 더 위협적인 계절이 되어가고, 가을은 지금처럼 풍요로운 계절이 아니다.
지금의 모습과 너무나도 달라진 사계절. ‘사계 2050 - 대전’은 그런 2050년 대전의 모습을 담고자 했다.
2. 알고리즘 개발
‘사계 2050 - 대전’은 AI와 인간과의 “협력"을 통해 비발디의 사계를 예측되는 2050년 대전의 기후를 반영하여 작품을 재구성한 프로젝트이다.
미래 기후 시나리오(RCP8.5와 SSP5-8.5)를 통해 도출된 대전과 한국의 기후 예측 데이터를 음정이나 템포 등 곡의 요소에 매핑함으로써 편곡을 진행하였다. 토착 서식지의 파괴로 인한 생물 다양성의 감소, 더워지는 날씨 속 더욱 변화무쌍해지는 날씨와 극심하고 빈번한 이상기후의 출현 등 기후 예측 데이터에서 우리에게 알려주는 심각한 기후변화의 위기를 보다 효과적으로 전달하고자 음악으로의 매핑 관계에서 적절한 하이퍼파라미터를 찾는 반복 작업을 수행하였다.
더불어, 보다 더 창의적이면서도 새로운 음악적 모티브를 가미하기 위하여 기후 예측 데이터를 ChatGPT-4 모델에 안내하여 비발디 사계의 소네트를 재창작하도록 하였고, 이를 기반으로 작업 당시 텍스트 기반 음악 생성 모델 중 SOTA(State-Of-The-Art)에 해당되는 MusicGen 모델을 사용하여 음악들을 생성하였으며 이를 음악팀에서 분석 및 발췌하여 곡의 구성요소로 짜임새있게 활용하였다.
추가적으로, 재창작된 소네트는 Deforum Stable Diffusion 모델의 인풋으로 활용하여 2050년 대전의 풍경 스케치 영상을 생성하였고 이는 공연 중 무대의 배경 영상으로 활용하여 우리가 바라는 의도인 몰입도 높은 공연 관람과 효과적인 기후변화에 대한 메세지 전달이 잘 수행되고자 하였다.
3. AI 작곡/편곡
음악팀은 데이터를 기반으로 생성 미디를 음악적으로 재구성하고, MusicGen 모델로 생성된 음원을 곡 안에 배치・삽입하는 작업을 진행하였다.
기술팀에 의해 생성된 미디 사운드를 악보로 추출한 후 주요 음악적 요소(음가, 리듬, 대위 등)를 수합[그림 2]하여 같은 지점에 적용된 공통 음가를 배치[그림 3]하는 등 기초 스케치 작업을 진행하였다. 악보화된 소리 중 충분히 긴 음가의 음표(8분음표 이상)로 이루어져있지 않은 구간은 Vivaldi의 원곡에 사용된 연주 기법(mordent, trill)을 활용하여 조정하였다. 그 후 각 요소의 변형과 반복으로 구간을 재구성하고, 타악기 구성을 추가하거나 Solo Violin의 멜로디를 수정하는 등 음악적인 흐름을 다듬는 방향으로 재편곡[그림 4]하였다.
또, 텍스트를 입력하면 해당하는 오디오 파일을 생성해내는 인공지능 모델인 MusicGen에, ChatGPT-4 모델을 통해 생성한 2050년의 대전의 모습이 담긴 소네트를 텍스트로 입력해 총 5개의 음원을 생성한 뒤, 해당 음원들을 중첩되게 배치[그림 5]하여 새로운 음악적 효과를 의도하였다. 가장 점진적이고 침착한 진행으로 이루어진 가을 2악장에 AI를 통해 새롭게 생성된 복잡한 소리를 가미해 기존 acoustic sound를 넘어 전자음악 소리가 중첩된 형태로 기후변화로 인해 발생하는 혼란한 느낌을 가중시켰다.
곡 전반의 음악적 편곡을 통해 기후변화로 혼란스러운 정서와 분위기를 조성함과 동시에 어느 정도의 규칙성이 들리는 음악적인 흐름은 유지하면서, 음을 추가/제거하거나 모티브 반복 횟수를 조절하는 등의 방식으로 알고리즘에 의해 대전 버전의 데이터값이 적용된 특징적인 모습을 음악과 소리로써 강조하는 작업에 중점을 두었다.
[그림 1 - 4] 생성미디 작업 과정
(왼쪽 위부터 시계방향으로) 알고리즘 파일 비교, 공통음 수합, 1차 음 대입(공통 음가/주요 요소 배치), 재편곡 작업
[그림 5] MusicGen기반 생성음원 배치 과정
KAIST 사계 2050 프로젝트팀
본 프로젝트에서 데이터 기반 음악 작,편곡을 맡은 방하연은 AI를 통해 음악 창작의 새로운 지평을 열고자 하는 연구자로서, AI의 가능성을 활용하여 음악 창작의 진입장벽을 낮춤과 동시에 예술가들이 더욱 창의력을 발휘할 수 있도록 돕는 것을 목표로 연구하고 있다. 그는 연세대학교에서 작곡을 전공한 후, 한국과학기술원(KAIST) 문화기술대학원 석사과정에 진학하여 Music and Audio Computing Lab(지도교수: 남주한)에서 AI 기반 자동 작곡 연구를 수행하고 있다.
본 프로젝트에서 알고리즘 개발을 맡은 김용현은 AI기반 기술과 예술의 윤리적이면서도 창의적인 융합을 통한 인간 삶의 질 향상을 목표로 학업과 연구에 매진해오고 있다. 그는 울산과학기술원에서 컴퓨터공학과 전기전자공학 학사 학위를 취득한 후, 한국과학기술원 문화기술대학원에 석사과정으로 입학하여 Music and Audio Computing Lab(지도교수: 남주한)에서 멀티미디어와 AI를 융합한 각종 연구를 수행 중에 있다.
데이터 기반 음악 작,편곡 공동 작업을 담당한 장지현은 연세대학교에서 작곡을 전공한 후, 화음챔버오케스트라 현대음악 렉처 콘서트 공모 당선을 시작으로 세일한국가곡콩쿠르 작곡부문에 입상, 앙상블 DNCE, Yonsei Glee Club, 부산작곡마당 등 국내 다수의 연주단체에서 작품을 발표하며 다양한 분야에서의 작업을 시도하는 작곡가로 활동하고 있다.
본 프로젝트에서 미래 기후변화 데이터 수집을 맡은 남궁민상은 네트워크 과학, 정보이론, 수학적 모델링을 통해 다양한 문화 콘텐츠 데이터의 특징을 분석하는 연구를 진행하고 있다. 학부생 시절에는 KAIST에서 생명과학과 전산학을 복수전공하였고, 문화기술대학원 The Q Group Lab에서 복잡계 네트워크 상에서 창발적으로 일어나는 문화 현상을 분석하는 연구를 진행하고 있다.