윤석열 대통령 딥페이크 만들기 (1/3) - DeepFaceLab, Tacotron

반응형

※ 작년에 약 일주일 동안 퇴근하고 진행하면서 겪었던 내용들과 느꼈던 경험들을 기록으로 남겨 놓고자 합니다.

※ 해당 블로그에서는 그 어떠한 수집된 데이터 및 요청에 의한 결과물을 별도로 제공드리지 않습니다.
※ 해당 게시물은 개인 스터디 목적으로 진행되었고 경험 공유를 위해 작성되었음을 말씀드립니다.

 

---

 

1부. 전체 개요 및 결과물

---

1. 배경

매달 진행되는 본부 타운홀에서 진행자가 나와 매번 뻔하게 진행되는 목차/안건 소개 등의 Intro를 재미있게 해 볼 수 없을까? 어떻게 하면 구성원들이 더 관심을 갖고 참여할 수 있을까? 초반에 이목을 집중시킬 수 있을까? 하는 생각에서 시작되었습니다. 여러 가지 내용 중 유명인, 캐릭터, 버추얼휴먼 같은 새로운 누군가가 Intro를 진행하면 재밌지 않을까? 하는 생각에서 진행해 보게 되었습니다.

 

2. 진행 방향

캐릭터나 가상인간은 Design, 3D Modeling, Rendering, Rigging 그리고 3ds Max, Unreal Engine 같은 툴에 대한 종류, 개념, 사용법 등에 대한 지식이 전무했고 어떻게 접근해야 할지조차 생각이 들지 않았습니다. 그리고 제 직무와 전혀 다른 분야라 짧은 기한 내에 빠르게 시도해 보기에는 무리라고 판단되었습니다. 그래서 제가 속해있는 본부 구성원들이 관심 가질 수 있을만한 이미지/영상/텍스트 데이터, 수집, 전처리, 딥러닝, 생성형 AI 등의 기술요소가 들어갈 수 있는 딥페이크 영상 & 음성합성 기술을 이용하여 진행해 보기로 했습니다.

 

3. 적용 대상 선정

누구를 대상으로 적용할 것인가? 에 대해 고민을 많이 했습니다. 1) 구성원 모두가 알 수 있을 만한 사람, 2) 뻔하지 않는 사람, 3)  영상/음성 데이터를 쉽고 많이 구할 수 있는 사람을 고려해서 유재석, 아이유, BTS 같은 연예인, 셀럽, 전직 대통령, 외국 유명인사, 영화배우 등등... 고민을 했지만 결국은 현 대통령인 윤석열 대통령으로 선정하였습니다. 그 이유는 뒤에서 설명드리도록 하겠습니다.

 

4. 요약

해당 포스팅에서는 아래와 같은 내용들을 얻을 수 있습니다.

• 딥페이크 영상 활용 툴, 생성방법 및 팁
  (상세 사용법은 다른 블로그들에 내용이 많기에 작성하지 않습니다.)
• 음성합성을 위한 데이터 수집, 전처리, 사용한 모델, 학습 방법 등을 포함한 진행 과정

 

5. 결과물

5-1. Demo #1 - 윤석열 대통령+트럼프 영상 / 음성합성

5-2. Demo #2 - 윤석열 대통령+일론머스크 영상 / 음성합성

 

6. 대본

아마 대본 없이 저 영상을 본다면 무슨 말을 하는지 이해하기가 어려울 것 같습니다. 대본과 함께 보면 그래도 아 이렇게 말하는구나 하고 이해가 될 겁니다. 그리고 몇몇 단어들에서는 윤석열 대통령 특유의 화법이 나타나는 것을 볼 수 있습니다.

존경하고 친애하는 OOOOOO 여러분.

저는 대한민국 대통령 윤석열의 모습을 담고 있는 AI Human으로 데이터플랫폼본부의 AI 기술을 통해 탄생하게 되었습니다. 만나서 반갑습니다. 금일 타운홀 미팅 순서는 제가 소개드릴까 합니다.

우선, 최근 입사하신 분들과 인사를 나누는 시간을 마련했으며, 7월 칭찬왕을 시상하는 자리를 갖도록 하겠습니다. 또한, OOOOOO OOO OO 계획에 대해 공유드릴 예정이며, 전사 조직문화 설문진단 결과와, OO OOO 챌린지 이벤트에 대해 소개드리겠습니다. 다음 순서로 구성원 간 소통 확대를 위한 팀연합 한마음나눔터 매칭을 진행할 예정이며 아이스브레이킹을 위한 퀴즈도 마련하였으니 많은 참여 부탁드립니다.

오늘의 마지막 순서로는 데이터플랫폼본부장님의 말씀을 들어보겠습니다.

무더운 여름, 건강 유의하시고 OOOOOO과 데이터플랫폼본부에 좋은 일만 가득하길 응원하겠습니다.
감사합니다.

 

 

---

 

윤석열 대통령 딥페이크 만들기 (1/3) - https://fuerte.tistory.com/157

윤석열 대통령 딥페이크 만들기 (1/3)

 

윤석열 대통령 딥페이크 만들기 (2/3) - https://fuerte.tistory.com/158

윤석열 대통령 딥페이크 만들기 (2/3)

 

윤석열 대통령 딥페이크 만들기 (3/3) - https://fuerte.tistory.com/159

윤석열 대통령 딥페이크 만들기 (3/3)