AI가 궁금한 모든 사람을 위한 콘텐츠,멋진 신세계 AI 특집강연 김광집교수

우리가 누군가의 기대에 부응할 자신이 있을 때 이런 말을 합니다. 뭘 상상하든 그 이상이다. 사실 비디오 생성 모델이라는 건 거의 저는 불가능하다고 생각을 하고 있는 사람 중에 하나였습니다. 더 정확히 말하자면 상상력을 현실로 바꾸는 속도가 무한대에 이르렀다고 볼 정도인데요. 3D는 자동화 과정이 거의 없다 보니까 억단이 이상의 제작비가 들어가는 작업들이 많지만 AI는 이 모든 과정을 새롭게 만들어내고 있습니다. 안녕하세요. 저는 서울예술대학교의 김광진 교수입니다. 저는 현재 딥페이크와 생성형 AI 영상을 제작을 하고 있는데요. 아닙니다. 저희 회사 거 아닌데. 제가 요즘 딥페이크를 한다고 하면 많은 분들이 약간 범죄나 안 좋은 쪽에 이용된다고 생각을 하십니다. 하지만 딥페이크는 콘텐츠 창작자에게 있어서 정말 중요한 기술 중에 하나입니다. 또한 이어서 최근에 생성형 AI 기술이 많이 나와서 그 부분이 저희 창작에 더 큰 도움이 되고 있습니다. 그래서 AI가 콘텐츠 산업에 가져온 변화와 함께 버추얼 휴먼과 딥페이크를 활용해서 만드는 생성형 AI 사례에 대해서 말씀드리도록 하겠습니다. 그러면 왜 AI가 갑자기 주목받고 있을까요? 처음 사람들이 사실은 AI를 사용할 때는 다양한 기술들과 고스펙의 하드웨어들이 많이 필요했었습니다. 그 부분들이 요즘에 휴대폰만으로도 거의 다 기능이 구현이 되기 때문에 일반인들에게 접근성 또한 많이 오픈되어 있는 것 같습니다. 그리고 올 초부터 어마어마하게 기술이 발전되고 있습니다. 불과 작년만 해도 사실 비디오 생성 모델이라는 건 거의 저는 불가능하다고 생각을 하고 있는 사람 중에 하나였습니다. 지금 보시는 영상이 2023년에 생성형 AI에게 스파게티를 먹는 윌 스미스를 만들어줘라고 해서 나온 영상입니다. 굉장히 조악하죠? 이미지로만 만드는 것도 어마어마한 일인데 글로만 영상을 만든다? 그거는 최소 몇 년은 더 걸리겠다라는 게 저의 생각이었습니다. 이제 생성형 AI를 활용하면 단 몇 초 만에 영화의 한 장면을 바꿀 수 있고 목소리와 표정을 조합해 가상의 캐릭터를 생생히 만들어낼 수 있습니다. 이 배우 폴 워커가 사실 몇 년 전에 사고로 죽었습니다. 하지만 지금 최근에도 보고 계시는 분노의 질주 시리즈 영화들을 보시면 계속해서 이 폴 워커 배우가 등장을 하고 있습니다. 실제 체형이 비슷한 동생이나 스턴트 배우가 대신 대역을 하고 그 위에 풀 3D로 된 디지털 더블로 얼굴을 입힘으로써 마치 폴 워커가 살아있는 것처럼 계속해서 연기를 하고 있습니다. 버추얼 휴먼입니다. 실제 저희 헐리우드에서 영화에서 보고 있는 다양한 영화들이 있습니다. 마블의 영화들이라든지 아이언맨 헐크 그들 또한 버추얼 휴먼이라고 할 수 있습니다. 헐리우드의 버추얼 휴먼들은 AI 기술이 아닌 3D 디지털 더블이라는 방식으로 제작되는데 3D는 다양한 소프트웨어를 써서 스캔을 한다거나 혹은 수작업으로 만들었기 때문에 매번 할 때마다 작업을 해야 됩니다. 그래서 자동화 과정이 거의 없다 보니까 풀 3D 아까 디지털 더블이라고 했던 작업 같은 케이스로 최소 한 달 혹은 억 단위 이상의 제작비가 들어가는 작업들이 이루어집니다. 풀 3D의 장점은 다양한 화가, 사람이 일일이 프레임 단위로 작업하기 때문에 여러 각도에서도 실제 사람처럼 다양하게 표현할 수 있다는 장점이 있습니다. 다만 비용이 너무나 비싸서 사실 한국에서는 많이 쓰기 힘들고요. AI를 활용해서 실제로 많은 분들이 상업적으로 사용을 하고 있습니다. 최근 가장 많이 사용하고 있는 딥페이크 방식이 있습니다. 여기 보이는 영상은 딥페이크의 사례인데요. 실제로 4명의 오바마 대통령이 회사를 합니다. 이 중에 누가 진짜 오바마 대통령일지 한번 보시면. 실제로 4명의 오바마 대통령이 전부 다 딥페이크로 만들어진 가짜입니다. 그의 목소리를 학습시켜서 립싱크를 시켰고요. 다양한 영상들을 학습시켜서 실제 4명의 틀린 오바마를 만들어냈습니다. 단순히 2D 딥페이크만 쓰인 게 아니라 3D 기술까지 같이 써서 유사도를 높였습니다. 이 영상은 모건 프리먼의 영상이 아닙니다. 여기 보시는 것처럼 다른 사람이 마치 모건 프리먼처럼 연기와 목소리를 흉내 내고 있습니다. 딥페이크란 딥러닝과 페이크의 합성어입니다. 요즘 사용자의 요청에 따라 입력된 이미지나 영상을 변형하여 완전 새로운 인물의 얼굴이나 동작, 목소리를 합성하는 데 사용하고 있습니다. 딥페이크는 대부분 다 100% AI라고 할 수 없습니다. 딥페이크는 목 아래 있는 부분은 실제 대역배우가 연기를 하고 목 윗부분을 딥페이크라고 하는 AI 기술을 활용해서 리플레이스를 시킵니다. 그래서 얼굴을 교체한다고 봐주시면 될 것 같습니다. 이런 사례들이 최근에 컨텐츠 쪽에 많이 많아지고 있는데요. 이 영상 또한 얼마 전 이슈가 됐었던 영상인데요. 보시는 바와 같이 박은빈 배우와 비슷한 초등학생, 중학생, 고등학생 배우들이 나옵니다. 배우들을 엄청 잘 찾았다고 생각하실 수 있을 건데요. 사실 이 부분도 그 아역 얼굴에 박은빈 배우의 얼굴을 딥페이크로 얹었기 때문에 유사하게 나왔다고 봐주시면 될 것 같습니다. 이 영화는 내년에 개봉을 하는 영화인데요. 지금 가운데 파란색 티셔츠를 입은 사람이 버추얼 휴먼입니다. 실제 딥페이크 기술을 이용해서 구현을 했고요. 이 영상은 뮤직비디오입니다. 실제 얼굴을 보시면 얼굴이 실제 사람인지 딥페이크인지 AI인지 모를 정도로 이질감을 느끼실 수가 없을 겁니다. 춤을 추고 있는 샷들은 대부분 다 대역배우가 춤을 연습을 해서 불렀고요. 그 윗부분에 있는 얼굴 부분은 AI로 교체를 해서 만들었습니다. 기존에 이런 뮤직비디오를 만들려고 하면 제작비가 한 2억 내외로 들어가는 고가의 뮤직비디오가 될 수 있는데 생성형 AI로 대결을 했기 때문에 제작비를 거의 한 10분의 1까지 낮출 수 있었습니다. 이런 식으로 다양한 캐릭터들을 생산해낼 수 있고 실제 고인이 된 사람까지도 딥페이크를 활용해서 다시 영화 등에 출연을 시킬 수 있습니다. 교수님은 딥페이크와 실물 구분할 수 있나요? 저는 사람의 페이스 같은 케이스는 미세 근육의 움직임을 자주 봅니다. 실제로 딥페이크로 만들어진 영상이나 AI로 만드는 영상의 말하는 모습들을 보면 사실 입 주위 근육들만 많이들 움직이시거든요. 그런데 실제 사람이 움직일 때는 이마 근육부터 시작해서 잔 움직임들이 많이 있습니다. 그래서 그 부분에 대한 정밀한 관찰이 많이 필요하고요. 하지만 최근에는 그 부분에 대한 것도 학습을 시켜서 하는 딥페이크나 AI가 많아지고 있기 때문에 아마 기술의 발전은 제가 생각한 것보다 더 빠르게 움직일 거라고 생각하고 있습니다. 그래서 저는 사실 이제 앞으로는 어떤 게 딥페이크고 어떤 게 진짜인지 저희가 판단하기 힘든 세상이 곧 올 거라고 생각하고 있습니다. 자 그럼 이어서 생성형 AI에 대해서 설명해 보겠습니다. 딥페이크는 기존에 있던 영상의 얼굴만 바꿨다면 생성형 AI는 얼굴뿐만 아니라 분위기 배경까지도 전부 다 바꿀 수 있습니다. 아까 봤던 뮤직비디오인데요. 얼굴을 교체하는 데에는 앞서 말씀드린 것처럼 딥페이크 기술들을 활용을 해서 학습을 시킨 후에 얼굴을 교체한 기술이 쓰였고요. 기존 같으면 저 배경 또한 CG나 혹은 버추얼 스튜디오에서 촬영을 했었는데 이미지 투 비디오 혹은 텍스트 투 이미지 식으로 해서 배경을 AI로 제작을 했습니다. 글로 만든 배경이라고 봐주시면 될 것 같습니다. 무슨 말이냐 하면 다양한 소프트웨어들을 아실 겁니다. 거기에 텍스트를 치면 제가 원하는 이미지나 비디오 같은 콘텐츠를 생성할 수 있습니다. 이렇게 산토리니의 맑은 날을 그려달라고 글로 쓰면 이미지가 생성이 되고 있죠. 이렇게 이미지가 생성이 되면 그럼 마음에 드는 이미지를 골라서 이미지를 영상으로 만들어주는 툴에 넣고 구름이 흐르고 맑은 햇살이 비추고 있다라고 글을 써줍니다. 글이 이미지가 되고 이미지가 영상으로 이렇게 나오면 이렇게 활용하면 되는 겁니다. 참 쉽죠. 이런 사례들이 최근에 컨텐츠 쪽이 많이 많아지고 있는데요. 이제는 아예 아무것도 존재하지 않는 무 공간에서 제가 원하는 다른 나라라든지 우주라든지 판타지 세상 멋진 액션 영화 여러분이 직접 상상하던 그 모든 것을 만들 수 있는 시대가 되었습니다. 그것이 가능한 이유는 생성형 AI는 저희가 학습시킨 데이터 플러스 알파로 이미 갖고 있는 모든 데이터들을 학습한 것에서 결과물을 뽑는다고 생각하시면 됩니다. 이런 부분들을 잘 활용을 하면 생물 고양이인데 2미터 고양이의 몸에 식스팩을 갖고 있고 호랑이 발톱을 갖고 있는 것을 생성형으로 트랩 타이핑을 치시면 나오는 거죠. 이 고양이에게 예를 들어서 옷을 입힐 수도 있잖아요. 옷을 입힌다고 하면 가장 간단한 툴인 포도샵에만 가셔도 이 고양이를 선택하고 하시고 거기에 AI 버튼이 있거든요. 요즘에 그걸 누르시고 망토를 입고 있으면 좋겠어. 무슨 색깔 망토인지를 구체적으로 치시면 빨간색 망토를 입었다가 마음에 안 드시면 어떤 무늬 어떤 색깔 그거를 계속해서 클릭을 하시면 옷이 계속해서 바뀝니다. 그런 식으로도 생성형 AI가 이미 저희 일생활에 들어가 있습니다. 더불어 가장 많이 쓰이고 있는 것 또한 오디오 생성 모델이라고 할 수 있습니다. 불과 작년만 하더라도 최소 1시간 이상의 목소리를 학습해야만이 그 사람과 유사한 목소리들을 뽑을 수 있었는데 현재는 짧게는 20초에서 30초만 그 사람 목소리를 학습해도 그 목소리를 똑같이 낼 수 있습니다. 안녕하세요 저는 프롬프트 엔지니어 강수지입니다. 이 목소리 학습의 좋은 점은 뭐냐 하면 단순히 그 사람의 목소리를 한국어로 구현해주는 것뿐만 아니라 사실 제가 영어를 잘하지 못할 수도 있고 일본어를 못할 수도 있잖아요. 그런데 오디오로 제 목소리 톤만 학습이 되어 있다면 By translating English or Japanese to actual typing and incorporating those parts, I can reproduce English and Japanese in my own voice. 그 활용 방법은 무간대입니다. 실제 해외에서는 한 언어로 가수가 앨범을 내면 학습을 시켜서 영어로 된 7개국어로 된 앨범들을 내기도 합니다. 지금까지 제가 이미지 생성에 대해서 설명을 드렸고요. 이 이미지를 가지고 저희가 이미지 투 비디오라고 하는 여러가지 툴들이 있습니다. 그 툴에다 넣고 뭔가 액션을 하라고 치면 그것들이 이 이미지를 학습시켜서 동영상으로 만들어줍니다. 네 교수님 제가 한번 해볼게요. 그러니까 이 고양이를 뛰게 하고 싶으면 점프하는 고양이라고 적으면 된다는 거지. 이건 점프가 아닌데 다시. 왜 허우적거리지? 다시. 교수님 이거 좀 이상한데요? 사실 프롬프팅하고 AI는 만능이 아닙니다. 그래서 저는 개인적으로 AI는 아직까지는 뽑기라고 합니다. 어떤 샷은 제가 원하는 샷은 진짜 프롬프팅을 잘 치면 한 번에 기가 막힌 샷이 나오기도 합니다. 하지만 어떤 샷은 제가 프롬프팅을 500번 1000번씩 걸어도 절대 나오지 않는 샷들도 있습니다. 랜덤성이 좀 있는 건데요. 그래서 디퓨전 모델이라고도 부르기도 하는데요. 그러니까 사람이 그림을 그리는 방식은 흰색 도화지에 스케치부터 시작해서 색칠을 하고 그림을 완성하는데요. 생성형 AI가 그림을 그리는 방식은 노이즈에서 시작해서 노이즈를 점차 삭제해가면서 그림을 완성합니다. AI는 그림을 그리는 게 아니라 수많은 정보들에서 불필요한 정보를 조금씩 지우면서 그림을 완성한다고 볼 수 있습니다. 그래서 여러분들 한 100분이 똑같은 컴퓨터에 똑같은 소프트웨어에 똑같은 프롬프팅을 다 친다고 쳐도 아주 미세하게 조금씩 틀린 영상들이 나옵니다. 목소리 또한 틀리게 나올 수 있고요. 실제로 프롬프팅에서 이미지나 영상이 되게 잘 나왔으면 무조건 저장을 해야 됩니다. 왜냐하면 이게 잘 나왔다고 생각해서 내일 와서 다시 프롬프팅을 넣었을 때 그 영상이 다시 나오지 않을 수도 있습니다. 이 페이크는 주로 저희가 만든 얼굴을 입히는 거기 때문에 일관적으로 나온다고 봐주시면 될 것 같고요. 생성형 AI는 프롬프팅을 통해서 넣지만 일부 틀리게 나올 수가 있습니다. 하지만 AI 나오는 얼굴을 일관성 있게 만드는 것도 기술이거든요. 생성형 AI를 이용해서 만든 티저 영상을 한번 보도록 하겠습니다. 실제 앞으로 저희가 제작하려고 하는 드라마인데요. 지금 보시는 이 영상이 전부 다 촬영이나 CG가 하나도 없이 100% 다 텍스트로 만들어진 영상입니다. 그 영상의 톤앤매너를 미리 알면 좋을 것 같아서 방송국과 배우들한테 전달하기 위해서 저희가 직접 만들어 봤습니다. 저희에게 많은 분들이 물어주시는 게 어떤 툴을 사용하십니까? 저희는 다양한 툴을 사용합니다. 하지만 그건 이번 주와 다음 주에 툴이 바뀔 수 있습니다. 그 이유는 뭐냐 하면 채집 PT라든지 순호라든지 이미지를 생성하는 미드전이나 스테블 디퓨전, 동영상을 제작하는 클링이나 젠3, 루마, 대부분의 회사들의 경쟁사입니다. 그래서 이번 주에 A라는 회사가 새로운 기능을 발표하면 B라는 회사가 이어서 다음 주에 A라는 회사의 기능 플러스 알파로 더 좋은 기술을 계속해서 발표하고 있습니다. 그래서 저희 회사와 저 또한 사실 제일 쉽지 않은 게 매일매일 공부를 해야 되는 상황입니다. 그래서 저희가 회사에서 사람을 구할 때도 부인을 할 수가 없습니다. 왜냐하면 국내의 전문가란 아직 존재하지 않으니까요. 지금까지 제가 딥페이크와 생성형 AI를 활용한 콘텐츠 세계를 안내했습니다. 보셨던 것처럼 몇 십억의 영화도 이제 AI로 여러분의 창작성을 이용한다면 손쉽게 만들어낼 수 있습니다. 그럼 앞으로 생성형의 미래와 과제에 대해서 한번 고민해봐야 될 것 같습니다. 아직 윤리적 문제점이나 저작권 이슈가 많이 남아 있습니다. 예를 들어서 저희가 생성형 AI로 타이핑을 해서 만들어 온 특정 동물이나 사람의 얼굴이 실제 현존하는 사람의 얼굴일 수도 있습니다. 그러면 그런 것들이 상업적인 용도로 사용되었을 때 그분에 대한 저작권 위반이나 혹은 고발이 들어올 수도 있기 때문에 앞으로 이런 저작권 문제에 대한 큰 고민이 필요할 거라고 보고 있습니다. 여러분들이 이런 AI와 딥페이크를 잘 사용해서 앞으로 다가올 미래의 새로운 창작자가 되시기를 기대하고 있겠습니다. 이어서 구태현 변호사가