비디오 생성을 위한 Google의 새로운 AI 모델 뤼미에르 A가 사용된다 새로운 확산 모델이 호출됩니다. 영상 속 물체가 어디에 있는지(공간), 동시에 어떻게 움직이고 변화하는지(시간) 결정하는 Space-Time-U-Net, 즉 STUNet. 아르스 테크니카 이 방법을 사용하면 Lumiere는 더 작은 스틸 프레임을 함께 연결하는 대신 단일 프로세스로 비디오를 만들 수 있다고 이 방법에 주목합니다.

Lumiere는 벡터에서 기본 프레임을 생성하는 것으로 시작합니다. 그런 다음 STUNet 프레임워크를 사용하여 해당 프레임 내에서 객체가 이동할 위치를 대략적으로 추정하기 시작하여 서로 흐르는 더 많은 프레임을 생성하여 부드러운 동작의 모양을 만듭니다. 또한 Lumiere는 Stable Video Diffusion의 25프레임과 비교하여 80프레임을 생성합니다.

물론 저는 비디오 전문가보다는 텍스트 기자에 더 가깝습니다. 하지만 Google의 보도 자료와 사전 인쇄된 과학 논문은 AI 비디오 제작 및 편집 도구가 불과 몇 년 만에 불쾌한 계곡에서 거의 현실로 변했다는 것을 보여줍니다. . 또한 Runway, Stable Video Diffusion 또는 Meta's Emu와 같은 경쟁업체가 이미 점유하고 있는 공간에서 Google의 기술을 확립합니다. 최초의 양산형 텍스트-비디오 플랫폼 중 하나인 런웨이는 지난해 3월 런웨이 젠-2(Runway Gen-2)를 출시하고 더욱 실감나는 영상을 제공하기 시작했다. 런웨이 영상 역시 액션을 포착하는 데 어려움을 겪습니다.

Google은 친절하게도 Lumiere 사이트에 클립과 프롬프트를 배치하여 Runway 전체에 동일한 프롬프트를 배치하여 비교할 수 있게 했습니다. 결과는 다음과 같습니다.

예, 제시된 클립 중 일부는 산업적 느낌을 갖고 있습니다. 특히 피부 질감을 자세히 살펴보거나 장면이 좀 더 분위기 있는 경우라면 더욱 그렇습니다. 하지만 저 거북이 좀 보세요! 그녀는 물속에서 거북이처럼 움직입니다! 진짜 거북이 같아요! 전문 영상 편집자인 친구에게 뤼미에르 소개 영상을 보냈습니다. 그녀는 “이것이 현실이 아니라는 것을 확실히 알 수 있다”고 언급했지만, 내가 그녀에게 그것이 AI라고 말하지 않으면 그녀는 그것이 CGI라고 생각할 것이라는 점이 인상적이라고 생각했습니다. (그녀는 또한 “그렇게 하면 내 직업이 필요하지 않을까요?”라고 말했습니다.)

다른 모델은 실제로 동작이 발생한 위치에서 생성된 키프레임에서 비디오 클립을 연결하는 반면(종이책의 그림을 생각해 보세요), STUNet을 사용하면 Lumiere가 비디오의 특정 시간에 생성된 콘텐츠가 있어야 하는 위치를 기반으로 동작 자체에 집중할 수 있습니다.

Google은 텍스트-비디오 부문에서 큰 비중을 차지하지는 않았지만 점점 더 발전된 AI 모델을 출시하고 멀티미디어에 중점을 두었습니다. 그의 Gemini Grand Language 모델은 결국 Bard에 이미지 생성을 가져올 것입니다. Lumiere는 아직 테스트할 수 없지만 Runway 및 Pika와 같이 일반적으로 사용 가능한 AI 비디오 생성기와 비슷하거나 약간 더 나은 AI 비디오 플랫폼을 개발하는 Google의 능력을 보여줍니다. 참고로 이곳은 몇 년 전 Google이 AI 비디오를 개발한 곳입니다.

2022년 Google Imagen 클립
이미지: 구글

Lumiere는 텍스트에서 비디오로의 변환 외에도 이미지에서 비디오로의 변환, 스타일화된 생성, 사용자가 특정 스타일로 비디오를 만들 수 있도록 허용, 비디오의 일부에만 애니메이션을 적용하는 영화 그래픽, 색상이나 스타일을 변경하려면 비디오 영역을 마스킹하세요.

그러나 Google Lumiere의 연구에서는 “우리 기술을 사용하여 가짜 또는 악의적인 콘텐츠를 만드는 것은 남용의 위험이 있으며 안전하고 공정한 경험을 보장하기 위해 편견과 악의적 사용 사례를 탐지하는 도구를 개발하고 구현하는 것이 필수적이라고 믿습니다. .” 사용됩니다.” 논문의 저자는 이것이 어떻게 달성될 수 있는지 설명하지 않았습니다.

답글 남기기

이메일 주소는 공개되지 않습니다. 필수 필드는 *로 표시됩니다

You May Also Like

글로벌 출시 전 OnePlus 12 휴대폰에 대한 자세한 살펴보기

원플러스에는 있어요 OnePlus 12가 중국에서 공식 출시되었습니다., 최고 사양 모델에는 최근까지 게임용…

Capcom Arcade II Stadium은 7월에 Nintendo Switch에 32개의 고전을 제공합니다. 첫 번째 모습입니다.

참여 닌텐도 라이브 나에게 유튜브 팔로우 캡콤 아케이드 II 스타디움 Leak, 회사는…

그건 달이 아니다 : 베테랑 애플 디자이너, 1,799 달러의 셀 알파 스피커 발표

회사에서 22 년 동안 HomePod에서 원래 iPhone에 이르기까지 모든 작업을 수행 한…

Google의 최신 Pixel 기능에 Circle이 검색, Magic Compose 등에 추가되었습니다.

오늘 Google이 발표하는 것은 Pixel 8 시리즈의 새로운 “신선한” 색상만이 아닙니다. 이…