Tooncrafter, Ai를 활용하면 나도 바로 애니메이션 작가가 될수 있다?

ToonCrafter는 The Chinese University of Hong Kong, City University of Hong Kong, 그리고 Tencent AI Lab에서 공동 개발한 혁신적인 도구로, 만화 이미지 간의 자연스러운 전환을 생성할 수 있는 인공지능 기반의 만화 인터폴레이션 기술입니다. 이 도구는 기존의 선형 모션과 같은 전통적인 방법의 한계를 극복하기 위해 설계되었습니다.

### 주요 특징

1. **툰 보정 학습**:
   - 실사 비디오 모션 우선순위를 만화 도메인에 적응시키는 전략입니다. 이를 통해 실사 비디오 모션을 만화 이미지에 적용할 때 발생하는 도메인 간 격차와 내용 누출 문제를 해결합니다.

2. **듀얼 레퍼런스 기반 3D 디코더**:
   - 압축된 잠재 공간에서 잃어버린 세부 사항을 보완하여, 인터폴레이션 결과물에서 세밀한 디테일을 유지합니다.

3. **유연한 스케치 인코더**:
   - 사용자에게 인터폴레이션 결과에 대한 상호작용적인 제어 권한을 부여하여, 원하는 결과를 보다 쉽게 얻을 수 있습니다.

### 응용 분야

- **만화 스케치 인터폴레이션**:
  - 두 만화 이미지 간의 자연스러운 전환을 생성하여 애니메이션의 프레임을 부드럽게 연결합니다.
  
- **참조 기반 스케치 색칠**:
  - 단일 또는 이중 참조 이미지를 사용하여 스케치를 색칠합니다.

### 기술적 장점

ToonCrafter는 실사 비디오의 모션 우선순위를 만화에 맞게 변형하여, 만화에서 자주 발생하는 비선형 및 큰 모션, 그리고 가려짐(occlusion) 현상을 효과적으로 처리합니다. 이를 통해 기존 방법들보다 더 자연스럽고 설득력 있는 동작을 생성할 수 있습니다.

### 추가 정보 및 사용법

ToonCrafter는 오픈 소스 프로젝트로, GitHub 및 Hugging Face에서 코드를 확인하고 사용할 수 있습니다. 프로젝트 페이지와 논문에서 더 많은 정보를 확인할 수 있습니다.


https://huggingface.co/spaces/Doubiiu/tooncrafter

ToonCrafter - a Hugging Face Space by Doubiiu

이 도구는 만화 애니메이션 제작에 혁신적인 기회를 제공하며, 특히 복잡한 모션을 처리하는 데 강점을 가지고 있습니다. 많은 애니메이터와 연구자들이 이 기술을 활용하여 더 나은 작품을 만들어 나갈 수 있을 것입니다.

직접 제작해본 샘플 이미지와 영상입니다

위 두개의 이미지를 사용해서 생성한 이미지입니다
프롬프트는 랜덤으로 사용하였습니다