WAN 2.2 Animate: due esempi di controllo dell’animazione

Ho esplorato approcci diversi per generare video animati con modelli di intelligenza artificiale, partendo da esperimenti base su ComfyUI con WAN2.2.

In un precedente workflow ho provato a creare un video lungo suddividendo il progetto in tre sezioni distinte, ognuna con un frame di inizio e di fine. Nonostante l’uso di diverse tecniche di controllo, i risultati mostravano ancora limiti evidenti: coerenza del personaggio non perfetta e fluidità video non ottimale. Potete vedere qui i precedenti risultati ottenuti.

Ho quindi ho adottato un nuovo approccio, più strutturato e tecnico. Ho utilizzato 4 mappe di posa per generare tre clip video separate con WAN2.2, sfruttando la funzione first/last frame. Successivamente, ho unito le tre clip in un unico video di base. A questo punto, ho dato in input sia l’immagine della modella (generata in precedenza con Hidream) sia il video di posa al modello WAN2.2 Animate, ottenendo così l’animazione finale. Infine, ho applicato passaggio di interpolazione RIFE per triplicare i fotogrammi, migliorando la fluidità e consentendo un maggiore controllo sulla velocità durante il montaggio.

Successivamente ho integrato nel workflow di lavoro l’utilizzo di un modello 3D in formato fbx scaricato gratuitamente da characters3d.com, dal quale ho generato un video che contiene lo scheletro animato da dare come reference a WAN 2.2 Animate, assieme al personaggio scelto.