Rendhagyó klipet készített új, Balaton című dalához a Szomszéd Srácok zenekar. A kisfilm részben a mesterséges intelligencia segítségével jött létre, amivel egyelőre nemcsak idehaza, de világszinten is kevesen próbálkoztak. Bár a kivitelezés nem lett tökéletes, a végeredmény mégis kifejezetten egyedi alkotásnak tekinthető, ami betekintést nyújt abba, mire lehetünk képesek a jövőben.
Szinte már nincs is olyan dolog, amellyel kapcsolatban ne kérhetnénk a mesterséges intelligencia segítségét – a ChatGPT-hez, a Google Bardhoz és a Bing AI-hoz hasonló nyelvi modellek például játszi könnyedséggel segítenek akár a könyvírásban is; míg az olyan programokat, mint – mondjuk – a DALL-E-t vagy a Midjourney-t arra használhatjuk, hogy élethű képeket hozzunk létre úgy, hogy leírjuk, pontosan mit is szeretnénk látni.
Ezek mellett a közösségi oldalakon hatalmas népszerűségnek örvendenek a különböző, hangmanipulációval foglalkozó mesterséges intelligenciák is – számtalan olyan meghökkentő videót látni például a TikTokon, amelyekben egy dal az eredetitől teljesen eltérő énekes hangján csendül fel. A mesterséges intelligenciában egy magyar zenekar, a Szomszéd Srácok is meglátta a fantáziát, és az elsők között készítettek egy olyan videóklipet, amelyet részben az MI hozott létre.
Az ötletet a klip elkészítéséhez a Corridor Crew YouTube-csatorna egyik videója adta, de a munkafolyamat számos részét a zenekar alkotta meg. Elmondásuk szerint a legnagyobb kihívást az jelentette számukra, hogy a folyamatra mindeddig nem létezett egy kidolgozott workflow, így maguknak kellett menet közben kitalálniuk, hogy pontosan mit és hogyan csináljanak. Ennek eredményeképp sikerült létrehozniuk egy olyan munkafolyamatot, amely akár a későbbiekben is használható lehet más típusú filmes projekteknél.
Mint azt Balázs József Bence, a zenekar dobosa és egyben a klip készítője az Indexnek elmondta, a klipkészítést azzal kezdték, hogy a zenekar tagjairól nagyjából 150-200 fotót készítettek egy speciális green screen stúdióban, majd ezekkel a képekkel egy-egy saját Stable Diffusion AI-modellt tanítottak be. Minderre azért volt szükség, hogy a későbbiekben a bandatagok egyedi arcvonásait felismerve rájuk hasonlító karaktereket készíthessenek.
Ezt követően a zenekar kitalált egy saját rajzos stílust, amit szintén felhasználtak a betanításhoz.
Miután ezzel is megvoltak, ismét egy green screen stúdióban találták magukat, ahol felvették azokat a jeleneteket, amelyekben a zenekar tagjai szerepelnek. Az előadott részeket az általuk kitalált stílusban dolgozták fel a saját Stable Diffusion modelljeikkel, a szükséges háttereket és a főgonoszt pedig 3D szoftverek segítségével modellezték és animálták. Az elkészült assetek kompozitálása, illetve fényelése után meg is született a videóklip.
Az AI beillesztése egy ilyen VFX-munkafolyamatba rendkívül komplex kihívás volt, hiszen itt nem csak egy kattintásos képgenerálásról van szó, több száz munkaóra ugyanúgy benne van az elkészítésben. Az AI segítségével lényegében a képek képkockánkénti megrajzolását tudtuk kiváltani, ami hatalmas idő- és energiatakarékosságot jelentett számunkra, nem beszélve az AI által készített képek »uncanny« jellegéről, ami szintén egy érdekes extrát ad vizuálisan
– magyarázta a zenekar dobosa. A dal egyébként egy pályázati felhívásra készült, ahol a beküldött szerzeményekkel a Balaton sérülékenysége mellett lehetett kiállni.
A dal hangzásvilágát ezért balatoni atmoszférákkal, így például vízcsobogással és sirályok hangjával is kiegészítettük. Emellett a zenei munka során szintén segítségünkre volt a mesterséges intelligencia, a dal írása közben több AI-alapú mixing és mastering plugint is használtunk, de a végleges verzióba »emberi« beállítások is bekerültek
– fejtette ki Jakab Tamás, a zenekar énekes-gitárosa. A Balaton című dalhoz készült klipet alább tekintheti meg:
(Borítókép: Szomszéd Srácok)