Wie die meisten Webseiten nutzen wir Cookies. Nähere Informationen dazu, wie wir mit diesen Cookies umgehen, können Sie in unseren Datenschutzbestimmungen lesen. Einverstanden
Dem Tiles seine AI Videos - Drei neue Alben von Tom Goodnoise
29.12.2024 18:26
MOD
TilesSo. 29 Dez. 2024, 18:26 Uhr
Hallo Freunde,
Ich hoffe, ihr hattet eine schöne Weihnachtszeit.
Ich weihe mal die neue AI Kategorie ein und nutze die Gelegenheit ein wenig in eigener Sache zu spammen
Wie einige von euch vielleicht wissen, habe ich vor einiger Zeit neben der Entwicklung von Bforartists eine Musikkarriere gestartet. Die ersten beiden Singles Darkest Nights und Here comes the morning und das erste Album This is the place erschienen bereits 2021. Allerdings gab es da einige Probleme. Deshalb haben wir beschlossen, den Musikernamen in Tom Goodnoise umzubenennen. Was leider länger gedauert hat als wir wollten und erwartet hatten.
Der Teil ist endlich durch. Und ich freue mich euch mitteilen zu können dass wir nach dem Rebranding neben dem alten Material nun gleich drei weitere Alben veröffentlicht haben. Wings of Fate, Listen to the sound und Dystropia. Der Musikstil ist alternativ mit Dream-Pop und Easy-Listening-Elementen.
Der für mich auch sehr interessante Teil, und der eigentliche Grund wieso ich euch hier heimsuche ist, dass ich die Videos der letzten Jahre nun endlich der Öffentlichkeit präsentieren kann. Ich war ja Early Adopter, und habe gleich von Anfang an mit den neuen AI Tools rumgespielt. Ihr könnt euch meine Frustration vorstellen und wie es mich geärgert hat dass ich die Videos nicht zeitnah veröffentlichen konnte. Die waren ja für die Musik gedacht. Und das zog sich eben ...
Aber nun sind sie endlich raus. Alle Videos sind offline erstellt. Entweder in der WebUI von Automatic1111 oder in ComfyUI. Ich kann mir die Online-Tools wie Midjourney oder RunwayML einfach nicht leisten.
Die neuesten Videos sind historisch gesehen wegen dem Rebranding für die alten Sachen gemacht. Erstellt mit AnimateDiff in ComfyUI. Die ältesten Videos sind in Album zwei zu finden, Wings of Fate. Album drei und vier folgten dann chronologisch.
Das erste Video, das ich jemals mit AI erstellt habe, war der Song In your Eyes vom zweiten Album Wings of Fate, wo ich einfach KI-generierte Standbilder verwendet und sie in DaVinci Resolve zusammengefügt habe.
Die Standbilder waren eine Weile in ja Ordnung. Aber ich wollte Animation. Das erste Animationstool, das ich verwendet habe, war die Deforum-Erweiterung für Automatic1111. Die verwendet eine Seed-Traveling-Technik. Das erste und in dieser Hinsicht wohl visuell grausamste Video, das ich damit gemacht habe, ist der Song She is dancing at the river. Der Beweis, dass man es viel besser machen kann, ist der Song Wings of fate vom zweiten Album. Das stammt aus der Zeit, als man Greg Rutkowsky noch im Prompt erwähnt hat damit man seinen Stil bekommt. Inzwischen geht das so nicht mehr. Ich hoffe, er nimmt es mir nicht allzu krumm. Ich habe Deforum auch in späteren Songs wie Pitchblack verwendet. Große Teile der Videos von Album zwei und drei wurden mit Deforum animiert.
Dann kam AnimateDiff auf den Markt. Ich habe es hauptsächlich in Album vier verwendet. In allen drei Inkarnationen. AnimateDiff 2, AnimateDiff 3 und AnimateDiff LCM, was meiner Meinung nach derzeit das beste und flexibelste AnimateDiff-Modell ist. Die Qualität ist unterschiedlich, abhängig vom verwendeten Modell und meinem damaligen Wissen. Und ich war auch mit meiner Grafikkarte eingeschränkt. Sie hatte nur 8 GB VRAM zur Verfügung. Was mir immer mehr Probleme bereitete. Und ich bin auf so viele OOMs gestoßen, dass ich sie nicht mehr zählen kann. Besonders spassig wenn du mehrere Workflows hintereinander rendern willst, abends schaust was daraus geworden ist, und dir ein Out of Memory Fehler gleich beim ersten Video entgegenlacht.
All is One und Gone vom Album Dystropia sind zwei meiner Lieblingsvideos aus diesem Kapitel.
Einer der größten Nachteile der meisten meiner verwendeten Methoden ist, dass das Ergebnis mehr oder weniger zufällig war. Deforum erlaubt zwar die Verwendung eines Startbilds. Bzw das macht man eben über den gleichen Seed und dem gleichen Prompt. Aber AnimateDIFF kann das nicht. Man kann zwar einen IP-Adapter verwenden um ein Bild reinzufüttern. Aber das ist nicht eins zu eins. Das wird interpretiert. Und es gibt nicht viel Kontrolle über die Animation selbst. Na ja, Controlnet mit OpenPose würde zumindest einige Posen ermöglichen. Aber meine Grafikkarte war dafür zu schwach. Und sogar das Video für Dance with me, das mit Video-zu-Video-Technik erstellt wurde, zeigt ein sehr unterschiedliches Ergebnis. Weit entfernt von den Eingabevideos.
Das ändert sich jetzt langsam. Wir werden mit den nächsten KI-Videogenerierungstools, die gerade auf den Markt gekommen sind, definitiv mehr Kontrolle über das Ergebnis bekommen. Meine nächsten Musikvideos werden also höchstwahrscheinlich mit anderen Tools als Deforum und AnimateDiff erstellt. Ich spiele derzeit mit CogvideoX herum. Hunyuan sieht auch sehr vielversprechend aus. Und ich habe endlich ein Rig, mit dem ich eine bessere Videoqualität produzieren kann. Meine neue Karte hat jetzt endlich 16 GB Vram. Immer noch nicht genug, seufz ...
Ich geb es offen zu, ich bin KI-süchtig. Zumindest, was Bilder und Videos angeht. Die Musik ist und bleibt natürlich handgemacht. Ich verwende KI nur für die Videos. Ich sehe keinen Sinn darin, KI einen Song erstellen zu lassen.
Mal sehen, wohin diese Reise noch führt
Gruss
Reiner / Tom Goodnoise
HerbieDi. 31 Dez. 2024, 10:10 Uhr
Auch wenn ich mich zusammenreißen mußte, habe ich die ersten drei Videos komplett angeschaut/angehört. Dann noch das letzte, das wenigsten mal in einer anderen Tonart war. Von der Diashow im ersten Video wurden die Videos dann langsam interessanter. Das Problematischste ist der Gesang. Eine langweilige Stimme, ein langweiliges, ausdrucksloses Singen. Das zweite ist das völlige Fehlen von Arrangement. Schau dir ein einfaches Beispiel an: Day Tripper https://www.youtube.com/watch?v=WNH9tU_Kd4s Ein strukturierter Aufbau des Songs am Anfang, dann verschiedene Teile, die sich abwechseln. Fast ständig passiert wieder etwas Neues, und es kommt keine Langeweile auf. Dazu der sichtbare Spaß, den die Musiker bein Spielen selbst haben. So wird das ganze zu einem erfreulichen Erlebnis. (Das Video ist 59 Jahre alt!!) Auch z. B. bei ABBA kann man gutes Arrangement studieren Loben kann ich die Soundqualität deiner Songs, auch das Abmischen läßt keine Wünsche offen, die Instrumente sind jeweils in einer harmonischen Lautstärke zueinander. Aber du müßtest dir überlegen, wie du dein Publikum mal so richtig vom Hocker reißen kannst!
MOD
TilesDi. 31 Dez. 2024, 11:05 Uhr
Hallo Herbie,
Ich danke dir sehr für dein wunderbares Feedback. Ich weiss ja dass du vom Fach bist. Und schätze deine Meinung deswegen sehr
Und Danke dass du dir überhaupt die Mühe gemacht hast die Videos anzuschauen. Besonders wenn du die Musik nicht magst. Kudos ! Danke fürs Leiden
Schön dass die Verbesserung im Videomaterial zu bemerken ist. Das wird wohl meine nächste grosse Baustelle. Ich habe endlich mehr VRam und mit den neuen Videomodellen ist endlich etwas mehr Kontrolle möglich. Da muss ich mich wohl doch mal so langsam etwas mehr mit den Regeln der Filmerstellung beschäftigen. Bisher war ich froh dass sich die Bilder irgendwie bewegten ^^
Leider sind deine Kritikpunkte an der Musik genau das was meine Musik ausmacht. Es ist kein Mainstream. Und bricht bewusst und mit voller Absicht die Konventionen die du hier bemängelst. Der montone Flow, die melancholische Stimme und die schlichten Arrangements ist genau das was ich beabsichtige. Das ist genau so gewollt, und genau das was ich fühle wenn ich die Songs schreibe.
Es soll eben gerade nicht Abba sein. Nicht Mainstream. Nicht künstlich aufgeplustert und vollgepackt mit allem. Nicht der hunderttausendste Aufguss der immer gleichen Songs nur mit anderen Noten. Auch wenn mir einiges davon hier und da tatsächlich passiert. Es tut mir natürlich leid wenn ich damit nicht deinen Geschmack treffe. Aber ich kann halt nur meine Musik machen. Abba Songs zu schreiben überlasse ich Abba
Dass ich damit aus der Zeit gefallen bin weiss ich natürlich
Ich komme vom Post Punk, vom Alternative, von den psychedelischen und gerade auch getragenen und langsamen Rocknummern von The Doors oder Pink Floyd, Velvet Underground, American Analog Set etc. . Die Nummer All is One fällt da fast schon ein wenig aus dem Rahmen, die geht arrangementmässig zurück auf Musik von Ash Ra Tempel, oder auch den Song Darshan von David Sylvian und Robert Fripp. Ich bin halt auch ein grosser Fan von Ambient Musik. Brian Eno oder Klaus Schulze, oder auch Steve Roach. So Sachen wie von Radiohead finde ich natürlich auch klasse. Aber auch da eher die ruhigen Sachen, das Spätwerk. Pyramid Song zum Beispiel. Da kann dann einfach kein Abba Song bei rauskommen. Ich bin musikalisch einfach komplett anders verlötet.
Dass ich mit meiner Musik keine grossen Massen vom Hocker reissen kann ist mir natürlich bewusst. Um wirklich gross abzusahnen müsste ich entweder Schlager oder Hip Hop / Rap oder Metal machen. Da ist gerade der Hauptmarkt. Nur ist das halt leider überhaupt nicht meine Musik. Da gehts mir wie dir beim Hören meiner Musik ^^
Ich habe mich bewusst für die Nische entschieden, und dagegen dem Mainstream hinterherzuschwimmen. Auch wenn das natürlich bedeutet dass weniger Leute meine Musik mögen werden. Leute die einfach nur auf der Welle surfen gibts genug. Ich gönne ihnen ihren Erfolg. Aber das wäre mir nicht kreativ genug.
Ich wäre natürlich auch gern ein besserer Sänger. Aber meine Stimme ist eben wie sie ist, die konnte ich bisher leider noch nicht umtauschen. Und der Jüngste bin ich halt leider auch nicht mehr. Aber einen Sänger kann ich mir leider nicht leisten. Und AI Vocals zu nehmen würde mir denn doch wie Cheaten vorkommen. So ist der Gesang eben nicht so gut wie er sein könnte, aber er ist authentisch.
Damit meine Stimme von der AI übernehmen zu lassen habe ich übrigens auch schon rumexperimentiert. Ich hatte mal versucht meine Stimme in eine Frank Sinatra Stimme zu verwandeln, mittels eines AI Voice Converters. Das Ergebnis war mal richtig scheusslich
Es gäbe noch Tools wie Synthesizer V. Oder auch Ace Strudio. Die konvertieren nicht, sondern du hast ein Dutzend Stimmen unter denen du auswählen kannst. Und spielst dann Midi Noten ein, tippst den Text dazu, und dann singt die Ai für dich den Song. Gar nicht mal so schlecht übrigens. Aber wie gesagt, das wäre für mich irgendwie cheaten.
Noch mal vielen Dank für dein Feedback
LG Reiner
HerbieDi. 31 Dez. 2024, 14:55 Uhr
Um groß abzusahnen, braucht man neben einer tollen Musik viel Glück, einen sehr guten Manager und die Unterstützung eines mächtigen Produzenten bzw. einer mächtigen Produktionsfirma. Die meisten tollen Musiker sahnen nicht groß ab. Ich habe schon viele Musikvideos geschaut, die mich zum Heulen brachten, so gut sind die! Aber die Musiker sind unbekannt und verdienen nichts mit ihrer Musik. Beispiel: Schau' nach "MattRach - You (Original)"
Du erwähnst einen Robert Fripp. Ist das der Bob Fripp von King Crimson? Diese Band war für mich damals eine der wichtigsten. Dann passierte was ganz Besonderes. Ich war zu einem King Crimson-Konzert gefahren, ich weiß nicht mehr, wo das war. Jedenfalls eine große Halle ohne Bestuhlung. Ich steh da also so rum, das Konzert hatte noch nicht begonnen, zwängt sich doch plötzlich einer direkt vor mir durch die Menschenmasse und geht einen halben Meter an mir vorbei. Es war er, Bob Fripp! Ich war der einzige, der ihn erkannte.
MOD
TilesDi. 31 Dez. 2024, 15:12 Uhr
Japp. Da erzählst du mir nichts neues ^^
Auf Spotify gibt es inzwischen 100 Millionen Tracks. Und die AI machts nicht besser. Das ist die neue Welle gerade die da reinschwappt. AI generierte Songs, gemacht mit Suno und Udio. Das Kuchenstück das du abbekommen kannst wird immer kleiner. Deswegen höre ich aber nicht auf Songs zu schreiben. Dafür macht mir das einfach zu viel Spass
Robert Fripp war früher bei King Crimson, ja. Coole Anekdote
Das ist der Song den ich meine. Der hatte da mit dem David Sylvian kollaboriert. Grossartiger Track !