Optische Verbesserung oder Renderbeschleunigung

In den letzten Jahren hat sich ja drastisch etwas im Bereich der künstlichen Intelligenz gemacht.

Ein paar interessante Dinge sind z.B. KI Textur-Generierung und optimierung, KI Modelerzeugung, usw. wobei das alles ruhig noch etwas reifen darf, obwohl die Textur-Erzeugung mit allen möglichen Passes auch Bump oder Displacement maps inzwischen schon ziemlich cool ist. Von Stimmenerzeugung, Musikerzeugung oder Fullbody Kamera Motion tracking usw. will ich jetzt aber noch gar nicht reden.

Ich habe in der letzten Woche ein paar sonstige nützliche und interessante KI-Tools angeschaut weil ich ja seit einer Weile nun einen schnellen CUDA Rechner habe, damit auch alles flutscht und probiere gerade eine optimierte Renderpipeline aus. Der Rechner kann ungleich schneller Frames auswerfen als ich generieren und animieren kann.

Noch weiß ich nicht, was ich sonst noch so alles tun kann, sollte und muß, habe aber schon ein paar richtig geniale Freeware/Opensource Tools zu den Topics Denoising, Upscaling und Videointerpolation gefunden.

Gibt es noch andere super nützliche automatisierungs-Tools, mit denen man die Animationen beschleunigen, verbessern oder sonstwie optisch aufwerten kann?

Im Moment probiere ich alle möglichen Algorithmen und Settings aus, ebenso bin ich mir nicht ganz sicher, was die optimale Pipeline ist. Klein Rendern, dann denoisen, dann upscalen, dann interpolieren oder irgendwie anders herum.

Hat schon irgenjemand damit Erfahrungen gemacht und sich seine persönliche "Pipeline" aufgebaut? Für sonstige Vorschläge an Algorithmen, Tools und Plugins bin ich sehr offen. Vielleicht hat auch jemand eine Idee, wie man logisch durch Nachdenken die perfekte Pipeline aufbauen könnte. Es könnte ja auch sein, daß alles nicht gut für Animationen war, dann würden mich Eure Erfahrungen interessieren.

Huhu,

Ich spiele schon eine ganze Weile mit AI rum. So richtig in eine 3D Pipeline habe ich das aber noch nicht gegossen. Eher Standalone. Und ich bin auch weit weg davon ein Crack zu sein. Ich mache damit Videos für meine Musik.

Für ein konkreten Tip bräuchte ich wohl ein konkretes Beispiel was genau du anstellen willst. Vielleicht kenne ich da ja dann was.

Angefangen habe ich damals mit einer Stable Diffusion Extension namens Deforum. Da hat man nicht sonderlich viel Kontrolle über das Ergebnis. Man gibt ein Anfangsbild an, und einen guten Prompt und hofft dann eben das Beste. Im Moment bin ich bei einer anderen Extension namens AnimateDIFF gelandet. Und von was ich ganz die Griffel lasse ist Animate Video Diffusion von den Machern von Stable Diffusion. Die Lizenz erlaubt keine kommerzielle Nutzung ...

Es gibt zwischenzeitlich auch eine SD Extension mit der sich Open Pose Posen als Basis verwenden lassen. Controlnet. Das ermöglicht theoretisch etwas mehr Kontrolle über das Ergebnis.

Mit was ich auch rumgespielt habe war Video to Video. Im Prinzip könntest du in deiner 3D Software Klötzchen animieren, und SD macht daraus dann ein hübsches Video. Oder du nimmst ein Tanzvideo und die AI baut das dann passend um. Auch da kann man Open Pose zwischenschalten.

All die Sachen nutze ich in zwei Lösungen. Einmal das Ding von Automatic1111 und ComfyUI. Das von Automatic1111 ist eher grafisch gehalten. ComfyUI ist ein Node basierter Workflow. Fluch und Segen zugleich. Und natürlich immer Stable Diffusion basiert. Die anderen AI Lösungen sind ja closed ...

LG Tiles

Mal weitertippen hier, gestern war schon spät ^^

Es gibt ja wie von dir schon rausgefunden spezielle AI Upscaler für Videos. Sprich du könntest in kleiner Auflösung rendern und die AI rechnet dir das grösser. Damit kenne ich mich allerdings nicht aus, ich kann dir nicht sagen welche die Besten sind. Da müsste ich selber erst mal recherchieren gehen.

Vieles davon ist Online, weil das Rechenleistung verlangt. Aber das sollte bei dir kein Problem sein. Kostenlos gibts da allerdings nicht viel. DaVinci Resolve hat das Upscaling übrigens schon seit mehreren Jahren drin, das nennt sich da Superscale. Ist allerdings ein Pro Feature.

Mal in meinen Bookmarks gestöbert. Da gibts so viel was ich noch ausprobieren wollte. Und jeden Monat kommt neues dazu ^^



https://www.mootion.com/?source=7

Wozu übrigens alles sauber raus rendern? Gute Videodenoiser bekommen den Müll locker aus dem BIld gefiltert. Da habe ich auch ein schönes UI-Tool gefunden, welches z.B: die Intel und Nvidia Denoiser verwerden kann: https://taosoft.dk/software/freeware/dnden/updates/download.htm

Also was ich gar nicht übel finde ist z.B. https://github.com/n00mkrad/cupscale welches diverse Algorithmen verwendet und auch ncoh kaskadieren kann. Das wird aber aktuell glaube ich nicht mehr weiter entwickelt, dafür gibt es jetzt das hier: https://www.upscayl.org/

Für Echtzeit Upscaling gibt es auch kostenlose Player und Player Plugins ist der hier ziemlich gut: https://github.com/bloc97/Anime4K unten sind die Links zu Player damit.

Ein paar Algorithmen können fast schon wunder vollbringen und alle Artefakte aus den Bildern filtern z.B. ESRGAN



Siax finde ich auch super: https://openmodeldb.info/models/4x-NMKD-Siax-CX

Für Video interpolation ist Flowframes sehr gut https://github.com/n00mkrad/flowframes

Der große Vorteil ist nicht nur, daß man kleinere Bilder rendern kann und nahezu verlustlos vergrößern, sondern auch noch Artefakte entfernt und z.B. das Filtern ruhig weg lassen kann, weil die Algorithmen das besser können als super langsame übliche Filteralgorithmen in Renderern.

Manche davon können auch echte "Wunder" bewirken und aus praktisch unlesbaren Bildern fantastisch Bilder errechnen. Um zu sehen, was es jetzt schon gibt lohnt sich ein Blick in die Open Model DB https://openmodeldb.info/ wo man alle Algorithmen mit mehreren Beispielen in Echtzeit ausprobieren und vergleichen kann.

Sowas wie Realwebphoto ist einfach der Hammer: https://openmodeldb.info/models/4x-RealWebPhoto-v4-dat2

Ich bin momentan schwer begeistert, was alles sich an Möglichkeiten auftut um das Rendern zu erleichtern, zu vereinfachen und die Ergebnisse superschnell zu optimieren.

Mein Ziel ist es eine einigermaßen stabile Animation Optimizer Pipeline mit solchen Tools und Algorithmen aufzubauen.

Ja, sehr viele geile Möglichkeiten. Bin mal gespannt was du dir da zusammenstellst

Upscaling kann wahre Wunder vollbringen. Aber es kann nur Detail hinzufügen wo schon eine Basis dafür ist. Der bessere Weg ist imo die Details schon drin zu haben. Was du mit AI Upscaling gut machen kannst ist ein Oversampling. Hochrechnen und wieder runterskalieren haben wir ja früher schon beim 3D Rendern gemacht. Doppelt so gross gerendert, dann runterskaliert für ein crispes Ergebnis

Flowframes war bei meinen letzten Versuchen etwas holprig. Ich interpoliere inzwischen mit DaVinci. Oder direkt in ComfyUI. Aber das ist halt für die AI generierte Videos ein letzter Arbeitsschritt im Workflow. Ich glaube die Interpolation Node gibts gar nicht Standalone.

RealESRGan habe ich hier auch lokal installiert. Ist aber schon etwas älter. Da gibts inzwischen auch viel geiles neueres Zeug.

Ich glaube das hier ist im Moment State of the Art. Der Preis auch ^^

https://www.topazlabs.com/topaz-video-ai

"Sowas wie Realwebphoto ist einfach der Hammer"

Dazu habe ich eine Frage. Ich habe diese Datei "4xRealWebPhoto_v4_dat2.pth" heruntergeladen, weiß aber gar nicht, was ich damit anfangen soll. Wie geh ich da vor, daß ich damit ein Foto verbessern kann? Weder auf der Downloadseite noch sonst irgendwo konnte ich dazu etwas finden.

Das PTH File ist ein trainiertes AI Weight. Die Endung steht für ein PyTorch File. Kann aber auch ein *.safetensor File sein. Das läd man runter und packt es an die richtige Stelle damit die Software damit arbeiten kann. Hmm, RealWebPhoto ist leider nicht wirklich gut dokumentiert. Aber ich denke du klonst das Repo, dann packst du das Weight an die richtige Stelle, und vermutlich wird das dann über die Commandline bedient. Aber ich finde leider die wichtigen Infos nicht. Crush, hast du das schon benutzt?

Danke, Tiles. "ich denke du klonst das Repo, dann packst du das Weight an die richtige Stelle"
Was bedeutet du klonst das Repo? Und was ist "die richtige Stelle"?