Auf den Launch dieser Tool-Version haben viele gewartet: Das Tech-Unternehmen Runway hat endlich die Gen-3-Version des eigenen KI-Videokreations-Tools in die Alphaphase gebracht. Auf X wurden passend dazu bereits erste hochwertige Videokreationen gezeigt. Im Blog Post gibt das Unternehmen an, Runway Gen-3 sei ein großer Schritt nach vorn und basiere auf einer neuen Infrastruktur, die multimodales Training im großen Ausmaß ermöglicht. Das kann dann zu filmreifen Videos führen. Mit diesen möchte Runway im Wettbewerb mit OpenAIs Sora und dem kürzlich gelaunchten Tool Dream Machine von Luma AI oder auch Kling AI aus China mithalten.
Das Tool erhält eine Reihe diverser Funktions-Updates und kann zum Beispiel einzelne Bildbereiche gesondert zum Leben erwecken. Auch die Sicherheitsstandards setzt Runway in den Fokus, ebenso wie die Kooperation mit Filmemacher:innen. Für viele dürften besonders die allgemeine Verfügbarkeit und die personalisierten Versionen von Interesse sein.
Gen-3 Alpha is the first of an upcoming series of models trained by Runway on a new infrastructure built for large-scale multimodal training, and represents a significant step towards our goal of building General World Models.
Prompt: Subtle reflections of a woman on the window… pic.twitter.com/Lw54twUTbs
— Runway (@runwayml) June 17, 2024
OpenAI Sora:
Erste Creator-Videos und ihre Vorteile für das Business
Das alles kann die Nachfolgeversion von Runway Gen-2: Mehr Kontrolle für Creator
Im September 2023 launchte Runway mit Gen-2 bereits eine Tool-Version, die für Aufsehen sorgte. Denn das Text-to-Video-Tool warb damit, User kreieren lassen zu können, was diese sich vorstellen. Gen-2 konnte erstmals ohne Bildreferenz und nur basierend auf Text-Prompts Videos erstellen. Doch derlei Optionen bieten inzwischen viele Tools, weshalb es eine Weiterentwicklung brauchte. Gen-3 wurde für die Alphaversion mit äußerst deskriptiven Captions trainiert, die viele Abläufe anzeigen und diverse Übergänge im Video sowie das Hervorheben einzelner Elemente erlauben. Dafür wurden Videos und Bilder als Grundlage für das Training verwendet. Und als Trainingspat:innen haben sowohl Software-Ingenieur:innen als auch Künstler:innen und Research-Forscher:innen fungiert.
Im Ergebnis kann Gen-3 beispielsweise menschliche Emotionen und Gesten abbilden, wobei auch realistische Bildkomponenten wie Beleuchtung durch einen TV-Bildschirm integriert werden können.
Der Prompt zum Video lautet: „A cinematic wide portrait of a man with his face lit by the glow of a TV“, © Runway
In der neuesten Version des KI-Video-Tools können User auf verschiedene Kontrollmechanismen zurückgreifen. Dazu zählen der Director Mode, Advanced Camera Controls und Motion Brush. Mit letzterem Feature können Creator einzelne Bildelemente unabhängig voneinander bewegen. Die Funktion wurde zu Beginn des Jahres ausgerollt.
Diese Funktionen zur differenzierten Videoerstellung zeigen, wie weit die KI-Video-Tools schon gekommen sind und welche Möglichkeiten sich für User dadurch eröffnen.
Prompt: Handheld camera moving fast, flashlight light, in a white old wall in a old alley at night a black graffiti that spells ‘Runway’.
(10/10) pic.twitter.com/xRreX33g0r
— Runway (@runwayml) June 17, 2024
Mehr Sicherheit und Verfügbarkeit
Besonders erfreulich für Interessierte ist die Aussage von Runway, dass die Alphaversion von Gen-3 in den kommenden Tagen für alle zur Verfügung gestellt werden soll. Mit der allgemeinen Verfügbarkeit stellt sich Runway auf eine Stufe mit Dream Machine von Luma AI; OpenAI Tool Sora, das mit ersten hochqualitativen Videos, die öffentlich geteilt wurden, für Aufsehen sorgte, ist hingegen noch nicht frei zugänglich.
Darüber hinaus werden noch personalisierte Varianten des Tools angeboten, die in Kooperation mit Medien- und Entertainment-Unternehmen erarbeitet wurden. Wer sich dafür interessiert, kann sich bei Runway für Informationen anmelden. Das Unternehmen erklärt zu den Custom-Modellen:
Customization of Gen-3 models allows for more stylistically controlled and consistent characters, and targets specific artistic and narrative requirements, among other features. This means that the characters, backgrounds, and elements generated can maintain a coherent appearance and behavior across various scenes.
This leap forward in technology represents a significant milestone in our commitment to empowering artists, paving the way for the next generation of creative and artistic innovation.
Gen-3 Alpha will be available for everyone over the coming days.
Prompt: A slow cinematic push… pic.twitter.com/cLaZvGpeu6
— Runway (@runwayml) June 17, 2024
Wer auf die neue Version von Runways Tool setzt, kann sich über neue Sicherheitsvorkehrungen freuen. Zum einen werden inhouse Moderationssysteme für die Videos eingesetzt. Zum anderen hat sich das Unternehmen den Standards der Coalition for Content Provenance and Authenticity (C2PA) verschrieben, wie auch TikTok, LinkedIn, Adobe und Co.
Woher aber die Trainingsdaten kommen und ob die Videos möglicherweise auf Content basieren, der frei verfügbar, aber nicht für ein solches Training gedacht war, ist unklar. Auch die kooperierenden Künstler:innen und Medienunternehmen sind nicht namentlich aufgeführt. Und so bleibt für User der Wermutstropfen, dass ein so nützliches Kreations-Tool einen Transparenzmangel aufweist. Dieser könnte auf einer Ausbeutung der Creator Economy basieren, um diese marketing- und umsatzwirksam zu fördern. Das wäre im verschärften Gen AI-Wettbewerb allerdings kein Novum.
Bei den Text-to-Video-Tools zeigt sich jedenfalls eine immense Weiterentwicklung und das Ringen um die Gunst der User – und Business User – geht weiter. Der KI-Experte Jens Polomski schreibt dazu auf LinkedIn:
[…] The Race is on! Was in den letzten Monaten Bild, Text und Audio war, zieht nun wohl auch beim Thema Video ein. Plötzlich wird die Qualität bei mehreren Anbietern bessern und wir kommen von „komisches Bewegtbild“ zu immer realistischeren Videos mit zunehmender Kontrolle […].
Mehr Optionen für deine KI-basierte Videokreation hast du derzeit allemal. Wie das Training für diese vonstattengeht, steht auf einem anderen Blatt.