Pixelplay - Neue Musikbearbeitungsmöglichkeit für Video

[Maxder]

Hallo Forum,

Bin über diesen Artikel gestolpert:

Ein Ton für jeden Bildpunkt
http://flip.it/P-HFgb

Denkt ihr, es wird das Musikbearbeiten wirklich revolutionieren?

 

[LoboMix]

Wie das im Link gezeigte Video demonstriert, schafft es der Algorithmus tatsächlich, die in der Tonspur gemeinsam erklingenden Instrumente zu extrahieren und zu separieren, was mir zunächst einmal Respekt abnötigt. Dennoch handelt es sich dabei um nichts, was ich nicht auch mit den eigenen Ohren schaffen würde. Leider sind die extrahierten Instrumentalklänge zum Teil massiv durchsetzt mit Artefakten, vor allem das jeweils leisere, bzw. klanglich mehr im Hintergrund stehende Instrument wird regelrecht klanglich entstellt (sehr deutlich zu hören bei den Gitarren).

Mein Fazit: beim gegenwärtigen Entwicklungsstand eine durchaus interessante Studie, praktisch aber noch nicht sinnvoll nutzbar. Aus den klanglich regelrecht geschrotteten extrahierten Spuren etwas neues zu mixen, dürfte schlicht unmöglich sein, zumindest vorläufig.

 

[Zelo01]

Hi

Die Software ist ja ganz interessant, was die kann. Aber wie soll einem das beim Produzieren weiterhelfen? Die Produktion muss ja bereits bestehen, damit sie überhaupt analisiert werden kann. Die Software "zerlegt" eine bestehende Produktion in ihre Einzelteile. Aber was bringt mir das, wenn ich ein neuen Song Produzieren will?

Eine bestehende Produktion in ihre einzelnen Instrumente zerlegen, das kann Melodyne DNA seit Jahren. Und ich behaupte mal in besserer Qualität. Natürlich erkennt Melodyne keine Instrumente auf Bildern, schon gar nicht auf einzelnen Pixeln, aber hier erneut die Frage: Was bringt mir das beim Produzieren? Abgesehen davon, finde ich die protzen da im Artikel sehr rum. In einem einzelnen Pixel kann man ganz bestimmt kein Instrument erkennen, auch moderne KI nicht, auch nicht in 1000 Jahren, denn das ist bloss ein Bildpunkt, mit zugehöriger Farbe und Helligkeit, aber ohne Form, ohne Grösse, und ohne Masse. Ausser der Farbe und Helligkeit gibts bei einem einzigen Pixel nichts zu erkennen.

 

[Banjo]

Hmm, also sonderlich beeindruckt bin ich auch nicht.

Die ganzen Beispiele haben gerade mal zwei Instrumente und mit Ausnahme des zweistimmigen Bläsersatzes immer ein eher perkussives Instrument (Gitarre) und eines mit langem Sustain (Geige, Bläser). Zudem sind die Resultate wir schon gesagt mit heftigsten Artefakten belegt.

Das "im Video drauf deuten und Instrument erkennen" ist nur ein Zusatzgimmick, die Audio-Separation wird dadurch auch nicht besser.

Die Ingenieursleistung ist beeindruckend, eine sinnvolle Anwendung kann ich mir aber angesichts der gelieferten Qualität nicht vorstellen.

Banjo

 

[Telefunky]

Im Prinzip ist das Gesichtserkennung auf Töne umgesetzt.
Spart das Heraushören oder könnte die Notation einer Performance erstellen
(so es denn lange genug lernt...)
Vor Jahren gab es mal ein beeindruckendes Beispiel (auf einem der 'History' Kanäle iirc), bei dem die Sprache von nicht frontal gefilmten Personen anhand des Bewegungsmusters der Gesichtsmuskulatur rekonstruiert wurde. Ist seltsamerweise aber komplett aus dem Netz verschwunden. Das 'Objekt der Begierde' waren seinerzeit die Filme von Eva Braun auf dem Berghof am Obersalzberg.

 

[ACIES]

tjaja...man darf alles essen, aber noch lange nicht alles "wissen"

 

[Gast27281]

Moin, moin!

Naja was das bringen soll entzieht sich mir auch noch völlig!
Ich habe ja sehr viel mit Film und Video zu tun und kenne mich gerade im Konzertfilm ganz gut aus, von daher sehe ich da auch keine sinnvolle Verwendung. Um guten Ton zu erhalten wird man auch in den nächsten 100 Jahren mit guten Mikrofonen arbeiten müssen und um Mehrkanalton zu bekommen erst Recht. Man wird also nicht umhin kommen, mindestens Instrumentengruppen zu mikrofonieren. Ist das Ganze auch noch an eine PA Beschallung gekoppelt, dann kann man diese gleich mit benutzen wenn sie hochwertig genug ist. Das wird heutzutage schon praktiziert und erspart der Filmcrew das zusätzliche mikrofonieren, das wiederum ist pures Geld und Zeit.
Also wozu soll das gut sein? Große Studios die solche Produktionen machen haben eh ihre separate Audioabteilung und setzen dann alles in der Postproduktion zusammen, da würde kein Videotech drauf kommen auch noch am Ton zu schrauben. Bei Leuten wie mir, die fast alles allein produzieren, macht es auch nicht wirklich Sinn, wenn ich eine gute Audioaufnahme habe bin ich um einiges schneller am Ziel als wenn ich mühevoll aus den Filmpixeln Sound extrahieren müsste
um diese dann auch noch nachzubearbeiten. Außerdem haben die meisten Cams nicht wirklich guten Ton auch mit aufgesteckten Richtmikros (auch teuren) bekommt man nur bedingt einen Sound der dem entspricht, sas man sagen kann, es ist ein Genuß das Konzert zu sehen.

Von daher tue ich das als eine Spielerei von Studenten an einer Uni ab, theoretisch bestimmt aufwendig und interessant aber völlig weltfremd.

Greets Wolle

 

[Banjo]

Von daher tue ich das als eine Spielerei von Studenten an einer Uni ab, theoretisch bestimmt aufwendig und interessant aber völlig weltfremd.

Weltfremd wäre es nur, wenn die Schöpfer meinten, das sei jetzt marktreif.

Das ist halt ein Forschungsprojekt, das zeigt, was heutzutage machbar ist (und was nicht). Ohne derlei Foruschung, die derzeit noch am Anfang steht, gibt es dann auch keinen Fortschritt, der irgendwann zur Marktreife führt.

So gesehen könnte man jede Forschung in den Anfängen als Spielerei bezeichnen, ich finde den Ausdruck zu negativ.

Banjo

 

[adrachin]

Na ja, ich kann mir schon sinnvolle Anwendungen vorstellen. Das muss ja nicht auf extrahieren und oder bearbeiten von Tönen im Bild beschränkt sein.

Es gibt ja schon ADR Verfahren. Automatic Dialog Replacement. Da wird der Originalton als Referenz genommen und die synchronisierte Version automatisiert angelegt.

Wenn es möglich ist, Objekte im Bild zu identifizieren und auch den Ton, welchen die machen könnte man sich zum Beispiel sowas wie automatisiertes O-Ton Replacement vorstellen. Auto zum Beispiel das vorbeifährt.......

 

[Banjo]

Vorstellen könnte ich mir auch viele Anwendungen. Dazu müsste es aber besser klingen als das zerflangte Geschwurbel, das im Video zu hören ist. Ganz abgesehen davon, dass es sicher Gründe gibt, warum in allen Beispielen gerade mal zwei Instrumente am Start sind.

Das steckt alles noch in den Kinderschuhen, ach was, Babysocken.

Banjo

 

[Signalschwarz]

Der Anwendungszweck dürfte meiner Meinung nach, und das sehe ich auch für das von Telefunky genannte Beispiel, am ehesten im forensischen Bereich liegen. Jetzt könnte man natürlich noch darüber spekulieren, warum solche Techniken erstmal aus der Öffentlichkeit verschwinden.

Da gab's ja vor relativ kurzer Zeit doch auch von Adobe (?) eine Neuentwicklung in Sachen Sprachsynthese, hat man glaube ich auch nix mehr von gehört.

 

[Telefunky]

und das sehe ich auch für das von Telefunky genannte Beispiel, am ehesten im forensischen Bereich liegen.

falls du damit auf die Berghof Filme anspielst: ich bin selten von Software Projekten beeindruckt, aber das hatte schon Format.
Simple Konzeption: man kann bekanntlich von den Lippen ablesen, nur sind die auf Filmen nicht immer sichtbar. Also hat man die 'Kopfmechanik' modelliert und die Lippenbewegungen mit den zugehörigen Seitenaufnahmen korelliert. Zunächst rein menschlich und dann ein Softwaresystem trainiert das eine Sprachausgabe steuerte. Dessen Stimmcharaktere wurden anhand historischer Tonaufnahmen der Protagonisten rekonstruiert, was speziell bei der Hauptperson extrem schwierig war. Der bekannte Propagandaton hatte mit der Alltagsstimme wenig gemeinsam.
(heute keine Godwin Punkte für mich)

 

[Signalschwarz]

Natürlich meinte ich das Beispiel. Wieviele andere hast Du denn in diesem Thread noch gebracht?

 

[Telefunky]

Heraushören und Notation... aber das ist ja unverfänglich