Audacity goes AI

[MaxJoy]

Audacity lädt jetzt AI-Plugins und hat gewaltig aufgerüstet:

• Speech to Text (Texte diktieren)​
• Stem Separation (Song in Spuren aufspalten).​
• AI Noise Reduction (Rauschunterdrückung)​
• Song Generation​
• Song Remixing​

In Zukunft sollen noch mehr interessante AI-Projekte in Audacity integriert werden. Damit bietet das Programm eine kostenlose und angenehme Oberfläche, um einigermaßen am Ball bei der AI-Musikbearbeitung zu bleiben.

 

[hobz biz-zejt]

Klingt interessant, hab nach mehr Infos gesucht.

Bei Audacity selber werden die AI-Möglichkeiten hier beschrieben:

Audacity ® | Introducing OpenVINO AI effects for Audacity

Intel has built a suite of AI tools for Audacity, useful for spoken word audio and music alike. These AI features run 100% locally on your PC.

www.audacityteam.org

Weiterführender Link zu Music Style Remix wär das hier:

openvino-plugins-ai-audacity/doc/feature_doc/music_style_remix/README.md at v3.4.2-R1 · intel/openvino-plugins-ai-audacity

Contribute to intel/openvino-plugins-ai-audacity development by creating an account on GitHub.

github.com

Videos, die das Ergebnis zeigen, hab ich noch nicht gefunden.

 

[TeJo]

Mit dieser Anleitung (@hobz biz-zejt: danke für den Link!) lassen sich die AI-Tools in der Tat auch unter Ubuntu 22.04 installieren und zum Laufen bekommen (genauer gesagt auch unter Kubunutu 22.04).
Man muss sie allerdings gegen Audacity 3.4.2 bauen, d.h. dort, wo in der Anleitung eine Spezifizierung der Audacity-Version als "Option" genannt wird, muss man auch den entsprechenden Tag einsetzen, sprich, die Audacity-Version auf 3.4.2 spezifizieren, sonst baut das Skript die Module gegen eine neuere Version (ich glaube 3.6.X alpha) und das klappt nicht.
Vermutlich klappt es auch unter Ubuntu-Studio 22.04, aber das habe ich nicht getestet.

Auch mehrere parallele Audacity-Installationen sind unter Ubuntu möglich, z.B. Flatpak, AppImage und Custom-Build mit den AI-Tools, letzteren muss man allerdings aus dem Terminal starten.

 

[losch]

Was ich auch tue, bei mir vermisst Audacity eine avformat-60.dll beim Aufruf einer der KI-Funktionen unter Windows10.

 

[MaxJoy]

Error: Failed to load shared library 'avformat-60.dll'

Installing FFmpeg | Audacity Support

FFmpeg allows you import/export additional audio file formats into/from Audacity

support.audacityteam.org

Beitrag automatisch zusammengefügt: 08.04.24

Die AI-Rauschunterdrückung funktioniert definitiv besser als mit meinen bisherigen Tools. Mit der Stem Separation bin ich nicht zufrieden, das Ergebnis klingt immer nach Mittelwellenradio und ist unbrauchbar. Vielleicht liegt es daran, dass ich keine NVIDIA-GPU in meinem Rechner habe und die CPU nutzen muss.

 

[TeJo]

Hast Du alle Dateien aus "Audacity-OpenVINO-Module-3.4.2-R1.zip" kopiert? Ich hatte diesen Fehler unter Windows 10 auch, bis ich alle daraus kopiert hatte. Wird in dem Video gut gezeigt

 

[losch]

Installing FFmpeg | Audacity Support

FFmpeg allows you import/export additional audio file formats into/from Audacity

support.audacityteam.org

Vielen Dank für den Hinweis, aber das war bereits schon länger installiert und auch die Erneuerung brachte leider keinen Erfolg.

Beitrag automatisch zusammengefügt: 08.04.24

Hast Du alle Dateien aus "Audacity-OpenVINO-Module-3.4.2-R1.zip" kopiert? Ich hatte diesen Fehler unter Windows 10 auch, bis ich alle daraus kopiert hatte. Wird in dem Video gut gezeigt

Ja.

 

[MaxJoy]

Die OpenVino Songgeneration ist noch nicht ganz von dieser Welt, kein Vergleich mit suno.ai.

 

[hobz biz-zejt]

...kein Vergleich mit suno.ai.

Das war genau meine Frage:
Die Ergebnisse bei suno find ich überragend, aber der eigene Anteil an der Erstellung ist praktisch Null. Was Audacity bietet, ist die Möglichkeit, selber eingespieltes zu "remixen". Wenn das hieße, dass man Ergebnisse kriegt die klingen wie bei suno, aber mit eigenen Demo-Ideen, wär es genial (gewesen).

 

[MaxJoy]

Aus suno kann man viel mehr heraus holen, als es auf den ersten Blick scheint. Die Schlüssel sind möglichst treffende Prompts, die Tags in den Texten und das schrittweise Zusammenstellen des ganzen Songs aus den vorgeschlagenen Abschnitten. Man entwickelt also Ideen in kleinen Schritten im Dialog mit der Maschine. AI-Flüsterer ist jedenfalls ein Beruf mit Zukunft.