Per KI Frauenstimme aus Männer-Vocals generieren?

[drowo]

Liebe Community,

hat jemand schon Erfahrungen gemacht mit KI generierten Vocals?

Hintergrund Ich schreibe zur Zeit wieder ein Musical. Da ich selbst Sänger bin fällt es mir nicht schwer diverse männliche Rollen als Fake einzusingen, bis ich den passenden Sänger gefunden habe. Soweit so gut.

Aber ... die Mädels, die Mädels. Da ist es echt schwierig. Man kann sich das kleinste Übel raussuchen

• Oktave tiefer singen und so lassen
• Oktave tiefer singen und mit Pitchkorrektur (Melodyne & Friends) oktavieren
• Kopfstimme singen
• mit Power in die Höhe belten und die eigentliche Stimmung des Songs zerstören

Aber egal was man macht, es erfordert von einem potentiellen Feedbackgeber (der Texter, meine Ehefrau, .... ) immer eine gewisse Transferleistung.

Meine Frage / mein Vorhaben
Ich würde mir wünschen ich könnte einen von mir eingesungenen Vocaltrack per KI in eine Frauenstimme umwandeln lassen. Nicht für das finale Recording - da suche ich mir passende Sängerinnen - aber für die endlosen Stunden der Kompositionsphase.
Alternative kann sich natürlich auch eine Sängerin melden die Lust hat zig unbekannte Songs bei jeder Text- oder Melodieänderung neu einzusingen - natürlich für umme

Hat da schon mal jemand was in der Richtung gemacht?

Ich weiß nicht ob ich das richtige Sub-Forum erwischt habe. Gerne verschieben falls es woanders besser passt.

LG

Robert

PS: Wenn möglich bitte keine Diskussion über den Sinn und Unsinn von AI generierter Musik, auch wenn ich weiß dass dieses Thema so manches Gemüt erhitzt

 

[dingbaat]

Ich finde das Thema immer ein bisschen grußelig, aber ich hatte auch mal ein bisschen mit "Kits AI" experimentiert. Einfach um zu sehen, was man aus meiner grausigen Stimmfarbe so rausholen kann
Das Tool kann u.a. eben auch eine existierenden Gesangsspur in verschiedene Vocal Models transformieren, Pitch Shifting inklusive. Je nach Ausgangsmaterial (auch die Sprache ist relevant) und Vocal Model sind die Ergebnis schon wirklich ganz in Ordnung. Kleine (oder größere) Artefakte wirst du aber immer hören, für deinen Anwendungszweck aber wahrscheinlich weniger wichtig.
Nur das Business Model ist leider ein Abo-Modell (Account benötigt), das mag ich persönlich überhaupt nicht. Man kann aber in der kostenlosen Version zumindest mit zwei, drei Vocal Models experimentieren und eine begrenzte Minutenzahl an Material transformieren.
*Und man lädt hier natürlich seine Gesangsspuren auf irgendwelche fremden Server, die dann für das Model Training genutzt werden...

 

[chris_kah]

Kommt auf deine Ansprpüche an. So als Demo für die Band (idee für neue Songs) habe ich das schon mit Pitch Shift und angepassten Formanten gemacht, so dass das nicht ganz gruselig nach Mickey Mouse klingt.

 

[Hans_der _Gustav]

Mit KI habe ich noch keine Erfahrung, aber mein alterwürdiges Boss VF-1 (ca.20 Jahre alt) kann sowas einigermaßen. Dabei wird nicht nur die Tonhöhe manipuliert sondern auch die Formanten. So kann man z.B. auch tiefere Stimmen erzeugen, welche dennoch als Frauen erkennbar sind.
Wahrscheinlich gibt es heute Hardware, welche das noch besser kann.

 

[drowo]

ein bisschen mit "Kits AI" experimentiert

Danke, ich habe mir gerade die Website angesehen. Vom Versprechen her ist es genau das was ich suche: ein trockener Vocals track wird in eine andere Stimme gewandelt. Ich werde es mal antesten und hier berichten.

Kommt auf deine Ansprpüche an

Mein Anspruch an eine KI Lösung wäre schon einigermassen hoch.

Pitch Shift und angepassten Formanten

Mache ich natürlich auch. Die Frage ist: geht es noch ein bisschen besser?

Hardware

Ich habe Plugins die das machen und das Ergebnis ist nicht unbrauchbar aber auch nicht toll.

Danke euch für eure Antworten!

LG Robert

 

[drowo]

Heute habe mal ein bisschen mit den KI Anbietern KITS und Revocalize rumgespielt, jeweils nur mit den Voices die im kostenlosen Probeaccount enthalten sind. Das Original ist 7 Halbtöne unter der Zieltonhöhe. Das shifiing um 7 HT habe ich beim Konvertieren der KI überlassen, sie hat immer das Orginal File bekommen. Hier die Ergebnisse:

• Das von mir eingesungene Original
• Mit ReaPitch +7 Halbtöne geshiftet und Formanten um -4 korrigiert
• KITS, Female Jazz Singer
• KITS, Female Gospel Singer
• KITS, Female Singer Songwriter
• Revocalize, Joanna
• Revocalize, Lora

Die KI übernimmt logischerweise meine sängerischen "Features" wie Vibrato etc. Ich habe als dramatischer Bariton ein ziemlich schweres Vibrato und das klingt bei den eher lyrischen oder gar hauchigen Stimmen unpassend, noch am ehesten passt das bei der Gospelsängerin. Eventuell würde das auch besser werden wenn man die KI auf die eigene Stimme trainiert, was aber logischerweise erst bei den teureren Abos geht.

Insgesamt ist mein Eindruck: ganz klar besser als reines Pitchshifting! Aber immer noch nicht so überzeugend, dass ich gleich Hurra schreiend ein Abo abschließe.

LG Robert

 

[drowo]

Hier ist noch was interessantes, Revocalizer, Modell "Lora" aber in Kopf / Mischstimme in der Zieltonart eingesungen statt tief und 7 HT geshiftet. Meines Erachtens das beste Ergebnis!

 

[MS-SPO]

Interessant.

Mir persönlich gefiel "Singer Songwriter" am besten.

Möglicherweise kannst Du auch ein oder zwei Stimmern per Mischpult überlagern? Könnte die eine oder andere Schwäche kompensieren.

 

[drowo]

Klar, da sind dem Spieltrieb keine Grenzen gesetzt. Bin gerade mit dem letzten Ergebnis ziemlich verblüfft, insbesondere weil der Input eigentlich viel "unschöner" gesungen ist als der Tiefe, aber offenbar killt ein großer Pitchshift viel von der Performance. Bei KITS sind meine Freiminuten für diesem Monat jetzt schon aufgebraucht, sonst würde ich den neuen Input (Kopfstimme in Zieltonart) auch noch mit Singer Songwriter versuchen.

 

[Basselch]

Hallo, Robert,

...spannende Ergebnisse... mein Favorit wäre "Singer/Songwriter", gefolgt von "Lora 2. Versuch", die mir persönlich immer noch ein wenig zu "quäkig" vorkommt, aber schon wesentlich besser ist als die Lora aus dem 1 Versuch
Interessant, was heute so alles geht...

Viele Grüße
Klaus

 

[chris_kah]

Insgesamt finde ich die Ergebnisse doch sehr überraschend, vor allem im Vergleich zu Pitch Shift+Formanten, wo das immer noch etwas nach Mickey Mouse klingt.

Bräuchte ich vorzeigbare Demos würde ich jetzt über so etwas nachdenken.
Bei mir geht es aber darum, der Sängerin eine Ahnung Ihrer Singstimme im Arrangement zu geben. Singe ich in meiner tiefen Lage, kann sie das schlecht abnehmen und wenn ich hoch in Kopfstimme singe, versucht sie auch hoch zu singen ... Daher die Krücke mit dem Pitch shift

 

[topo]

Ich bin auch positiv überrascht, was da bei den Vocals schon geht. Allerdings gefällt mir das Abo Modell überhaupt nicht.
Ob da auch noch was für Gitarren kommt?

Topo

 

[drowo]

Vielen Anbietern bieten auch Voice Changing für Instrumente. Die lädst einen Track hoch, z.B. mit Gitarre eingespielt und lässt in Saxophon umwandeln. Hab es aber noch nie ausprobiert.

 

[turko]

Die Frage ist: geht es noch ein bisschen besser?

Ich denke, das ist, was Du suchst ... :

Nectar 4 | iZotope Vocal Mixing Software

Achieve professional-quality vocals effortlessly with Nectar 4. This comprehensive vocal mixing tool provides a complete set of features for mixing, producing, and designing vocals.

www.izotope.com

Menüpunkt/Funktion "Becker" anschauen ...

Thomas

 

[drowo]

Sieht gut aus. Werde ich mal testen. Mit Yamaha Vocaloid hatte ich auch schon gespielt, aber das hat sein Stärken mehr im Generieren von Vocals aus Midi und Text.

 

[turko]

Werde ich man testen.

Vielleicht kannst Du danach ja Deine Erfahrungen damit hier kundtun.
Ich selbst besitze "Nectar" seit kurzem, und kenne das Ding nicht aus eigener Erfahrung, sondern bin nur beim Studieren des "Nectar"-Handbuchs auf
diese Funktion gestoßen. Hab` sie selbst aber noch nie ausprobiert.

Thomas

 

[drowo]

Kann ich machen.

 

[drowo]

Ich habe Nectar installiert und kurz angetestet. Damit kann man phantastische Sachen fürs Vocals Mixing machen, aber für meinen Anwendungszweck - einer Lead Vocals Stimme eine neu Stimmfarbe zu geben, ggf mit Geschlechtsumwandlung - scheint es nicht so geeignet zu sein. Die Backer Stimmen klingen für Sologesang nicht realistisch genug, da scheinen mir die AI Engines von KITS, Revocalize bzw Musify (hab ich mir auch noch angesehen) leistungsfähiger. Auch unterscheiden sich die 4 Frauenstimmen und die 4 Männerstimmen von Backer für meine Ohren jeweils kaum. Ich brauche aber 3 deutlich unterscheidbare Frauenstimmen und wenn ich schon dabei bin, auch 3 deutlich unterscheidbare Männerstimmen. So kann ich jeder Rolle noch vor dem Casting eine eigene Stimmfarbe gönnen.

Apropos gönnen: ich habe mir jetzt ein Abo von Musicfy gegönnt:

• Das günstigste Abo liegt bei 10€ und mit Black Friday Deal bei 4,50€ für einen Monat.
• Die Auswahl an deutlich unterscheidbaren Stimmen ist groß, ca 40 Stimmen, 50% male 50% female (Revocalize nur 2/2)
• Die Anzahl der Konversionen ist auch für dieses Starter Abo nicht begrenzt. (KITS 60 Minuten).
• Die darunter liegende KI Engine scheint bei allen Anbietern ohnehin die gleiche zu sein

Wenn ich mal das erste Duett aufgenommen habe, stelle ich hier einen kurzen Auszug ein.

LG Robert

 

[turko]

Danke für Deinen Bericht.
Der hilft mir sehr ... und erspart mir viel unnötige Zeitverschwendung, in der ich mir die selben Ergebnisse hätte erarbeiten müssen ...

Wie gesagt, ich hatte es noch nie probiert, und lerne das Feature selbst erst durch den geschriebenen Text im Handbuch kennen ...
Tut mir leid, wenn ich Dich damit in eine falsche Richtung gelenkt habe.

Thomas

 

[drowo]

Kein Thema. Ich habe aber auch nicht viel Zeit rein gesteckt, dadurch ist mir sicher das eine oder andere entgangen

Beitrag automatisch zusammengefügt: 05.12.23

Die Auswahl an deutlich unterscheidbaren Stimmen ist groß, ca 40 Stimmen

Ich habe mal 7 Männer rausgesucht um in einen Unisono Chor mehr Stimmfarben reinzubringen. Ein paar der Jungs müssen eineiige Zwillinge gewesen sein. LOL

Es sind auch bisher alles Tenöre. In den unteren Registern schein auch nicht viel Trainingsmaterial vorhanden gewesen zu sein. Da fängt die KI an zu improvisierten.

Na ja, ist halt alles auf Pop getrimmt. Wer ausser mir braucht schon KI Stimmen für Musical?