HowTo - NAM (Neural Amp Modeler) Plugin / VST Setup auf Windows - 100% kostenlos & high-end

[Lum]

(@mods, sollte das in den howto Bereich wandern, wäre ich sehr verbunden wenn ihr den Einstiege-Thread vom NAM UserThread mit einem Link zu diesem HowTo versehen könntet )

Hi Zusammen,

eine super kurze Anleitung wie ihr NAM (Neural Amp Modeler) in Windows aufsetzen könnt. Das ganze dauert 3 Minuten!
UserThread mit user-profilen (einige von mir) findet ihr hier

Etwas Kontext (könnt ihr skippen, wenn ihr nur schnell das Plugin ausprobieren wollt)
NAM beruht auf neuen Machine Learning Verfahren (WaveNet) und bietet die aktuell akkurateste digitale Abbildung von echten Verstärkern ab, kostenlos!
Dabei werden im Trainingsprozess des Modells ein Neuronales Netzwerk trainiert (ungefähr ähnlich wie chatGPT, aber eben keine transformer-architektur).
Der Trainingsprozess kostet einiges an Leistung (am schnellsten auf GPUs), daher wird zumindest das Training selbst einige Zeit lang nicht physischen Geräten (wie Quad Cortex, Kemper, ToneX) zur Verfügung liegen.
Das Training selbst kann ich auch gerne noch beschreiben, da ich alle meine Amps selbst lokal (mit meiner RTX 4090 ) trainiert habe mit 500-2000 Epochs mit ReAmping Box für die besten Ergebnisse.

Ich kann jedem hier nur empfehlen die 3 Minuten zu investieren um es zumindest mal auszuprobieren. Die Qualität ist schlicht und einfach perfekt.
Wenn ich etwas Zeit habe, lade ich gerne A/B Vergleiche hoch, aber selbst das feeling beim Spielen ist für mich 100% gleich zum echten Amp.

---------------------------------------------------
LOS GEHT'S

Geht auf die github-Seite des NAM Plugins

Ladet den Installer (unter Assets) für windows oder mac runter

Führt den Installer aus und klickt next (wichtig ist mMn nur das VST3 Plugin)

Stellt sicher dass das VST Plugin in einem Ordner liegt, welches von eurer DAW (Reaper, Cubase, Ableton, ...) gescanned wird.
Unter Reaper stehen diese hier:

Fügt zu eurer AudioSpur, welche als Input euren Kanal hat, wo eure Gitarre reingeht, einen FX / Effekt hinzu (hier tauchen nun alle registrierten erkannten VST Plugins auf. Sollte NAM nicht auftauchen einfach nochmal scannen lassen oder den Pfad im letzten Schritt überprüfen)

Ladet in NAM eine AmpSim (auf den Ordern Klicken und eine .nam file auswählen. Im UserThread habe ich einige meiner Amps schon hochgeladen)

Jetzt braucht ihr nur noch eine CabSim / IR (Impulse Response)
Hier gibt es kostenlose (auf youtube einfach suchen) welche ihr mit einem IR Loader danach hinzufügt (unter Reaper ist ReaVerb der kostenlose IR Loader). .
Ich persönlich empfehle Neural DSP Nolly: ihr habt ihr ein einfaches Plugin welches ihr Standalone nutzen könnt, oder nur die Booster-Section, nur die IR Section, oder nur Reverb / Delay.
Kann man kostenlos 2 Wochen testen.

Alternativ könnt ihr euch auch das Tutorial von @Fischi reinziehen und eigene IR bauen!

Am Ende sieht eure Signal-Chain so aus:

D.h. man investiert einmal etwas Geld in CabSims/IR (ich empfehle neural DSP oder GGD (get good drums) Cali / Zilla) und die NAM Amps sowie plugin sind 100% kostenlos.

Eine gute CabSim ist übrigens, wie auch im analogen Leben, sehr sehr wichtig. Speaker, Mics und co formen den Sound erheblich.

Bei Fragen schießt einfach los.

 

[NikiRaveolte]

Vielen Dank @Lum fur die schöne Anleitung.
Ich habe deine Post bezüglich NAM verfolgt jedoch nie so wirklich gecheckt um was es geht. Deshalb ist es ja hier schon die halbe Miete wie man zum Ergebniss kommt wenn man einen guten amp spielen will.

Allerdings verstehe ich einige Sachen nicht so ganz. Habe mit Programmierung nichts zu tun und kann höchstens Arbeitsspeicher wechseln oder mal was downloaden.

Machine Learning Verfahren (WaveNet)

Was genau ist das?

werden im Trainingsprozess des Modells ein Neuronales Netzwerk trainiert

Könntest du das vll auf gut deutsch erklären für jemanden der damit nichts zu tun hat?

daher wird zumindest das Training selbst einige Zeit lang nicht physischen Geräten zur Verfügung liegen.

Was genau meinst du damit?

Das Training selbst kann ich auch gerne noch beschreiben, da ich alle meine Amps selbst lokal (mit meiner RTX 4090 ) trainiert habe mit 500-2000 Epochs

Oh ja, bitte.

Ansonsten finde ich das echt klasse das du das ganze komplexe für einfache Menschen zugänglich machst

 

[Mr. Pickles]

@Lum
Vielen Dank für das Tutorial

+1 für die Beschreibung vom Training, das hab ich null gepeilt, ich bin irgendwie wohl a Depp

 

[KickstartMyHeart]

Super Tutorial, lieber @Lum !

 

[Sharry]

Danke für die Beschreibung
Gibt es diesen Nam auch als Stand-alone App?

 

[Lum]

Was genau ist das?


Könntest du das vll auf gut deutsch erklären für jemanden der damit nichts zu tun hat?


Was genau meinst du damit?

Heya,

ich kann es mal versuchen:
Ein Mini-Theorie / Kontextteil:
WaveNet ist eine Machine Learning (AI) Model welches einer Convolutional Neural Network (CNN) Architektur folgt.

Die Technik des "Faltens" (Convultion) nutzt man um Matrizen (oder Tabellen) auf kleinere Muster runterzubrechen.
Dieses Video erklärt das ganz gut, aber ich breche es hier vereinfacht kurz runter:

In diesem Beispiel wird das Bild (mit wenigen Pixeln und keine Farb-Informationen, aber dient ja nur als Beispiel) in kleine Teile heruntergebrochen. (gefaltet)
So werden Ecken, Kurven und andere Muster erkannt. Da das Modell vorher mit vielen Daten (Beispiele von 0-9) trainiert wurde, erkennt es diese Anhand der Kernbestandteile / Muster in einem Bild und schließt auf die "Bedeutung" 5.

Der letzte Fall war eine Klassifikation. Quasi um von einem "Bild" (einer Tabelle / Matrix aus Daten) zu einer Information (5, die Zahl) zu klassifizieren.
Genauso geht das andersrum. Wenn man eine 5 generieren will, weiß das Netzwerk aus welchen Grundbestandteilen das besteht. So entsteht dann nicht "irgendeine" 5, sondern genau die, mit dem das Netzwerk trainiert wurde.

Anwendungsfälle sind euch bestimmt, wenn ihr's bis hierhin ausgehalten habt, fast klar:
- Texterkennung
- Captcha / Bild / Objekt-Erekennung (das haben wir Jahrelang für google in den Captchas trainiert (; )
- Face-unlock auf euren Smartphones

Wichtig: Ein Training besitmmt die Gewichtung (weight) von den erkannten "Mustern" zu dem gewünschten Output.

Was zum Teufel hat das mit Audio zu tun?

Audio ist Frequenzen. Letztlich eine Ansammlung an Daten (in einem Frequenzspektrum) auf einem Zeitstrahl.

Dadurch ist eine Frequenz-Kurve nichts anderes als viele "Bilder", welche nicht für den Monitor, sondern eben die Soundkarte bestimmt ist

D.h. das kann genutzt werden um wieder entweder zu "klassifizieren" (Voice to text) oder zu "generieren" (text to speech) oder eben unser Ding (audio to audio).

Was passiert beim Trainingsprozess?

Wir füttern das Netz immer mit einem

1. Input (Referenz-wave. 3 Minuten lang Töne und Muster die 99,9% der hörbaren Töne abdecken soll)
2. Output (das zu erreichende Ziel vom echten amp)
3. Anzahl Epochs: wie lange soll ein CNN verschiedene weight's (siehe oben) ausprobieren um ein den Input so zu "falten" um auf den Output (#2) zu kommen

Am Ende sagt einem das Modell, wie viel das Trainierte CNN, mit seinen Gewichtungen bei gleichem Input den Output treffen kann (ESR = error to signal ratio). Also wie viele "Fehler" macht es beim Vorhersagen (generieren/ predicten).
Das weiß das Modell, weil es während dem Trainingsprozess ja immer das Output Signal eures Verstärkers hat als Referenz.

Was ist eine .nam Datei und was tut die mit meinem Gitarrensignal?

Eine .nam Datei enthält zu größtenteils daher die Gewichtungen (weight's) um dem CNN zu sagen, WIE es das Eingangssignal verarbeiten soll um mit einer error-rate von (siehe oben ESR) ein Signal zu generieren, welches dem antrainierten Verstärker entspricht.
Dabei ist das ESR auch nicht als absolutes Qualitätsmerkmal zu sehen: Am Ende zählt natürlich was gut klingt, ist auch gut. Die Verstärker sind mit deutlich mehr Frequenzen trainiert, als eure Gitarre ausgeben kann.
Dazu ist in der .nam file noch Informationen zur Lautstärke und verschiedene Metadaten zum CNN (Layer, Parallelisierung, Auflösung, ...)

 

[Sharry]

Danke für den Versuch uns KI näher zu bringen

 

[NikiRaveolte]

Super, vielen Dank.
Du hast es wirklich gut und einfach erklärt so das ich das verstanden habe.

Eine Frage hätte ich noch und zwar wem gehört dieses CNN bzw. das WaveNet?
Das ist doch irgendwie eine platform die mit Daten von Anwendern gefüttert wird auf die wir als Anwender gerade "kostenlosen" "Zugang" haben.
Kann es dann passieren das wenn man das Teil voll gestopft hat, es dann jamand auf einmal kostenpflichtig macht sobald er satt ist und nichts mehr von den Anwendern braucht als Geld?

Oder verstehe ich da was falsch?

 

[Lum]

@NikiRaveolte WaveNet ist unter MIT License und kann damit frei genutzt werden. (Privat wie kommerziell)

Das ist keine Platform die prinzipiell irgendwo online gehostet wird sondern erstmal nur ein "leeres" AI Modell, welches trainiert werden muss.
Sämtliche trainings mit NAM / WaveNet sind alleinstehend und erzeugen ein in sich geschlossenes Ergebnis.

Ich trainiere meine Modelle lokal, das funktioniert vollständig offline, wenn man mal alles aufgesetzt hast.
Wenn du die einfache Variante von NAM Trainings (Google Colab) nutzt, wird dir dort in der Google Cloud (GCP) eine temporäre Maschine kostenlos zur Verfügung gestellt, die von google aber auch nach 2-3 Stunden wieder weggefegt wird.

Kurz: WaveNet steht kostenlos zur Nutzung, telefoniert nicht "nach Hause" (weil es kein zu Hause hat ) und das resultierende .nam file gehört dir.
Selbst WENN eine künftige WaveNet Version einer kommerziellen License obliegt, was ich btw. nicht glaube weil das Teil auch schon ein paar Jahre alt ist und die meisten ML Modelle kostenlos sind (Ausnahme sind hier die pre-trained transformer ala GPT4, da deren Training viele Millionen $$$ kostet), bleiben die hier verwenden Versionen immer frei nutzbar

 

[r0m4n44]

Sehr coole Erklärung. Benutze den NAM jetzt seit ein paar Wochen fürs Songwriting und ich muss sagen, das kommt echt sehr gut mit den ganzen Ampprofilen! Benutze besonders viel ein 5150 und JCM800 Profil (beide wahlweise mit Tubescreamer geboostet). Auch die sehr aktive Community mit der Facebook Gruppe gefällt mir sehr!
Ich benutze selber die Cali Cabs von GGD, aber habe davor sehr viel NadIR verwendet, das ist kostenlos und die mitgelieferten IRs klingen sehr amtlich!
https://www.igniteamps.com/#nadir
Man muss auf der Seite etwas nach unten scrollen um zu NadIR zu kommen.

 

[Faction90LH]

Hallo
Ich steige gerade erst in das Thema NAM ein, ein gewisser Hintergrund als Medientechniker ist jedoch gegeben.
So wie ich das sehe, ist für die Qualität der Modelle die Anzahl der durchlaufenen Epochs ausschlaggebend, korrekt?
Ferner ist natürlich bei der Modellierung eines amps auch entscheidend, wie das Output- Signal des Systems überhaupt abgenommen wurde?
Sprich, wurde ein Mic vor die Lautsprecher gestellt oder ein Line- Out verwendet, oder sonstiges.
Wäre hier nicht eine Art Load-Box à la Universal Audio OX das Beste, um wirklich nur den Ton der verbauten Elektrik/Röhren einzufangen?

 

[Ranzo]

Das ist ja bei den meisten Profilen so gemacht worden. Deshalb braucht man bei denen dann noch IR für die Speaker/Mikrofon Simulation. Nur bei Profilen, bei denen Full Rig dabei steht, wurde der Lautsprecher bereits miteinbezogen.

 

[Lum]

Genau @Faction90LH.
Ich habe alle meine Profiles mit meinem Suhr ReactiveLoad erzeugt (habe hier auch eine UAD OX und TwoNotes Captor, aber präferiere für DI die Suhr)

 

[Faction90LH]

Alles klar. Vielen Dank euch. Das Ganze wird dank NAM jetzt wirklich ein interessantes Thema. Bin mal gespannt, wie sich die community da weiter entwickelt.