Weil das System nicht "lernt", so wie wir das Wort verwenden. Es sammelt Daten, zwischen deren Qualität die KI nicht zwingend unterscheiden kann. Der Unterschied definiert, was wir mit der KI machen können und was nicht - insofern halte ich das für einen der wichtigsten Aspekte.
Im Grunde aber lernen wir Menschen doch auch nicht anders.
Woher glauben wir Menschen zu wissen, welche Informationen, Meinungen oder Ansichten, die uns mitgeteilt werden, stimmen oder nicht?
Wenn wir von vielen (auf anderen Gebieten durchaus kompetenten) Menschen falsche Ratschläge oder Informationen bekommen, glauben wir sie erst einmal, und halten die richtige Information, die uns ein einzelner sagt, für falsch, oder?
Außer, wir wissen es eh schon besser, weil wir unsere eigenen Erfahrungen schon selber gemacht haben und schon wissen, dass die Ratschläge der vielen Menschen eben falsch sind.
Als Menschen können wir gefahrlos Experimente machen, etwa, wenn es um das Kleben von gebrochenen Gitarrenhälsen geht. Wir können verschiedene Klebstoffe etwa an Abfall-Hölzern ausprobieren, und dann den Klebstoff verwenden, der am Abfall-Holz am besten gehalten hat.
KI kann das leider nicht. Sie müsste einen Menschen "beauftragen", besagte "Experimente" durchzuführen, und darauf vertrauen, dass besagter Mensch die Wahrheit berichtet und nicht lügt. Um aus diesen Daten zu lernen, bzw. sich damit zu trainieren.
Aber...!
Wenn wir Menschen keine eigenen Experimente zu dem fraglichen Sachverhalt durchführen können, etwa weil wir dafür nicht die Ausstattung oder Kompetenz haben, bleibt uns Menschen auch nur Vertrauen und Glauben, oder?
Im Grunde kann uns der Automechaniker oder Elektro-Installateur alles mögliche vor-lügen, wenn wir nicht die Kompetenz haben, seine Aussagen zu bewerten, und kein eigenes Wissen zu dem Thema haben.
Dann lassen wir den Motor wechseln, oder die Pumpe unserer Waschmaschine, weil wir nicht wissen können, dass einfach nur ein Kabel unterbrochen war - eine Reparatur für 10€, oder so... (Nur als Beispiel für unser Nicht-Wissen, und Vertrauen oder Glauben an die "Daten", die uns jemand sagt.)
Grüße