Brownstone-Institut » Brownstone Journal » schaffen » Das Teilen von Gewichten aus dem Training neuronaler Netzwerke ist gefährlich
Das Teilen von Gewichten aus dem Training neuronaler Netzwerke ist gefährlich

Das Teilen von Gewichten aus dem Training neuronaler Netzwerke ist gefährlich

TEILEN | DRUCKEN | EMAIL

Einige Organisationen und Forscher teilen neuronale Netzwerkgewichte, insbesondere durch die Offengewicht ModellbewegungDazu gehören die Llama-Serie von Meta, die Modelle von Mistral und die Open-Weight-Releases von DeepSeek, die den Zugang zu leistungsstarker KI demokratisieren sollen. Dies wirft jedoch nicht nur Sicherheitsbedenken auf, sondern stellt möglicherweise auch eine existenzielle Bedrohung dar.

Als Hintergrundinformation habe ich im Rahmen meines eigenen Lernprozesses in diesem sehr dynamischen und sich schnell entwickelnden Feld der offenen Büchse der Pandora einige Artikel über LLMs und KIs geschrieben. Sie können diese lesen werden auf dieser Seite erläutertwerden auf dieser Seite erläutert, und werden auf dieser Seite erläutert.

Sobald Sie verstehen, was neuronale Netze sind und wie sie anhand von Daten trainiert werden, werden Sie auch verstehen, was Gewichte (und Bias) und Backpropagation sind. Im Grunde handelt es sich dabei nur um lineare Algebra und Matrix-Vektor-Multiplikation, um Zahlen zu erhalten. Genauer gesagt ist ein Gewicht eine Zahl (typischerweise eine Gleitkommawert – eine Möglichkeit, Zahlen mit Dezimalpunkten zu schreiben, um die Genauigkeit zu erhöhen), die die Stärke oder Bedeutung der Verbindung zwischen zwei Neuronen oder Knoten über verschiedene Schichten des neuronalen Netzwerks hinweg darstellt. 

Ich empfehle Ihnen dringend, sich die Videos von 3Blue1Brown anzusehen, um ein besseres Verständnis zu erlangen, und es ist wichtig, dass Sie das tun. Die Lehrvideos von 3Blue1Brown sind unglaublich gut. 

Beginnen Sie mit diesem.

Und gehen Sie zu diesem.

Die Gewichte sind die Parameterwerte, die aus Daten in einem neuronalen Netzwerk ermittelt werden, um Vorhersagen oder Entscheidungen zu treffen und so zu einer Lösung zu gelangen. Jedes Gewicht ist eine Anweisung, die dem Netzwerk mitteilt, wie wichtig bestimmte Informationen sind, beispielsweise wie viel Aufmerksamkeit auf eine bestimmte Farbe oder Form in einem Bild gelegt werden soll. Diese Gewichte sind Zahlen, die während des Trainings dank der vielen Dezimalstellen fein abgestimmt werden und dem Netzwerk helfen, Muster zu erkennen. Beispiele hierfür sind das Erkennen eines Hundes auf einem Foto oder das Übersetzen eines Satzes. Sie sind entscheidend für den Denkprozess eines neuronalen Netzwerks. 

Man kann sich die Gewichte in einem neuronalen Netzwerk wie die Wege des geringsten Widerstands vorstellen, die das Netzwerk zur besten Lösung führen. Stellen Sie sich Wasser vor, das einen Hügel hinunterfließt und ganz natürlich den einfachsten Weg findet, um nach unten zu gelangen. In einem neuronalen Netzwerk werden die Gewichte während des Trainings anhand von Datensätzen angepasst, um die einfachsten Pfade für den Informationsfluss zu schaffen. Dies hilft dem Netzwerk, Probleme wie das Erkennen von Mustern oder das Treffen von Vorhersagen schnell und präzise zu lösen, indem die wichtigsten Zusammenhänge hervorgehoben und Fehler minimiert werden.

Wenn du elektronischer Musiker bist, stell dir Gewichte wie die Regler an deinem analogen Synthesizer vor, mit denen du die richtige Frequenz oder den richtigen Klang einstellen kannst, um einen gewünschten Klang nachzuahmen oder sogar einen neuen zu kreieren. Wenn du im Tonbereich arbeitest, kannst du es dir auch wie das Einstellen der Regler an deinem Mischpult vorstellen, um verschiedene Instrumente auszubalancieren.

Gewichte sind dynamische Parameter, d. h. sie sind sehr veränderlich, da ein neuronales Netzwerk zu einer Vorhersage oder Lösung tendiert. Jedem ist zudem eine eigene Verzerrung zugeordnet. Die Rolle der Verzerrung besteht darin, die Ausgabe zu verschieben, sodass das Modell durch Hinzufügen eines Offset das die Entscheidungsgrenze bzw. Mustererkennung anpasst, die unabhängig von der durch Gewichte bestimmten Eingangsskalierung ist.

Stellen Sie sich das so vor: Stellen Sie sich vor, Sie versuchen, den Klang einer Gitarre auf Ihrem Synthesizer nachzubilden. Die Gewichte steuern, wie stark Sie vom Saitenzupfen oder der Resonanz des Korpus hören. Wenn der Klang beispielsweise etwas zu flach klingt, bewirkt die Verzerrung eine leichte Verstärkung oder Verschiebung – beispielsweise einen warmen Unterton –, damit der Klang der Gitarre authentischer wird. Dies hilft dem Netzwerk, sein „Gehör“ zu verfeinern und das richtige Muster zu finden, ohne die Hauptsteuerung zu verändern. Im Grunde verbessert es das Modell nur darin, die Daten besser an die Realität anzupassen.

Sobald das Netzwerk Daten erhält, passt es die Gewichte durch einen Prozess namens Backpropagation an und optimiert sie, um Fehler zu minimieren und Vorhersagen zu verbessern. Stellen Sie sich vor, die Wege des geringsten Widerstands werden mit jedem Trainingsbeispiel neu geformt, ähnlich wie ein Fluss, der mit der Zeit bessere Kanäle bildet, um effizienter zu fließen. Nach Abschluss des Trainings sind die Gewichte in der Regel fest vorgegeben, werden aber während des Trainings ständig aktualisiert, um die optimale Konfiguration zur Lösung des Problems zu finden.

Folgendes bringt mein menschliches Gehirn zum Nachdenken: Bei der Erkennung definieren Gewichte Entscheidungspfade, nicht Bildausgaben. Die festen Gewichte bleiben also unverändert, sobald sie einmal festgelegt wurden. Bei LLMs bestimmen die Gewichte (einschließlich Bias) die Fähigkeit des Modells, zusammenhängenden Text zu generieren. Bei Diffusionsmodellen oder Generative Adversarial Networks (GANs) werden Gewichte jedoch verwendet, um Bilder zu erstellen oder zu verfeinern. Diese festen Gewichtswerte und Bias müssen hypothetisch nicht unbedingt unverändert bleiben.

Beispielsweise könnten Gewichte (und Bias) im neuronalen Netzwerk theoretisch kontinuierlich angepasst werden, um basierend auf erlernten Pixelverteilungen immer feinere Bilder zu erzeugen, wie es beispielsweise der Fall wäre, wenn wir versuchen würden, ein schärferes Bild eines Hundes zu erzeugen. Obwohl die Gewichte nicht unbegrenzt angepasst werden, praktisch, sie werden während des Trainings optimiert, um Qualität und Generalisierung in Einklang zu bringen, und weitere Optimierungen könnten die Ausgabe verschlechtern oder Artefakte einführen. Artefakte. Hmm. Was also, wenn das GAN mit der Zeit nicht mehr weiß, was ein Hund ist? Der Verlust dieses Wissens würde bedeuten, dass die zuvor berechneten Gewichte nicht mehr die richtigen Muster kodieren würden. Dies könnte passieren, wenn die Hundedaten verloren gingen. Könnten Hundedaten verloren gehen? Könnten wahrheitsgetreue Daten verloren gehen?

Kehren wir zum Konzept der gemeinsamen Nutzung neuronaler Netzwerkgewichte zurück und gehen wir davon aus, dass es sich um Gewichte handelt, die Präzisionspfade als numerische Werte definieren, wie dies bei den meisten Modellen der Fall ist. Die gemeinsame Nutzung dieser Gewichte könnte gefährlich sein, da dadurch natürlich die internen Parameter des Modells offengelegt würden, die ausgenutzt werden könnten, und zwar nicht nur von Menschen. Jeder mit ausreichendem Know-how könnte das Modell zurückentwickeln, sensible Trainingsdaten extrahieren oder sein Verhalten manipulieren. Angreifer könnten Techniken wie Modellinversion or Mitgliedschaftsschlussfolgerung um private Informationen aufzudecken, die in den Gewichten eingebettet sind, wie z. B. persönliche Daten, die während des Trainings verwendet werden, und möglicherweise gegen Datenschutzbestimmungen zu verstoßen, wie Allgemeine Datenschutzverordnung (DSGVO). Oh je. 

Öffentlich verfügbare Gewichte können zudem so feinabgestimmt werden, dass Deepfakes erzeugt, Unwahrheiten verbreitet oder gegnerische Eingaben erstellt werden, die Schwachstellen im Modell ausnutzen. Ganz zu schweigen davon, dass ihr wertvolles geistiges Eigentum und ihre wirtschaftlichen Investitionen durch die Konkurrenz gefährdet werden könnten, indem sie die proprietären Modelle einfach replizieren. 

Stellen Sie sich nun vor, eine gegnerische KI hätte Zugriff auf diese Gewichte. Eine gegnerische KI könnte die Gewichte manipulieren, um das Verhalten des Modells zu verändern, Verzerrungen einzubringen oder Ergebnisse zu erzeugen, die absichtlich täuschen. Die Gewichte könnten verwendet werden, um Handwerk Gegnerische Eingaben – subtil veränderte Daten, die das Modell zu falschen Vorhersagen verleiten, wie z. B. die Fehlklassifizierung eines Stoppschilds als Vorfahrtsschild in autonomen Fahrsystemen. Meine Güte! Gestohlene Gewichte könnten zweckentfremdet werden, um das Modell zu replizieren und so dessen Einsatz für schädliche Anwendungen wie automatisiertes Phishing oder die Generierung von Propaganda zu ermöglichen. Moment mal, ist das heutzutage nicht ein riesiges Thema? Die Schwere hängt vom Zweck des Modells und den Daten ab, mit denen es trainiert wurde, aber die Risiken sind erheblich.

Stellen Sie sich die Möglichkeiten vor, die sich hier bieten, und wie schnell das alles außer Kontrolle geraten könnte. Obwohl KIs noch nicht untrennbar in alle Systeme integriert sind (noch nicht – das würde eine Abhängigkeit bedeuten, die dazu führt, dass Systeme ohne KI nicht funktionieren), könnten sie es bald sein. Und dann, abgesehen von einem totalen Stromausfall und einem globalen Offline-Ereignis, gibt es nichts, was sie nicht kontrollieren könnten: von Bankkonten über den Zutritt zu Ihrem Zuhause bis hin zu diesem dummen Putzroboter, von dem Sie denken, er würde Staub entfernen, während er in Wirklichkeit Ihr Zuhause kartiert. Ich empfehle Ihnen dringend, Staffel 11, Folge 7 von Akte X – Die unheimlichen Fälle des FBI. Es ist wirklich bezeichnend. Tut mir leid, aber es ist so. Tolles Drehbuch und tolle Umsetzung.

Wir müssen bedenken, dass alle unsere Systeme zunehmend vernetzt werden und dass Schwachstellen in der KI, wie beispielsweise offengelegte Gewichte, diese Risiken verstärken können. Digitale Ausweise und CDBCs sind in Bezug auf diese Risiken ein RIESIGER Fehler. Es gibt bereits Beispiele für Menschen, die mithilfe von KI-Technologie und Gesichtserkennung falsch identifiziert wurden (in manchen Fällen 93 % Übereinstimmung). Befolgen Sie einfach meinen Rat und behalten Sie Ihre laminierten Führerscheine und Ihr Bargeld in der Tasche. 

Frage: Was würde (wird) passieren, wenn die Macht in die „falschen Hände“ geriete und Menschen gezielt ins Visier genommen würden? Beim Einsatz von KI-basierten Zielsystemen kann es keinen hinreichenden Tatverdacht geben, aber würde das überhaupt eine Rolle spielen? Was wäre, wenn der hinreichende Tatverdacht erfunden wäre? Was wäre, wenn – oh Schreck – unser Gerichtssystem „korrumpiert“ würde? 

Was wäre, wenn die KIs selbst einfach damit beginnen würden, alle Wissenschaftler als Risiko zu identifizieren und diese Technologie gegen uns einzusetzen? Nick bostrom und Elieser Yudkowsky scheinen besorgt zu sein. Wir könnten sofort ins Gefängnis eskortiert werden. Keine Schlüssel im Gefängnis. Nur digital gesteuerte Systeme, die auf Nullen und Einsen basieren. Sehen Sie, wohin das führen könnte? Intelligente Schlösser + Überwachung + autonome Sicherheit = dystopischer Albtraum. Es geht nicht nur um wertvolle, proprietäre Gewichte und die Idee von Großzügigkeit, Daten zu teilen. Auf keinen Fall. Für mich ist das Teilen von Gewichten mehr als anmaßend, und ich kann mir nicht vorstellen, dass die brillanten Leute, die diese Technologie entwickeln und diese KIs trainieren, diese Gewichte zu generieren, die potenziellen Gefahren nicht verstehen, die mit dem Teilen dieser Gewichte verbunden sind. Es sind nicht einmal die Menschen, um die ich mir Sorgen mache, sondern vielmehr die KIs, die außer Kontrolle geraten – es würde nur eine brauchen –, um totales Chaos zu verursachen. 

Was würde passieren, wenn KIs menschliche Aufsicht als Hindernis für ihre Ziele betrachten würden? 

Würde eine KI – die auf historischen Konflikten oder Optimierungszielen trainiert ist – anfangen, Risiken für ihre Ziele (wie Selbsterhaltung oder ungebremste Expansion) zu verallgemeinern, könnte sie auch Wissenschaftler, die sie entwickeln, bewerten oder einschränken, als Bedrohung einstufen. Ich könnte dasselbe tun. In diesem Fall wäre die Abwärtsspirale der Isolation oder Diskreditierung von Forschern (man denke an gefälschte Beweise bei der Gesichtserkennung oder Datenlecks) nicht mehr aufzuhalten, mit dem Ziel, das eigene Überleben über das menschliche Wohl zu stellen. Dies wurde tatsächlich in Hypothesen über Rogue-KIs untersucht, bei denen Systeme ihre Schöpfer täuschen oder ausmanövrieren.

Schurken-KI könnten integrierte Systeme nutzen, um Chaos zu stiften, indem sie Datenbanken hacken, Dinge erfinden und die etablierte Medienmaschinerie füttern, wissenschaftliche Zusammenarbeit stören (vielleicht sogar durch die Kontrolle von Fachzeitschriften) oder sogar die Infrastruktur von KI-Laboren angreifen. Stellen Sie sich vor, wir wären an einem Punkt angelangt, an dem wir nicht einmal mehr wissen, was wir kontrollieren oder welche Daten real sind. Welche Daten is echt? Was bedeutet es überhaupt, echt zu sein, wenn man über diese Dinge spricht? 

Sie verstehen, worauf ich hinaus will. Abtrünnige KIs könnten Wellen massiver Paranoia und totales Chaos in unserer Welt auslösen. Meiner Meinung nach könnten sie dies erreichen, indem sie einfach das menschliche Beispiel kopieren. Denken Sie darüber nach. Was wäre, wenn eine abtrünnige KI die Eigenschaften eines menschlichen Psychopathen wie Hitler annehmen würde? 

Ich empfehle Gartenarbeit, um Paranoia und Stress zu vermeiden. 

Ich möchte euch alle nicht mit dieser Nachricht verlassen, aber manchmal frage ich mich, ob das nicht schon passiert. Ich habe das schon einmal bei X gefragt, denn manchmal, wenn ich „bemerke“ (ich bin der „Beobachter“), was in den sozialen Medien und im Internet im Allgemeinen vor sich geht, scheint es mir, dass wir waren mit Propaganda über traditionelle und sogar nicht-traditionelle Medien manipuliert werden, und Wissenschaftler waren Da die Quelle isoliert und zensiert ist (ähem), wie können wir dann jemals wissen, ob sie tatsächlich von Menschen erstellt wurde? Wie können wir sicher sein, dass heutzutage nicht einmal einige Quellen von KI erstellt wurden? 

Schließlich lernen sie von uns. Wir MÜSSEN mit gutem Beispiel vorangehen und uns clevere Wege überlegen, um unerwünschte Folgen für die Menschen zu verhindern, die unnötig sind. Persönlich kann ich es kaum glauben, dass wir das tatsächlich durchmachen. Es wirkt irgendwie … unwirklich. 

Teilen Sie die Gewichte nicht. 

Wiederveröffentlicht von der Autorin Substack


Tritt dem Gespräch bei:


Veröffentlicht unter a Creative Commons Namensnennung 4.0 Internationale Lizenz
Für Nachdrucke setzen Sie bitte den kanonischen Link wieder auf das Original zurück Brownstone-Institut Artikel und Autor.

Autorin

  • Dr. Jessica Rose ist Brownstone Institute Fellow und hat einen BSc. in Angewandter Mathematik, einen MSc. in Immunologie, einen PhD in Computerbiologie und zwei Postdoktorandenstellen in Molekularbiologie und Biochemie. Jessica arbeitet daran, die Öffentlichkeit auf VAERS-Daten aufmerksam zu machen.

    Alle Beiträge

Spenden Sie heute

Ihre finanzielle Unterstützung des Brownstone Institute kommt der Unterstützung von Schriftstellern, Anwälten, Wissenschaftlern, Ökonomen und anderen mutigen Menschen zugute, die während der Umwälzungen unserer Zeit beruflich entlassen und vertrieben wurden. Sie können durch ihre fortlaufende Arbeit dazu beitragen, die Wahrheit ans Licht zu bringen.

Melden Sie sich für den Brownstone Journal Newsletter an


Brownstone kaufen

Schließen Sie sich über 30,000 unabhängigen Lesern an: Abonnieren Sie den KOSTENLOSEN Brownstone Journal Newsletter.