Was ist ein neuronales Netzwerk?

Was ist ein neuronales Netzwerk?

Ein neuronales Netzwerk oder künstliches neuronales Netzwerk ist eine Art von Computerarchitektur, die auf einem Modell der Funktionsweise des menschlichen Gehirns basiert – daher der Name „neuronal“. Neuronale Netzwerke bestehen aus einer Ansammlung von Verarbeitungseinheiten, den sogenannten Knoten oder „Nodes“. Diese Knoten leiten Daten aneinander weiter, so wie in einem Gehirn die Neuronen elektrische Impulse aneinander weitergeben.

Neuronale Netze werden im Bereich des maschinellen Lernens eingesetzt, das sich auf eine Kategorie von Computerprogrammen bezieht, die ohne konkrete Anweisungen lernen. Neuronale Netze werden insbesondere beim Deep Learning verwendet, einer fortgeschrittenen Form des maschinellen Lernens, die ohne menschliches Zutun Schlussfolgerungen aus nicht beschrifteten Daten ziehen kann. Ein Deep-Learning-Modell, das auf einem neuronalen Netz basiert und mit ausreichend Trainingsdaten gefüttert wird, könnte beispielsweise in der Lage sein, Objekte auf einem Foto zu identifizieren, die es zuvor noch nie gesehen hat.

Neuronale Netzwerke ermöglichen viele Arten der künstlichen Intelligenz (KI). Große Sprachmodelle (LLMs) wie ChatGPT, KI-Bildgeneratoren wie DALL-E und prädiktive KI-Modelle beruhen alle bis zu einem gewissen Grad auf neuronalen Netzwerken.

Wie funktionieren neuronale Netzwerke?

Neuronale Netzwerke bestehen aus einer Ansammlung von Knotenpunkten. Die Knoten sind auf mindestens drei Schichten verteilt. Die drei Schichten sind:

• Eine Eingabeschicht
• Eine „verborgene“ Schicht
• Eine Ausgabeschicht

Diese drei Schichten sind das Minimum. Neuronale Netzwerke können neben der Eingabeschicht und der Ausgabeschicht mehr als eine verborgene Schicht haben.

Unabhängig von der Schicht, zu der er gehört, führt jeder Knoten eine Art von Verarbeitungsaufgabe oder -funktion für die Eingaben aus, die er vom vorherigen Knoten (oder von der Eingabeschicht) erhält. Im Wesentlichen enthält jeder Knoten eine mathematische Formel, wobei jede Variable innerhalb der Formel unterschiedlich gewichtet wird. Überschreitet die Ausgabe bei Anwendung dieser mathematischen Formel auf die Eingabe einen bestimmten Schwellenwert, leitet der Knoten die Daten an die nächste Schicht des neuronalen Netzwerks weiter. Liegt die Ausgabe unter dem Schwellenwert, werden keine Daten an die nächste Schicht weitergeleitet.

Stellen Sie sich vor, die Acme Corporation hat eine Buchhaltungsabteilung mit einer strengen Hierarchie. Die Mitarbeitenden der Buchhaltungsabteilung von Acme genehmigen Ausgaben unter 1.000 USD, die Direktoren genehmigen Ausgaben unter 10.000 USD, und der oder die CFO genehmigt alle Ausgaben, die 10.000 USD übersteigen. Wenn Mitarbeitende aus anderen Abteilungen der Acme Corp. ihre Ausgaben einreichen, werden diese zuerst der Buchhaltung vorgelegt. Alle Ausgaben über 1.000 USD werden an einen der Direktoren weitergegeben, während Ausgaben unter 1.000 USD bei den Buchhaltern verbleiben und so weiter.

Die Buchhaltungsabteilung der Acme Corp. funktioniert ähnlich wie ein neuronales Netzwerk. Wenn Mitarbeitende ihre Spesenabrechnungen einreichen, ist das wie die Eingabeschicht eines neuronalen Netzes. Jeder Buchhalter und Direktor ist wie ein Knoten im neuronalen Netz.

Genauso wie ein Buchhalter einen anderen um Hilfe bei der Interpretation einer Spesenabrechnung bitten kann, bevor er sie an den Direktor der Buchhaltung weitergibt, können neuronale Netzwerke auf vielfältige Weise aufgebaut werden. Die Knoten können in mehrere Richtungen kommunizieren.

Welche Arten von neuronalen Netzwerken gibt es?

Die Anzahl der Knoten und Schichten eines neuronalen Netzwerks ist unbegrenzt, und diese Knoten können auf nahezu beliebige Weise interagieren. Aus diesem Grund wird die Liste der Arten von neuronalen Netzen immer länger. Sie lassen sich jedoch grob in diese Kategorien einteilen:

• Flache neuronale Netzwerke haben in der Regel nur eine verborgene Schicht
• Tiefe neuronale Netzwerke haben mehrere verborgene Schichten

Flache neuronale Netzwerke sind schnell und benötigen weniger Rechenleistung als tiefe neuronale Netzwerke, können aber nicht so viele komplexe Aufgaben lösen wie tiefe neuronale Netzwerke.

Es folgt eine unvollständige Liste der Arten von neuronalen Netzen, die heute verwendet werden können:

Neuronale Perzeptron-Netzwerke sind einfache, flache Netzwerke mit einer Eingabeschicht und einer Ausgabeschicht.

Mehrlagige neuronale Perzeptron-Netzwerke erhöhen die Komplexität von Perzeptron-Netzwerken und enthalten eine verborgene Schicht.

Neuronale Feed-Forward-Netze erlauben ihren Knoten nur, Informationen an einen Forward-Knoten weiterzugeben.

Rekurrente neuronale Netze können rückwärts arbeiten, sodass die Ausgabe einiger Knoten die Eingabe vorhergehender Knoten beeinflusst.

Modulare neuronale Netzwerke kombinieren zwei oder mehr neuronale Netze, um zu einer Ausgabe zu gelangen.

Neuronale Netzwerkknoten mit radialen Basisfunktionen verwenden eine spezielle Art von mathematischer Funktion, die als radiale Basisfunktion bezeichnet wird.

Neuronale Netzwerke vom Typ Liquid State Machine verfügen über Knoten, die zufällig miteinander verbunden sind.

Residuale neuronale Netzwerke erlauben das Überspringen von Daten durch einen Prozess, der als Identity Mapping bezeichnet wird. Dabei werden die Ausgaben früherer Schichten mit den Ausgaben späterer Schichten kombiniert.

Was ist ein neuronales Transformer-Netz?

Neuronale Transformer-Netze sind besonders hervorzuheben, da sie in den heute weit verbreiteten KI-Modellen eine überragende Rolle spielen.

Bei den erstmals 2017 vorgeschlagenen Transformer-Modellen handelt es sich um neuronale Netzwerke, die eine Technik namens „Self-Attention“ (Selbstaufmerksamkeit) verwenden, um den Kontext der Elemente in einer Sequenz und nicht nur die Elemente selbst zu berücksichtigen. Durch Selbstaufmerksamkeit können sie eigenständig subtile Zusammenhänge zwischen Teilen eines Datensatzes erkennen.

Diese Fähigkeit macht sie beispielsweise ideal für die Analyse von Sätzen und Absätzen von Text, im Gegensatz zu einzelnen Wörtern und Phrasen. Vor der Entwicklung von Transformer-Modellen „vergaßen“ KI-Modelle, die Texte verarbeiteten, oft den Anfang eines Satzes, wenn sie am Ende angelangt waren. Sie kombinierten dann Textbausteine und Ideen auf eine Weise, die für menschliche Leser keinen Sinn ergab. Im Gegensatz dazu können Transformer-Modelle menschliche Sprache viel natürlicher verarbeiten und erzeugen.

Transformer-Modelle sind ein integraler Bestandteil der generativen KI, insbesondere bei LLM, die Text als Antwort auf beliebige menschliche Prompts produzieren können.

Geschichte der neuronalen Netzwerke

Neuronale Netzwerke sind eigentlich schon recht alt. Das Konzept der neuronalen Netze geht auf eine mathematische Arbeit aus dem Jahr 1943 zurück, in der die Funktionsweise des Gehirns modelliert wurde. In den 1950er und 1960er Jahren versuchten Informatiker, einfache neuronale Netzwerke zu konstruieren, doch das Konzept geriet schließlich in Vergessenheit. In den 1980er Jahren wurde das Konzept wiederbelebt, und in den 1990er Jahren fanden neuronale Netzwerke in der KI-Forschung breite Anwendung.

Doch erst mit dem Aufkommen der hyperschnellen Verarbeitung, der massiven Datenspeicherung und dem Zugang zu Computerressourcen konnten neuronale Netzwerke ihren heutigen Entwicklungsstand erreichen und die kognitiven Fähigkeiten des Menschen nachahmen oder sogar übertreffen. Die Entwicklungen in diesem Bereich sind noch nicht abgeschlossen; eine der wichtigsten heute verwendeten Arten neuronaler Netze, der Transformer, stammt aus dem Jahr 2017.

Wie unterstützt Cloudflare neuronale Netzwerke?

Mit Standorten in mehr als 335 Städten auf der ganzen Welt ist Cloudflare einzigartig positioniert, um KI-Entwicklern überall mit minimaler Latenz Rechenleistung zu bieten. Cloudflare für KI ermöglicht es Entwicklern, KI-Aufgaben auf einem globalen Netzwerk von Grafikprozessoren (GPUs) ohne zusätzliche Einrichtung auszuführen. Cloudflare bietet auch kostengünstige Cloud-Speicheroptionen für die riesigen Datenmengen, die für das Training neuronaler Netzwerke erforderlich sind. Erfahren Sie mehr über Cloudflare für KI.