Qu'est-ce qu'un réseau neuronal ?

Qu'est-ce qu'un réseau neuronal ?

Un réseau neuronal, ou réseau neuronal artificiel, est un type d'architecture informatique qui fonctionne sur le modèle du cerveau humain, d'où le nom « neuronal » Les réseaux neuronaux sont constitués d'un ensemble d'unités de traitement appelées nœuds "." Ces nœuds se transmettent des données, à l'image de ce qui se passe dans le cerveau, les neurones transmettent des impulsions électriques.

Les réseaux neuronaux sont utilisés dans l'apprentissage automatique, qui désigne une catégorie de programmes informatiques qui apprennent sans instructions précises. Plus précisément, les réseaux neuronaux sont utilisés dans l'apprentissage en profondeur (deep learning ), un type avancé d'apprentissage automatique qui permet de tirer des conclusions à partir de données non étiquetées sans intervention humaine. Par exemple, un modèle d'apprentissage en profondeur construit sur un réseau neuronal et alimenté par suffisamment de données d'entraînement peut être en mesure d'identifier des éléments sur une photo qu'il n'a jamais vue auparavant.

Les réseaux neuronaux ouvrent la voie à de nombreux types d'intelligence artificielle (IA). Les grands modèles de langage (LLM) tels que ChatGPT, les générateurs d'images d'IA tels que DALL-E et les modèles d'IA prédictive reposent tous, dans une certaine mesure, sur des réseaux neuronaux.

Comment fonctionnent les réseaux neuronaux ?

Les réseaux neuronaux sont composés d'un ensemble de nœuds. Les nœuds sont répartis sur un minimum de trois couches. Les trois couches sont les suivantes :

• Une couche d'entrée
• Une couche « cachée »
• Une couche de sortie

Il ne s'agit là que du nombre minimal de couches. Les réseaux neuronaux peuvent comporter plus d'une couche cachée, en plus de la couche d'entrée et de la couche de sortie.

Quelle que soit la couche dont il dépend, chaque nœud effectue une sorte de tâche de traitement ou applique une fonction sur l'entrée qu'il reçoit du nœud précédent (ou de la couche d'entrée). Concrètement, chaque nœud contient une formule mathématique, chaque variable de la formule étant pondérée différemment. Si le résultat de l'application de cette formule mathématique à l'entrée dépasse un certain seuil, le nœud transmet les données à la couche suivante du réseau neuronal. Si la sortie est inférieure au seuil, aucune donnée n'est transmise à la couche suivante.

Imaginons que la société Acme dispose d'un service de comptabilité doté d'une hiérarchie stricte. Les employés du service de comptabilité d'Acme approuvent les dépenses inférieures à 1 000 dollars, les directeurs approuvent les dépenses inférieures à 10 000 dollars et le directeur financier est responsable d'approuver toutes les dépenses supérieures à 10 000 dollars. Lorsque les employés des autres départements d'Acme Corp. soumettent leurs dépenses, ils s'adressent d'abord aux responsables de comptabilité. Toute dépense supérieure à 1 000 dollars est transmise à un directeur, tandis que les dépenses inférieures à 1 000 dollars restent au niveau de la direction, et ainsi de suite.

Le service de comptabilité de la société Acme Corp. fonctionne un peu comme un réseau neuronal. La soumission d'une notes de frais pas les employés est comparable à la couche d'entrée d'un réseau neuronal. Chaque gestionnaire et directeur agit comme un nœud dans le réseau neuronal.

De même qu'un responsable de la comptabilité peut demander à un autre responsable de l'aider à interpréter une note de frais avant de la transmettre à un directeur de la comptabilité, les réseaux neuronaux peuvent être architecturés de diverses manières. Les nœuds peuvent communiquer dans plusieurs directions.

Quels sont les différents types de réseaux neuronaux  ?

Le nombre de nœuds et de couches d'un réseau neuronal n'est pas limité et ces nœuds peuvent interagir de presque n'importe quelle manière. C'est pourquoi la liste des types de réseaux neuronaux ne cesse de s'allonger. Il est toutefois possible de dégager grossièrement les catégories suivantes :

• Les réseaux neuronaux peu profonds ne comportent généralement qu'une seule couche cachée
• Les réseaux neuronaux profonds comportent plusieurs couches cachées

Les réseaux neuronaux peu profonds sont rapides et exigent une puissance de traitement moindre par rapport aux réseaux neuronaux profonds, mais ils ne peuvent pas effectuer autant de tâches complexes que ces derniers.

Voici une liste incomplète des types de réseaux neuronaux utilisables aujourd'hui :

Les réseaux neuronaux de type perceptron sont des réseaux simples et peu profonds comportant une couche d'entrée et une couche de sortie.

Les réseaux neuronaux de perceptron multicouches ajoutent de la complexité aux réseaux de perceptron et comprennent une couche cachée.

Les réseaux neuronaux à propagation avant permettent à leurs nœuds de transmettre des informations uniquement vers un nœud à progression directe.

Les réseaux neuronaux récurrents peuvent revenir en arrière, ce qui permet à la sortie de certains nœuds d'influer sur l'entrée des nœuds précédents.

Les réseaux neuronaux modulaires combinent deux réseaux neuronaux ou plus pour obtenir la sortie.

Les nœuds de réseaux neuronaux à fonction de base radiale utilisent un type spécifique de fonction mathématique appelée fonction de base radiale.

Les réseaux neuronaux de type machine à état liquide comportent des nœuds connectés de manière aléatoire les uns aux autres.

Les réseaux neuronaux résiduels permettent d'ignorer des données par le biais d'un processus appelé cartographie d'identité, qui combine la sortie des premières couches avec la sortie des couches ultérieures.

Qu'est-ce qu'un réseau neuronal de transformeur ?

Les réseaux neuronaux de type transformeur méritent d'être mis en évidence parce qu'ils ont pris une importance considérable dans les modèles d'IA couramment utilisés aujourd'hui.

Proposés pour la première fois en 2017, les modèles de transformeurs sont des réseaux neuronaux qui utilisent une technique appelée « auto-attention » pour prendre en compte le contexte des éléments d'une séquence, et pas seulement les éléments eux-mêmes. Grâce à l'auto-attention, ils peuvent détecter le lien exact qui existe entre les différentes parties d'un ensemble de données.

Cette capacité en fait l'outil idéal pour analyser (par exemple) des phrases et des paragraphes de texte, plutôt que des mots et des phrases isolés. Avant le développement des modèles transformeurs, les modèles d'IA qui traitaient les textes oubliaient souvent le début d'une phrase lorsqu'ils arrivaient à la fin de celle-ci. Il en résultait des phrases et des idées qui n'avaient aucun sens pour des lecteurs humains. Les modèles de transformeurs, en revanche, peuvent traiter et générer du langage humain d'une manière beaucoup plus naturelle.

Les modèles de transformeurs font partie intégrante de l'IA générative, en particulier les LLM qui peuvent produire du texte en réponse à des invites humaines arbitraires.

Historique des réseaux neuronaux

Les réseaux neuronaux sont en réalité assez anciens. Le concept de réseaux neuronaux apparaît pour la première fois dans un article mathématique de 1943 qui modélisait le fonctionnement du cerveau. Les informaticiens ont commencé à essayer de construire des réseaux neuronaux simples dans les années 1950 et 1960, mais le concept a fini par tomber en désuétude. Dans les années 1980, le concept a été relancé et, dans les années 1990, les réseaux neuronaux étaient largement utilisés dans la recherche sur l'intelligence artificielle.

Toutefois, ce n'est qu'avec l'avènement du traitement ultra-rapide, des capacités de stockage de données massives et de l'accès aux ressources informatiques que les réseaux neuronaux ont pu évoluer jusqu'à leurs capacités actuelles qui leur permettent d'imiter, voire dépasser les capacités cognitives de l'homme. Des développements ne sont pas terminés dans ce domaine ; l'un des principaux types de réseaux neuronaux utilisés aujourd'hui, le transformeur, date de 2017.

Quel est l'apport de Cloudflare pour les réseaux neuronaux ?

Avec des sites dans plus de 330 villes dans le monde entier, Cloudflare est dans une position unique pour proposer une puissance de calcul aux développeurs d'IA avec une latence minimale, où qu'ils se trouvent.Cloudflare for AI permet aux développeurs d'exécuter des tâches d'IA sur un réseau mondial de processeurs graphiques (GPU) sans qu'aucune installation supplémentaire ne soit nécessaire. Cloudflare propose également des options de stockage cloud rentables pour les grandes quantités de données nécessaires à l'entraînement des réseaux neuronaux. En savoir plus sur Cloudflare for AI.