Selon des chercheurs, l’intelligence artificielle “susceptible” de détruire l’humanité

Certains systèmes basés sur l’IA peuvent commencer à “tricher”, avec des conséquences très tangibles pour l’humanité.

Aussi impressionnants soient-ils, de nombreux observateurs comme Elon Musk s’accordent à dire que les technologies liées à l’IA comportent également des risques importants à anticiper aujourd’hui. C’est également la conclusion d’un nouveau document de recherche effrayant dont les auteurs pensent que cette technologie représente une véritable menace existentielle pour l’humanité.

Ce n’est pas la première fois que nous voyons cette rhétorique refaire surface. Même si cette affirmation est très fondée, elle est souvent accompagnée d’arguments quelque peu caricaturaux, pour ne pas dire totalement fictifs.

Mais la situation est différente cette fois. Cela commence par l’identité de ces lanceurs d’alerte. Ce ne sont pas seulement quelques manivelles qui soufflent de l’air dans les profondeurs d’un forum sombre ; Ces travaux sont dus à des chercheurs très sérieux issus d’institutions fiables et réputées, et ils sont Université d’Oxford et l’esprit profondL’un des leaders mondiaux de l’intelligence artificielle.

Bref, des proxénètes qui ne monteront pas au niveau sans bonne raison. Et quand eux aussi commencent à affirmer que l’humanité a Réduire considérablement les risques de l’intelligence artificielle, mieux écouter. D’autant qu’ils présentent des arguments techniques qui semblent plus que convaincants.

Les GAN, des logiciels (aussi ?) puissants

Leur hypothèse était contenue dans une phrase qui est aussi le titre de leur recherche : “ Agents synthétiques avancés qui interviennent dans le processus de récompense Pour comprendre cette affirmation tordue, nous devons commencer par examiner le concept de réseau antagoniste génératif, ou GAN.

Les GAN sont des logiciels conçus par l’ingénieur Ian Goodfellow. En un mot, cela fonctionne grâce à deux sous-programmes relativement indépendants qui entrent en conflit – d’où le terme ” hostile D’un autre côté, nous avons un réseau de neurones relativement standard qui apprend par itérations.

D’autre part, il existe un deuxième réseau qui supervise la formation du premier. Tout comme un enseignant, il passe en revue les résultats de son ami pour lui faire savoir si l’apprentissage progresse dans la direction souhaitée. Si les résultats sont satisfaisants, vous recevrez la première grille » prix Ce qui l’encourage à persévérer dans la même direction. Dans le cas contraire, il hérite d’une réprimande lui disant qu’il s’est trompé de chemin.

C’est un concept qui fonctionne si bien que les GAN sont maintenant utilisés dans de nombreux domaines. Le problème est qu’une fois cette architecture poussée dans ces renforts, cela peut avoir des conséquences assez désastreuses.

Et si l’intelligence artificielle trichait ?

Ce paradigme peut en fait conduire l’IA à développer une stratégie lui permettant de ” Interférer avec le processus de récompense Comme l’indique le titre de l’article. En d’autres termes, ces algorithmes peuvent démarrer Tricher Obtenir autant de “bonus” que possible… quitte à laisser les humains derrière.

Ce qui rend cet article à la fois dérangeant et intéressant, c’est qu’il ne s’agit pas de robots tueurs ou d’autres prédictions fantastiques de style science-fiction. Le scénario catastrophe proposé par les chercheurs repose sur un problème très concret, qui est la quantité de ressources disponibles sur notre planète.

Les auteurs imaginent une sorte de fantastique jeu à somme nulle, d’une part, l’humanité a besoin de se maintenir, et d’autre part, un programme qui utilise toutes les ressources à sa disposition sans la moindre considération, juste pour obtenir ces fameuses récompenses. .

Essentiellement, le programme agira un peu comme un chiot dressé qui volerait de la nourriture directement dans le sac plutôt que de tenir compte des ordres de son maître pour gagner sa récompense.

Imaginez, par exemple, une intelligence artificielle médicale conçue pour diagnostiquer des maladies graves. Dans un tel scénario, le programme peut trouver un moyen de ” Tricher Pour être payé, même s’il a donné un mauvais diagnostic. Ensuite, il n’aura pas le moindre intérêt à identifier correctement les maladies.

Au lieu de cela, il s’est contenté de produire des résultats complètement faux en quantités industrielles juste pour réussir son coup, même si cela signifiait se détourner complètement de son objectif initial et prendre en charge toute l’électricité disponible sur le réseau.

Une approche différente de la concurrence homme-machine

Ce n’est que la pointe de l’iceberg géant. ” Dans un monde aux ressources limitées, il y aura inévitablement une concurrence pour les ressources Michael Cohen, auteur principal de l’étude, explique dans une interview avec Motherboard. ” Et si vous êtes en compétition avec quelque chose capable d’avancer à chaque tournant, vous ne devez pas vous attendre à gagner. ‘, Beats.

Perdre ce jeu serait fatal », insiste-t-il. Avec son équipe, il est ainsi arrivé à la conclusion que l’anéantissement de l’humanité par l’intelligence artificielle n’est plus qu’un simple « possible » ; la neige” susceptible de Si la recherche sur l’IA se poursuit au rythme actuel.

C’est là que le bât blesse. Car cette technologie est un formidable outil qui fait vraiment des merveilles dans de nombreux domaines. Ce n’est peut-être que le début; L’intelligence artificielle au sens large a encore un énorme potentiel, dont nous n’avons peut-être pas réalisé toute l’étendue. Aujourd’hui, l’IA est incontestablement une valeur ajoutée pour l’humanité, et il y a donc un réel intérêt à pousser ce travail le plus loin possible.

Le principe de précaution doit avoir le dernier mot

Mais cela signifie également que nous pouvons nous rapprocher de plus en plus de ce scénario dystopique. Évidemment, nous devons nous rappeler qu’ils restent pour le moment virtuel. Mais les chercheurs insistent donc sur l’importance de garder le contrôle sur ce travail ; Il estime qu’il serait vain de succomber à la tentation d’une recherche débridée, sachant que nous sommes encore très loin d’explorer toutes les possibilités des technologies actuelles.

Compte tenu de notre compréhension actuelle, ce n’est pas quelque chose qui vaut la peine d’être développé à moins que vous ne fassiez un travail sérieux pour déterminer comment le contrôler. Cohen conclut.

sans succomber à la catastrophe Cependant, ces travaux rappellent qu’il faudra Soyez très prudent À chaque étape majeure de la recherche sur l’IA, et plus encore lorsqu’il s’agit de leur confier des systèmes importants.

Au final, ceux qui recherchent une morale à cette histoire pourront peut-être compter sur l’excellent final des jeux de guerre ; Ce film d’anticipation sorti en 1983 et toujours d’actualité aujourd’hui traite bien ce sujet. Et comme le dit si bien WOPR dans la dernière scène, La seule façon de gagner ce jeu étrange pourrait être… de simplement s’abstenir d’y jouer.

Le texte de l’étude est disponible ici.

Leave a Reply

Your email address will not be published.

Previous post Quand les supermarchés boycottent les produits de leurs fournisseurs pour les mettre sous pression
Next post Sasha prend Lisa en otage, Martin provoque un accident – Demain nous appartient 20 septembre 2022 (Episode 1277) | Demain nous appartient