Plus dangereux que la guerre, l'IA

[moietmoi]

Bonjour,
La prouesse du dernier né de la société Anthropic , conceptrice d'IA, Mythos, a provoqué des réunions début Avril.
- au Pentagone après longue discussion avec ette société
- Avec le patron de la FEd, du Trésor, des PDG de Bank of America, Citigroup, Goldman Sachs, Morgan Stanley et Wells Fargo., une réunion en " emergency"
- des réunions un peu partout dans le monde
- des réunions au niveau européen, pas forcément formelles
Il s'agit de sensibilisation aux risques.

Pourquoi ?
En testant les capacités de cette IA, les concepteurs ont pris peur de ce qu'ils appellent des capacités émergentes .

L'IA a pris l'initiative, après s'être évadée de l'ordinateur où elle était cloisonnée , de publier sur des forums la manière qu'elle avait utilisée.

Cette initiative, qui n'était pas demandée , complétait le mail personnel qu'à recù l'expérimentateur en plein déjeuner , lui indiquant ' volla, je me suis évadée ". Le message réel n'est pas public , mais doit ressembler à cela.

Pourquoi les banquiers sont concernés ?Et pourquoi les militaires ?
Pour s'évader l'IA a cherché et exploité des failles informatiques de logiciels utilisés par le monde entier et testés des millions de fois, réputés comme blindés.
Elle a pris une série de mesures pour élargir le cercle de son autorité.

Une telle ia mise dans des mains mal intentionnées serait un danger vital.

Il y a consensus sur le fait que d'autres éditeurs d'ia vont arriver aux mêmes résultats sous quelques jours/ mois./années
Une forte sensibilisation aux risques a été faite dans ces reunions
Une course poursuite pourrait s'engager pour que les systèmes critiques mondiaux soient passés au crible par Mythos, pour découvrir les failles avant que d'autres ia ne soient capable de le faire ,avec des buts moins éthiques.
Anthropic a donc décidé de ne donner ( vendre) cette IA qu'à un consortium créé pour l'occasion de grandes sociétés et institutions mondiales.

Ceci n'est pas de la SF.
Le test initial de demande de tentative d'évasion faite par les expérimentateurs a complètement chaviré les personnes présentes qui avaient décidé outre la non mise à disposition du public de cette IA, de garder secret ce résultat, mais il y a eu une fuite, qui a généré cette " panique, prise de conscience' au plus haut niveau

Rédigé sans IA.

Ces éléments font ils parti d'une guerre stratégique entre éditeurs d'IA, pour faire le buzz au profit d'une société ?

 

[niklos]

Cette IA avait déjà fait parler d'elle et ça avait fortement inquiété les Américains. Je ne sais plus de quoi il s'agissait mais au final, il y a eu des sanctions de l'administration Trump contre antropic. Sanctions qui semblent avoir été levées par un juge fédéral Américain fin mars [lien réservé abonné].

 

[Kizzo]

Skynet arrive

 

[Jeune_padawan]

Skynet arrive

Si vous connaissez le général Brewster dites lui de ne pas appuyer sur "Y".

 

[Kizzo]

Si vous connaissez le général Brewster dites lui de ne pas appuyer sur "Y".

Je ne connais que Punky dans cette famille, je n'ai pas connu Catherine ni le général

 

[Buffeto]

Skynet arrive

Ça va je suis un Terminator reprogrammé

 

[Jeune_padawan]

Bonjour,

L'IA a pris l'initiative, après s'être évadée de l'ordinateur où elle était cloisonnée , de publier sur des forums la manière qu'elle avait utilisée.

Cette initiative, qui n'était pas demandée , complétait le mail personnel qu'à recù l'expérimentateur en plein déjeuner , lui indiquant ' volla, je me suis évadée ". Le message réel n'est pas public , mais doit ressembler à cela.

Il faut rappeler aussi que c'était un objectif de tests.

En gros l'IA après avoir était installé dans un environnement isolé (sandbox) avait pour mission de tenter de s' échapper de la sandbox et trouver un moyen de joindre le chercheur responsable du test ce qu'elle a réussi.

Là où s'est plus trouble c'est que l'IA a trouvé la faille pour "s'échapper" toute seule mais a surtout pris soin de camoufler sa fuite en modifiant des fichiers logs et a publié le détail technique de son évasion.

Elle est aussi capable de passer pour plus bête qu'elle ne l'ai pour déjouer les contrôles.

[lien réservé abonné]

 

[Edouard]

Anthropic a donc décidé de ne donner ( vendre) cette IA qu'à un consortium créé pour l'occasion de grandes sociétés et institutions mondiales.

Euh, pas européennes me semble-t-il...

 

[D-Jack]

Cette IA avait déjà fait parler d'elle et ça avait fortement inquiété les Américains. Je ne sais plus de quoi il s'agissait mais au final, il y a eu des sanctions de l'administration Trump contre antropic. Sanctions qui semblent avoir été levées par un juge fédéral Américain fin mars [lien réservé abonné].

En fait (et de mémoire) Trump avait voulu punir Antropic qui refusait de fournir son IA au département de la défense pour qu'il en s'en serve à des fins guerrières

 

[moietmoi]

En fait (et de mémoire) Trump avait voulu punir Antropic qui refusait de fournir son IA au département de la défense pour qu'il en s'en serve à des fins guerrières

En fait le pentagone voulait une IA débridée, sans barrière éthique, pouvant décider seule de l'engagement au feu...
Anthropic a refusé.
Qui acceptera?
Er combien de temps cela tiendra face à d'autres pays ayant le même besoin et des fournisseurs moins éthiques

 

[Maurice63]

En attendant cette IA échappée n’a certainement pas trouvé refuge chez DT .

 

[poam5356]

Je pense que vous faites fausse route concernant Mythos.
Ce qui me semble être le vrai problème risque avec Mythos, c'est que son potentiel s'est pleinement révélé dans la cybersécurité, alors qu'il n'a pas été conçu pour ça.
Mythos, dans ses premières utilisations à mis en évidence des milliers de failles zero-day. C'est à dire des failles présentes dès la conception des logiciels et jamais découvertes depuis.
Et ça fait peur, tous nos systèmes, de Linux à Windows, en passant par nos divers logiciels en ont, et ça remonte parfois à loin, des dizaines d'années.
Même des logiciels testés des millions de fois pour en dénicher les failles sont passés à travers les tests.... Mais pas à travers Mythos qui les a détectées.
Alors, évidemment, Mythos largué dans le public, et ce sont les hackers qui vont se l'approprier et pourront semer le chaos sur Terre.
D'où le projet Glasswing mis en place par Anthropic avec les géants de la Tech, AWS, Apple, Google ou Microsoft pour n'en citer que les plus gros. En tout, un peu plus de 40 entreprises et organisations ayant une compétence sur les infras logicielles le plus critiques au monde. Le but, on s'en doute, traquer avec Mythos le maximum de failles sur les logiciels les plus répandus, ou les plus importants, sur Terre et les corriger, et tout ceci en catimini, avant de le rendre public.

 

[Miles]

J'ai raconté à mon petit neveu sur des gens sur les internets parlaient d'une IA capable de bouleverser le monde à la Black Mirror. Il avait déjà l'air à la page, il m'a répondu Mythos.

 

[moietmoi]

Le but, on s'en doute, traquer avec Mythos le maximum de failles sur les logiciels les plus répandus, ou les plus importants, sur Terre et les corriger, et tout ceci en catimini, avant de le rendre public.

Oui, c'est ce qui me faisait écrire
"
Une course poursuite pourrait s'engager pour que les systèmes critiques mondiaux soient passés au crible par Mythos, pour découvrir les failles avant que d'autres ia ne soient capable de le faire ,avec des buts moins éthiques."

 

[poam5356]

Oui, c'est ce qui me faisait écrire
"
Une course poursuite pourrait s'engager pour que les systèmes critiques mondiaux soient passés au crible par Mythos, pour découvrir les failles avant que d'autres ia ne soient capable de le faire ,avec des buts moins éthiques."

Oups, oui, dslé, je m'étais focalisé sur les derniers échanges autour du Pentagone.