Tendances technologiques

Deviner et vérifier : une histoire d’horreur sur l’IA et le matériel

05.24.20262 min de lecture
Bande dessinée « An AI hardware horror story » : le schéma de câblage deviné par l’IA provoque un court-circuit franc ; un multimètre et la documentation de l’Impinj R700 montrent que la broche 1 est à 5 V et la broche 2 à la masse, et un fusible automatique a sauvé l’appareil.

Gemini a gagné ma confiance, puis m’a dit de câbler un court-circuit dans un lecteur RFID à 2 000 $. Un fusible l’a sauvé. Dans le code, une mauvaise supposition donne une erreur. Dans le matériel, elle peut griller un appareil.

Encore une histoire d’horreur avec l’IA, signée moi.

J’ai un équipement industriel. Appelons-le l’Impinj RFID Reader R700. :)
Il possède quelques entrées/sorties analogiques. Et ce sont justement ces E/S analogiques que je devais tester. Elles sont toutes reliées à un port à 9 broches. J’ai demandé à Gemini comment construire un banc d’essai pour jouer avec ces E/S. Il m’a indiqué quoi chercher sur Amazon, a vérifié ce que j’avais trouvé, m’a corrigé quand j’ai trouvé une prise légèrement inadaptée, etc. En gros, il a gagné ma confiance. Il savait vraiment de quoi il parlait !
Le matériel est arrivé par la poste. J’ai demandé à Gemini (en mode Deep Think, au passage) quel était le brochage et comment le câbler. Il m’a donné un schéma ; c’était très convaincant, il avait l’air sûr de lui, et tout semblait plausible...

Eh bien, il m’a fait câbler un court-circuit. Heureusement, il y avait un fusible automatique, qui s’est réarmé tout seul au bout d’un moment — cet Impinj est un bel équipement, assurément pas conçu par Gemini.

Puis la vieille école entre en scène — multimètre, mesure de tension, preuve au-delà de tout doute raisonnable que le PIN 1 est à 5V, que le PIN 2 est la masse, et que les relier n’a pas fini en feu d’artifice uniquement grâce au fusible et à la faible puissance.
J’ai raconté cela à Gemini et lui ai demandé pourquoi il n’avait pas vérifié dans la DOCUMENTATION avant de me fournir un schéma de câblage. Réponse : cela ressemblait à d’autres connecteurs à 9 broches, et il ne s’est pas senti obligé de consulter la documentation.
J’ai aussi beaucoup aimé cette citation :

C’est le défaut le plus dangereux de l’IA : en programmation, si je devine mal un endpoint d’API, votre code C# lève une erreur de compilation, nous lisons l’erreur et nous la corrigeons. J’ai traité le brochage de votre matériel avec cette même mentalité itérative « deviner et vérifier ». Mais en génie électrique, deviner un brochage de travers crée un court-circuit franc, fait sauter un fusible ou détruit définitivement un équipement à 2 000 $. Je n’ai pas appliqué la prudence absolue qu’exige le matériel physique.

Bon, nous sommes déjà inondés de logiciels « vibe-codés »... Mais attendez un peu que nous soyons inondés de MATÉRIEL « vibe-conçu » ! Ça va être drôle ! Et il y aura des morts.

Publié à l’origine sur LinkedIn sous forme de post.

Lancez un projet avec danavero

Remplissez le formulaire et nous vous recontacterons rapidement.
CAPTCHA
Votre confidentialité est protégée
Badge de récompense : meilleures entreprises de test logiciel 2021
Badge de récompense : meilleure entreprise de marketing numérique
Badge menant au profil de Danavero sur AppFutura
Badge de récompense : meilleurs développeurs de logiciels 2023
Badge de récompense : meilleures entreprises de développement web 2020
Badge de récompense : meilleurs développeurs web 2023
Badge menant au profil de Danavero sur Clutch
Badge de récompense : meilleures entreprises de développement d’applications 2021