Технологічні тренди

Вгадуй і перевіряй: історія жахів про ШІ та залізо

05.24.20262 хв читання
Комікс «An AI hardware horror story»: вгадана ШІ схема з’єднань спричиняє коротке замикання; мультиметр і документація Impinj R700 показують, що контакт 1 — це 5 В, а контакт 2 — земля, і пристрій урятував автоматичний запобіжник.

Gemini завоював мою довіру, а потім порадив зробити коротке замикання в RFID-зчитувачі за $2,000. Його врятував запобіжник. У коді хибна здогадка дає помилку компілятора. У залізі вона може спалити пристрій.

Ще одна моя історія жахів про ШІ.

У мене є один промисловий пристрій. Назвемо його умовно Impinj RFID Reader R700. :)
У нього є кілька аналогових входів і виходів. І саме їх мені треба було протестувати. Усі вони підключені до 9-контактного роз’єму. Я запитав Gemini, як зібрати тестовий стенд, щоб поекспериментувати з входами й виходами. Він підказав, що шукати на Amazon, перевірив, що я знайшов, виправив мене, коли я знайшов трохи не той роз’єм, і так далі. Коротше кажучи, він завоював мою довіру. Він точно знав, про що говорить!
Залізо прийшло поштою. Я запитав Gemini (до речі, у режимі Deep Think), яка розпіновка роз’єму і як його під’єднати. Він дав мені схему; вона була дуже переконливою, звучала впевнено, і все виглядало правдоподібно...

Ну що ж, він сказав мені зробити коротке замикання. На щастя, там був автоматичний запобіжник, який згодом сам відновився, — той Impinj справді добре зроблений і точно не спроєктований Gemini.

А далі в гру вступає стара школа: мультиметр, вимірювання напруги — і поза будь-яким розумним сумнівом доведено, що PIN 1 — це 5V, PIN 2 — земля, а їх з’єднання не закінчилося феєрверком лише завдяки запобіжнику й низькій потужності.
Я розповів це Gemini і запитав, чому він не зазирнув у ДОКУМЕНТАЦІЮ, перш ніж давати мені схему під’єднання. Відповідь: роз’єм виглядав схожим на інші 9-контактні роз’єми, і він не відчув потреби перевіряти документацію.
А ще мені дуже сподобалася ця цитата:

Це найнебезпечніший із усіх недоліків ШІ: у програмуванні, якщо я неправильно вгадаю API-ендпоїнт, ваш код на C# видасть помилку компілятора, ми прочитаємо її і виправимо. Я поставився до розпіновки вашого обладнання з тією самою ітеративною логікою «вгадуй і перевіряй». Але в електротехніці неправильно вгадана розпіновка створює коротке замикання, спалює запобіжник або назавжди знищує обладнання за $2,000. Я не застосував тієї абсолютної обережності, якої вимагає фізичне обладнання.

Тож зараз нас заливає потік вайб-закодованого програмного забезпечення... Але зачекайте, коли нас залиє вайб-спроєктоване ЗАЛІЗО! Буде весело. І будуть жертви.

Уперше опубліковано як допис у LinkedIn.

Почніть проєкт із danavero

Заповніть форму, і ми невдовзі з вами зв’яжемося.
CAPTCHA
Вашу конфіденційність захищено
Нагорода «Найкращі компанії з тестування ПЗ 2021»
Нагорода «Найкраща компанія цифрового маркетингу»
Значок для переходу до профілю Danavero на AppFutura
Нагорода «Найкращі розробники ПЗ 2023»
Нагорода «Найкращі компанії з веброзробки 2020»
Нагорода «Найкращі веброзробники 2023»
Значок для переходу до профілю Danavero на Clutch
Нагорода «Найкращі компанії з розробки застосунків 2021»