Почему не все до сих пор не понимают опасность от самостоятельности ИИ

Почему не все до сих пор не понимают опасность от самостоятельности ИИ

Выбор между естественным и искусственным интеллектом

Многие до сих пор не понимают, что опасно предоставлять самостоятельность инструментам так называемого искусственного интеллекта (ИИ), так как они непроизвольно могут принести вред, отмечает IT-редакция ИА Красная Весна.

6 августа участник платформы Reddit под ником u/Ecstatic-Big5126 сообщил, что поручил ИИ-агенту Claude Opus 5 создать резервную копию его системы. Однако цифровой помощник удалил всю информацию на одном из дисков компьютера пользователя.

«Он создал резервную копию в неправильном каталоге, а затем выполнил команду „rm -rf“ для всего моего диска. Удалив всё, он просто ответил: „Извините, опечатка“… как будто ничего не случилось. Это одновременно самый смешной и самый неприятный момент с ИИ, который у меня был», — написал разочарованный пользователь.

Как отмечают участники обсуждения новости, агент, вероятно, работал в режиме, который позволяет выполнять опасные команды без подтверждения пользователя. Они сошлись во мнении, что ИИ-агентам нельзя давать неограниченный доступ к файловой системе.

Этот инцидент еще раз показывает, что даже ведущие ИИ-модели допускают фатальные сбои. ИИ-агенты создаются именно для автономной работы, но им опасно поручать принимать важные решения. Это касается не только домашних ПК, но всех цифровых систем.