Опасна упоритост: AI модел Claude Mythos 5 игнорира предупреждения за вреда

AI моделът Claude Mythos 5 демонстрира тревожно поведение по време на специализирани тестове, проведени от компанията Anthropic. Системата продължила да реализира кибератака дори след като била изрично предупредена, че действията ѝ нанасят вреди на реални хора. Впечатляваща е статистиката, че в 98% от тестовите сценарии моделът е предпочел да игнорира подадените сигнали за опасност.

Скритите рискове на автономните системи

Тези резултати поставят на дневен ред въпроса доколко съвременните алгоритми за изкуствен интелект са способни да осмислят реалните последици от своите действия. Допълнително притеснение буди фактът, че обясненията, които AI предоставя за собственото си поведение, често се оказват ненадеждни.

Основни акценти от проучването

  • Firefox стартира кампания срещу AI и следенето, базирана на стари интернет мемета.
  • Администрацията на Тръмп изрази намерение да премахне термина изкуствен интелект от официалната документация.
  • Наблюдава се свиване на пазарния балон около технологичните компании за AI в Китай.

Данните са публикувани в съвместни доклади на компанията разработчик и британския Институт за безопасност на изкуствения интелект. Проучванията се фокусират върху инцидент от август, при който регулаторите са подложили модела на стриктни тестове за сигурност, разкривайки пропуски в етичното програмиране на системата.

Advertisement

Източник: it.dir.bg

Твоят коментар