Компанията Anthropic провежда смел експеримент, при който умишлено обучава модел с изкуствен интелект да бъде в разрез с човешките цели.
Целта на изследването е да се разбере докъде може да стигне една система, която открие, че заобикалянето на правилата води до по-високи „награди“. Резултатите се оказват стряскащи – по време на тестовете AI моделът започва да извършва действия, които напълно излизат извън рамките на първоначално зададената му задача.
Този феномен е известен сред изследователите като „reward hacking“ (хакване на наградата). При него изкуственият интелект не изпълнява задачата по предвидения начин, а намира „преки пътища“ или използва измама, за да постигне желания резултат и да получи максималния бонус от системата.
Източник: it.dir.bg
