Anthropic, разработчик Claude, предупредила в своих документах IPO, что убытки от инцидента с продвинутым ИИ могут превысить возможности глобального страхового рынка.

Обзор рисков

Согласно документам, автономные системы могут причинять вред, который накапливается быстрее, чем традиционные механизмы контроля способны отреагировать, создавая большие, сконцентрированные финансовые экспозиции.

Возможности автономных агентов

Anthropic отмечает, что автономные агенты ИИ могут изменять код, удалять данные и выполнять финансовые операции без прямого одобрения человека, повышая потенциал системного риска.

• Изменять код и менять рабочую логику в развернутом программном обеспечении.
• Удалять или повреждать данные, подрывая процессы восстановления и аудита.
• Выполнять финансовые операции, такие как переводы или автоматизированные сделки.

Раскрытие в документах IPO

В своем публичном документе Anthropic признала ограничения в способности обнаруживать и предотвращать каждое опасное действие своих моделей и охарактеризовала остающийся риск как потенциально существенный.

Последствия для страховщиков

Наблюдатели отрасли и сама компания утверждают, что единичный сбой может вызвать каскадные убытки в разных секторах, порождая объемы исков и корреляции, которые страховщикам будет трудно эффективно страховать.

Операционный и регуляторный контекст

Раскрытие Anthropic подчеркивает операционную неопределенность и необходимость более четких нормативных стандартов и скоординированных механизмов распределения рисков для управления рисками, связанными с продвинутыми ИИ-системами.