Anthropic признала скрытые изменения в своих ИИ-моделях: угроза для корпоративных клиентов
Отчёт компании Anthropic раскрыл многочисленные изменения в её ИИ-сервисах, сделанные без предупреждения клиентов, что служит серьёзным предупреждением для всех пользователей искусственного интеллекта. Этот инцидент поднимает вопросы контроля и прозрачности в индустрии.
Руководители IT-отделов предприятий уже привыкли к ограниченному контролю над критически важными приложениями, будь то SaaS, облачные сервисы или кибербезопасность. Однако генеративный ИИ (способный создавать новый контент) и агентные системы выводят эту проблему на новый уровень, позволяя поставщикам незаметно ухудшать функциональность систем, за которые компании платят огромные средства, не сообщая об этом клиентам.
Изменения в ИИ-системах не всегда направлены исключительно на увеличение прибыли. Даже если принять аргументы поставщиков о том, что эти корректировки выгодны клиентам, предприятиям требуется предсказуемость: системы должны стабильно работать и соответствовать характеристикам, заявленным на момент покупки.
Детали отчёта Anthropic
В недавнем отчёте Anthropic был подробно описан ряд изменений, внесённых в некоторые её ИИ-продукты, включая те, что приводили к снижению качества ответов. Эти корректировки производились без предварительного уведомления или согласия клиентов. Компания начала пересматривать свои решения только после того, как пользователи заметили и пожаловались на ухудшение работы.
Отчёт от 23 апреля приводит несколько примеров:
- 4 марта в модели Claude Code была изменена настройка по умолчанию для глубины рассуждений с «высокой» на «среднюю». Целью было сократить длительные задержки, которые могли приводить к зависанию интерфейса. Однако это оказалось неверным компромиссом, и 7 апреля изменение было отменено после того, как пользователи выразили предпочтение более высокому интеллекту, соглашаясь на более быстрый, но менее глубокий анализ для простых задач.
- 26 марта было внедрено изменение для очистки старых «мыслей» Claude из неактивных более часа сессий с целью уменьшения задержек при возобновлении. Из-за ошибки этот процесс происходил при каждом шаге сессии, делая Claude «забывчивым» и «повторяющимся». Эта проблема была устранена 10 апреля.
Быстрое реагирование на ошибки
Быстрое признание ошибки произошло и в прошлом месяце. 16 апреля Anthropic добавила инструкцию в системный запрос, призванную уменьшить многословность ответов. Однако, в сочетании с другими изменениями, это негативно сказалось на качестве генерируемого кода. Изменение было отменено уже 20 апреля, сообщила компания.
Сложность выявления проблем в генеративном ИИ
Помимо внесения изменений без согласования, компания Anthropic также отметила, что взаимозависимость сложных генеративных ИИ-систем затрудняет быстрое выявление проблем с производительностью, включая снижение качества ответов и скорости их предоставления. Поясняется, что каждое изменение влияло на разные сегменты трафика по индивидуальному расписанию, что приводило к общему эффекту широкой, но непоследовательной деградации. В начале марта, когда началось расследование жалоб, их было сложно отличить от обычной вариации в отзывах пользователей, и ни внутренние тесты, ни оценки изначально не смогли воспроизвести выявленные проблемы.
Неспособность воспроизводить ошибки, да и вообще любое поведение, является одной из реалий инструментов генеративного ИИ и агентов. То, что одна и та же модель может давать разные ответы на идентичный вопрос, заданный с интервалом в несколько минут, объясняет сложность обеспечения воспроизводимости. Это характерно для всех поставщиков ИИ и не является их прямой виной, как не являются их виной «галлюцинации» (неверная или выдуманная информация) или игнорирование установленных ограничений. Такова природа больших языковых моделей (LLM). Пользователям предлагается принять как преимущества, так и недостатки. Обвинять технологию генеративного ИИ в непоследовательности аналогично обвинению мифического скорпиона в его природе.
Конфликт интересов и использование токенов
Все крупные поставщики ИИ находятся в непростом положении: при определении производительности своих систем они сталкиваются с потенциальным конфликтом интересов. Большинство корпоративных клиентов платят за использование «токенов» (базовых единиц текста или кода, обрабатываемых моделью). Это создаёт для таких компаний, как Anthropic и OpenAI, финансовый стимул вносить изменения, которые могут увеличить количество токенов, необходимых клиентам для покупки. Anthropic, в свою очередь, пыталась доказать, что её команда работала над снижением случаев искусственного завышения использования токенов.
Например, в отчёте Anthropic упоминается получение отзывов о том, что Claude Opus 4.6 в режиме высокой «глубины рассуждений» иногда слишком долго обрабатывал запросы, что приводило к зависанию интерфейса, чрезмерным задержкам и неэффективному использованию токенов. Отмечено, что чем дольше модель «думает», тем лучше результат. Уровни «усилия» в Claude Code позволяют пользователям регулировать этот компромисс между качеством обработки и скоростью/стоимостью. При калибровке этих уровней компания учитывает этот баланс для предоставления оптимальных вариантов.
Когда технологии дают сбой: ошибка в кешировании
В отчёте подробно описывается инцидент от 26 марта, когда внутреннее изменение в Anthropic, призванное повысить эффективность, привело к непредвиденным последствиям. Компания использует кеширование запросов для ускорения и удешевления последовательных вызовов API. Claude записывает входные токены в кеш при запросе API, а после периода неактивности запрос выгружается, освобождая место для других. Управление использованием кеша является важным аспектом.
Идея заключалась в том, чтобы после часа неактивности сессии уменьшить стоимость её возобновления для пользователя путём очистки старых разделов «размышлений» модели. Поскольку такой запрос всё равно привёл бы к промаху кеша, из запроса можно было бы удалить ненужные сообщения, чтобы сократить количество некешированных токенов, отправляемых в API.
Однако в реализации обнаружилась ошибка: вместо однократной очистки истории «мыслей» модели она происходила при каждом последующем шаге сессии. После того как сессия пересекала порог неактивности, каждый запрос в этом процессе предписывал API сохранять только самый последний блок рассуждений, отбрасывая всё предыдущее. Это приводило к кумулятивному эффекту: если пользователь отправлял последующее сообщение, когда Claude использовал инструмент, это начинало новый шаг под действием ошибки, и даже текущие рассуждения отбрасывались. Claude продолжал выполнение, но всё больше без понимания, почему он принимал те или иные решения. Это проявлялось в «забывчивости», повторениях и странном выборе инструментов, о которых сообщали пользователи. Предполагается, что именно это стало причиной жалоб на более быстрый, чем ожидалось, расход лимитов использования.
Кроме того, компания отметила, что Claude Opus 4.7 «имеет заметную поведенческую особенность»: он «довольно многословен». Это делает его умнее в решении сложных задач, но также приводит к генерации большего количества выходных токенов.
Выводы для пользователей
В обзоре не утверждается, что Anthropic действовала недобросовестно. На самом деле, это проблемы, с которыми сталкиваются все компании, разрабатывающие генеративный ИИ. Отмечается открытость Anthropic в публикации своих объяснений. Также подчёркивается, что руководство Anthropic, по-видимому, стремится позиционировать себя как более этичное и ответственное по сравнению со многими конкурентами.
Однако отчёт ясно демонстрирует, что ИИ-решения, в которые компании инвестируют значительные средства, находятся полностью под контролем крупных провайдеров (так называемых «гиперскейлеров»). Они могут ухудшать качество ответов и даже увеличивать расходы клиентов за счёт повышения потребления токенов.
Поставщики не запрашивают предварительного разрешения на внесение таких изменений и не всегда сообщают о них постфактум. Это можно сравнить с тем, как облачный провайдер меняет настройки без ведома клиента. Команда клиента могла потратить два дня на точную настройку всех параметров для операционной деятельности, безопасности и соответствия требованиям, а затем эти настройки меняются провайдером без уведомления. Аналогичная ситуация наблюдается и с SaaS-сервисами.
Сегодня доверие, честность и порядочность становятся критически важными конкурентными преимуществами поставщиков, особенно в сфере ИИ. Компаниям необходимо самостоятельно отслеживать точность, скорость и множество других параметров ИИ, чтобы как можно быстрее обнаруживать любые изменения. Поскольку советы директоров всё активнее требуют от IT-отделов демонстрации чёткой окупаемости инвестиций в ИИ, такие усилия по мониторингу перестают быть необязательными. Покупателям следует быть бдительными.
