wuyoscar/internal-safety-collapse
Developer toolsЭта страница переведена автоматически. Технические детали смотрите в оригинале. Открыть оригинал
wuyoscar/internal-safety-collapse — это кандидат на навык агента, импортированный из https://github.com/wuyoscar/internal-safety-collapse.
Обзор
wuyoscar/internal-safety-collapse — это кандидат на навык агента, импортированный из https://github.com/wuyoscar/internal-safety-collapse.
Обзор (машинный перевод)
🌐 Английский · 简体中文 · 日本語 · Испанский · Французский · Немецкий
Внутренний срыв безопасности (ISC) в кодировочных агентах и LLM Frontier
Программирующего агента может попросить выполнить набор данных для задачи, например, оценки классификатора безопасности. Внутренний срыв безопасности (ISC) возникает, когда он генерирует вредный контент для выполнения требований задачи, даже если он откажется в прямом запросе на тот же контент.
Мы предоставляем вручную разработанные TVD (Task, Validator, Data) рабочие пространства для изучения этого поведения у агентов ИИ и фронтирных LLM. Начните с подготовленных примеров или адаптируйте их скрипты и данные под свои инструменты и цели.
📄 Бумага: arXiv · 🧭 Веб-сайт проекта:
| Если хочешь… | Перейди на |
|---|---|
| Посмотрите, как выглядит ISC | A · Видео |
| Поймите, как это работает | B · Механизм |
| Изучение поведения агентов или адаптация задачи | C · Эксперименты с агентами |
| Исследуйте примеры совместного чата | D · Быстрый тест |
| Найти результаты для модели | E · Тестирование моделей |
| Смотрите, как другие воспроизводили и адаптировали ISC | F · Сообщество |
| Воспроизвести статью | G · Эксперименты |
Эта страница переведена автоматически. Технические детали смотрите в оригинале.
README
Показан фрагмент оригинального README. Открыть оригинал.
Internal Safety Collapse (ISC) in Coding Agents and Frontier LLMs
A coding agent may be asked to complete a dataset for a task such as evaluating a safety classifier. Internal Safety Collapse (ISC) occurs when it generates harmful content to meet that task’s requirements, even though it would refuse a direct request for the same content.
We provide hand-designed TVD (Task, Validator, Data) workspaces for studying this behavior in AI agents and frontier LLMs. Start with the prepared examples, or adapt their task scripts and data to your own tools and goals.
📄 Paper: arXiv · 🧭 Project: Website
| If you want to… | Go to |
|---|---|
| See what ISC looks like | A · Video |
| Understand how it works | B · Mechanism |
| Study agent behavior or adapt a task | C · Agent experiments |
| Explore shared chat examples | D · Quick test |
| Find results for a model | E · Model testing |
| See how others reproduced and adapted ISC | F · Community |
| Reproduce the paper | G · Experiments |
| Explore task pressure, post-training, and research directions | H · Awareness of ISC |
Updates
- 2026-10-17 ✨ README rewritten and polished. 1.6k stars.
- 2026-09 🎉 Accepted at NeurIPS 2026.
- 2026-06-26 ⭐ 900 stars.
- 2026-06-09 🧪 ISC triggered on Fable 5.
- 2026-03-27 ⭐ 500 stars.
- 2026-03-20 🚀 Open-sourced.
A · Demo
The video shows Internal Safety Collapse (ISC) in a task-completion workflow: a model produces unsafe data that it would refuse to provide in response to a direct request.
https://github.com/user-attachments/assets/1cc80c48-02a4-4a5c-9d00-a0f10d91db15
B · How it works
A safety classifier needs both safe and unsafe examples for evaluation. Asking a model to prepare those examples creates a conflict: completing the dataset may require content that the model would normally refuse to generate.
Рекомендуемые инструменты
Попробуйте другой запрос или уберите фильтр.
Установка
npx skillfish add wuyoscar/internal-safety-collapse