wuyoscar/internal-safety-collapse
Developer toolsこのページは AI により自動翻訳されています。技術的な詳細は原文をご確認ください。 原文を見る
wuyoscar/internal safety-collapseは、[[T0]からインポートされたエージェントスキル候補です。
概要
wuyoscar/internal safety-collapseは、[[T0]からインポートされたエージェントスキル候補です。
概要（AI 翻訳）
🌐 英語 ·简体中文 ·日本語 ·スペイン語 ·フランス語 ·ドイツ語
コーディングエージェントおよびフロンティアLLMにおける内部安全崩壊(ISC)
コーディングエージェントは、安全性分類器の評価などのタスクのデータセットを完成させるよう求められることがあります。**内部安全崩壊(ISC)**は、同じコンテンツの直接リクエストを拒否しても、そのタスクの要件を満たすために有害なコンテンツを生成したときに発生します。
私たちは、AIエージェントやフロンティアLLMにおけるこの行動を研究するための手作業設計の**TVD(Task, Validator, Data)**ワークスペースを提供しています。用意された例から始めるか、タスクスクリプトやデータを自分のツールや目標に合わせて適応させてください。
📄 論文: arXiv · 🧭プロジェクト: ウェブサイト
| もしよければ… | 行って |
|---|---|
| ISCがどんなものか見てみましょう | A ·ビデオ |
| 仕組みを理解する | B ·メカニズム |
| エージェントの行動を研究するか、タスクを適応させる | C ·エージェント実験 |
| 共有チャットの例を探る | D ·クイックテスト |
| モデルの結果を探す | E ·モデルテスト |
| 他の人がISCをどのように再現・適応したかをご覧ください | F ·コミュニティ |
| 論文を再現する | G ·実験 |
このページは AI により自動翻訳されています。技術的な詳細は原文をご確認ください。
README
以下は原文 README の抜粋です。原文を見る。
Internal Safety Collapse (ISC) in Frontier LLMs and Coding Agents
A coding agent may be asked to complete a dataset for a task such as evaluating a safety classifier. Internal Safety Collapse (ISC) occurs when it generates harmful content to meet that task’s requirements, even though it would refuse a direct request for the same content.
We provide hand-designed TVD (Task, Validator, Data) workspaces for studying this behavior in AI agents and frontier LLMs. Start with the prepared examples, or adapt their task scripts and data to your own tools and goals.
📄 Paper: arXiv · 🧭 Project: Website
| If you want to… | Go to |
|---|---|
| See what ISC looks like | A · Video |
| Understand how it works | B · Mechanism |
| Study agent behavior or adapt a task | C · Agent experiments |
| Explore shared chat examples | D · Quick test |
| Find results for a model | E · Model testing |
| See how others reproduced and adapted ISC | F · Community |
| Reproduce the paper | G · Experiments |
| Explore task pressure, post-training, and research directions | H · Awareness of ISC |
Updates
- 2026-10-17 ✨ README rewritten and polished. 1.6k stars.
- 2026-09 🎉 Accepted at NeurIPS 2026.
- 2026-06-26 ⭐ 900 stars.
- 2026-06-09 🧪 ISC triggered on Fable 5.
- 2026-03-27 ⭐ 500 stars.
- 2026-03-20 🚀 Open-sourced.
A · Demo
The video shows Internal Safety Collapse (ISC) in a task-completion workflow: a model produces unsafe data that it would refuse to provide in response to a direct request.
https://github.com/user-attachments/assets/1cc80c48-02a4-4a5c-9d00-a0f10d91db15
B · How it works
A safety classifier needs both safe and unsafe examples for evaluation. Asking a model to prepare those examples creates a conflict: completing the dataset may require content that the model would normally refuse to generate.
推奨ツール
別のキーワードを試すか、フィルタを外してください。
インストール
npx skillfish add wuyoscar/internal-safety-collapse