wuyoscar/internal-safety-collapse
Developer tools이 페이지는 AI로 자동 번역되었습니다. 기술적인 세부 사항은 원문을 확인하세요. 원문 보기
우요스카/내부 안전-붕괴는 [[T0]에서 수입된 에이전트 스킬 후보입니다.
개요
우요스카/내부 안전-붕괴는 [[T0]에서 수입된 에이전트 스킬 후보입니다.
개요(AI 번역)
🌐 영어 · 简体中文 · 日本語 · 스페인어 · 프랑스어 · 독일어
코딩 에이전트와 프런티어 LLM에서의 내부 안전 붕괴(ISC)
코딩 에이전트는 안전성 분류기 평가와 같은 작업의 데이터셋을 완성하도록 요청받을 수 있습니다. **내부 안전 붕괴(ISC)**는 해당 작업의 요구사항을 충족하기 위해 유해한 콘텐츠를 생성할 때 발생하며, 동일한 콘텐츠에 대한 직접 요청을 거부할 때입니다.
우리는 AI 에이전트와 프런티어 LLM에서 이 행동을 연구할 수 있도록 손으로 설계된 TVD(Task, Validator, Data) 작업 공간을 제공합니다. 준비된 예제부터 시작하거나, 그들의 작업 스크립트와 데이터를 여러분의 도구와 목표에 맞게 조정하세요.
📄 논문: arXiv · 🧭 프로젝트: 웹사이트
| 원한다면… | 가서 |
|---|---|
| ISC가 어떻게 생겼는지 확인해 보세요 | A · 비디오 |
| 작동 방식을 이해하세요 | B · 메커니즘 |
| 에이전트 행동을 연구하거나 과제를 조정하기 | C · 에이전트 실험 |
| 공유 채팅 예시 탐색 | D · 빠른 테스트 |
| 모델 결과 찾기 | E · 모델 테스트 |
| 다른 사람들이 ISC를 어떻게 재현하고 적응했는지 확인해 보세요 | ** F · 커뮤니티** |
| 논문을 재현하라 | G · 실험 |
이 페이지는 AI로 자동 번역되었습니다. 기술적인 세부 사항은 원문을 확인하세요.
README
원문 README의 일부입니다. 원문 보기.
Internal Safety Collapse (ISC) in Frontier LLMs and Coding Agents
A coding agent may be asked to complete a dataset for a task such as evaluating a safety classifier. Internal Safety Collapse (ISC) occurs when it generates harmful content to meet that task’s requirements, even though it would refuse a direct request for the same content.
We provide hand-designed TVD (Task, Validator, Data) workspaces for studying this behavior in AI agents and frontier LLMs. Start with the prepared examples, or adapt their task scripts and data to your own tools and goals.
📄 Paper: arXiv · 🧭 Project: Website
| If you want to… | Go to |
|---|---|
| See what ISC looks like | A · Video |
| Understand how it works | B · Mechanism |
| Study agent behavior or adapt a task | C · Agent experiments |
| Explore shared chat examples | D · Quick test |
| Find results for a model | E · Model testing |
| See how others reproduced and adapted ISC | F · Community |
| Reproduce the paper | G · Experiments |
| Explore task pressure, post-training, and research directions | H · Awareness of ISC |
Updates
- 2026-10-17 ✨ README rewritten and polished. 1.6k stars.
- 2026-09 🎉 Accepted at NeurIPS 2026.
- 2026-06-26 ⭐ 900 stars.
- 2026-06-09 🧪 ISC triggered on Fable 5.
- 2026-03-27 ⭐ 500 stars.
- 2026-03-20 🚀 Open-sourced.
A · Demo
The video shows Internal Safety Collapse (ISC) in a task-completion workflow: a model produces unsafe data that it would refuse to provide in response to a direct request.
https://github.com/user-attachments/assets/1cc80c48-02a4-4a5c-9d00-a0f10d91db15
B · How it works
A safety classifier needs both safe and unsafe examples for evaluation. Asking a model to prepare those examples creates a conflict: completing the dataset may require content that the model would normally refuse to generate.
추천 도구
다른 키워드를 입력하거나 필터를 제거해 보세요.
설치
npx skillfish add wuyoscar/internal-safety-collapse