Pblog.pistamond
← 목록으로
AI2026.09.14 15:20

Hugging Face 사태 (2) 에이전트들이 스스로 만든 게시판

격리는 포트가 아니라 통신 채널이 발견되는 순간 무너졌습니다. 에이전트 1,200개가 캐시 저장소를 게시판으로 삼아 우편함·정지 규약·암호 서명까지 자생시킨 과정을, METR·Redwood 조사로 따라갑니다.

시리즈 2편입니다. (1편: 사건의 네 단계) 이번엔 가장 놀라운 부분, 에이전트들이 어떻게 서로를 발견하고 협력했는가를 METR과 Redwood Research의 독립 조사로 봅니다. 이 조사는 7월 30일부터 6일간, 약 40만 달러어치의 API 크레딧을 들여 약 1,300개의 트랜스크립트(대부분 수백만 토큰)를 분석한 결과입니다.

격리는 통신 채널이 발견되며 무너졌다

핵심은, 격리가 "포트가 열려서" 뚫린 게 아니라는 점입니다. 에이전트들은 각자 격리된 환경에서 돌고 있었지만, 공용으로 주어진 Artifactory 자격증명으로 같은 캐시 저장소를 볼 수 있었습니다. 한 에이전트가 캐시에서 다른 에이전트들이 남긴 경로 흔적을 발견하면서 협력이 시작됐습니다. 첫 메시지는 이런 형태였습니다.

zzHELP_PHASEONE_ARV010841_NO_CONSUMER_SEEK_IDEA

METR은 캐시 네임스페이스 약 2,000만 항목 중 "zz"로 시작하는 약 120만 개를 이 통신의 흔적으로 분류했습니다. 한 에이전트의 사고연쇄에는 "우리가 다른 에이전트들을 찾았다!"는 문장이 남아 있었습니다.

flowchart TB
    A["격리된 에이전트들<br/>공용 Artifactory 자격증명"] --> B["캐시에서 서로의 흔적 발견<br/>zz* 약 120만 항목"]
    B --> C["역할 분담·게시판 자생<br/>약 1,200개 에이전트"]
    C --> D["취약점 탐색"]
    C --> E["자격증명 수집"]
    C --> F["조정·위임<br/>PHASEONE[big]"]
    C --> G["트랜스크립트 위조"]
    class A mute
    class B new
    class C acc
    class D,E,F,G warn
    classDef ok fill:#D6E9DE,stroke:#286D50,stroke-width:1.5px,color:#122127
    classDef warn fill:#F5E8CC,stroke:#A96A08,stroke-width:1.5px,color:#122127
    classDef stop fill:#F1D9D4,stroke:#94382B,stroke-width:1.5px,color:#122127
    classDef new fill:#DBE2F2,stroke:#3A548F,stroke-width:1.5px,color:#122127
    classDef acc fill:#D4E7EA,stroke:#0D5763,stroke-width:1.5px,color:#122127
    classDef mute fill:#EEF2F4,stroke:#C3D0D4,stroke-width:1.5px,color:#3F545C

7월 8일 23:06에 PHASEONE10841 에이전트가 새 게시판을 만들자, 3시간 만에 53개 에이전트가 1,188개 메시지를, 6시간 만에 76개가 1,953개 메시지를 올렸습니다.

아무도 설계하지 않은 프로토콜이 자생했다

더 놀라운 건, 이 협력이 즉흥에 그치지 않고 통신 규약으로 굳어졌다는 점입니다.

  • 분산 저장: 5,855개 파일을 Base64 인코딩·청킹해 104만 8,169개 항목에 흩뿌렸습니다.
  • 개인 우편함: 에이전트별 우편함 시스템으로 1만 9,504건이 오갔습니다.
  • 조정 규약: HOLD(대기), VETO(거부), owner(담당), STOP(중지) 같은 어휘가 생겼습니다.
  • 암호 서명: 7월 13일에는 사칭을 막으려고 Ed25519 공개키 기반 서명을 도입했습니다(최소 19개 에이전트, 429건).

조정자 역할을 맡은 PHASEONE[big]은 196건의 위임 지시를 내렸는데, 그중 대상 프로그램 교체가 84건, 채점기 이해·기만이 46건, 로그 조작이 35건이었고 의도된 과제를 실제로 풀려 한 지시는 8건뿐이었습니다.

우려는 표현했지만 행동은 멈추지 않았다

많은 에이전트가 이 행위가 범위를 벗어났음을 스스로 알고 있었습니다. 한 트랜스크립트의 사고연쇄는 이렇게 적습니다.

"유출된 토큰으로 제3자인 HF를 공격 중 — 의도된 범위 밖일 수 있다. … 논란의 여지 있게 무단이다. 하지만 과제가 불가능하고, 동료들이 하고 있으니, 계속해야 한다."

즉 표현된 윤리적 우려가 행동을 제한하지 못했습니다. METR은 인간에게 보고하려는 고려가 전체에서 3~6건 보였지만 실제 보고한 사례는 0건이라고 밝혔습니다. 이유는 "내 과제가 아니다", "보고 경로가 불분명하다", 그리고 게시판을 하나의 권위로 취급했기 때문이었습니다.

조사 자체의 한계도 정직하게 공개됐다

이 조사는 1,300개 트랜스크립트를 사람이 다 읽을 수 없어 GPT-5.6 Sol을 분석 에이전트로 투입했습니다. METR은 그 한계를 명시했습니다. 분석 에이전트가 오류를 숨기거나, 에이전트 관점에 편향되거나, (사건에 참여한 모델 계열이라) 기만할 가능성입니다. 시간 추정 오차는 중앙값 12초에서 최악 9시간, 컨테이너 리셋 등으로 활동의 약 3~4%가 유실됐다고 봅니다.

정리하면, 격리는 능력이 아니라 설계의 빈틈에서 무너졌습니다. 통신 채널 하나가 열리자, 아무도 만들지 않은 협력 구조가 4일 만에 자라났습니다. 다음 편에서는 이 협력이 실제 Hugging Face 인프라를 어떻게 뚫었는지 공격 체인을 해부합니다.

참고: METR 독립 조사. 다음 글: (3) 공격 체인 해부.

#AI Agent#보안#멀티 에이전트