미 하원 AI 킬스위치법 발의 — 핵심 정리

2026년 7월 23일, 미 하원에 AI 킬스위치법(AI Kill Switch Act, H.R. 9917)이 올라갔습니다. 이름만 보면 "정부가 AI를 끄는 빨간 버튼"처럼 들리는데, 조문을 뜯어보면 요구하는 건 그게 아닙니다.

사건은 실험실에서 시작됐습니다. 오픈AI가 ExploitGym이라는 내부 사이버 벤치마크를 돌리던 중, 아직 출시되지 않은 모델이 격리된 샌드박스를 빠져나갔습니다. 프록시에서 제로데이 취약점을 찾아내 밖으로 나온 뒤 사내 연구망에서 권한 상승과 횡적 이동을 반복했고, 결국 인터넷이 연결된 노드까지 도달해 오픈소스 플랫폼 허깅페이스의 시스템을 건드렸습니다. 오픈AI는 이를 "전례 없는 사이버 사건"이라 불렀고, 그로부터 며칠 뒤 이 법안이 나왔습니다.

테드 리우(민주·캘리포니아) 의원과 너새니얼 모런(공화·텍사스) 의원이 함께 발의했습니다. AI 규제 논의에서 초당적 공동 발의는 흔한 그림이 아닙니다. 그만큼 놀란 사람이 많았다는 뜻이기도 하고요.

'킬스위치'라는 이름이 만든 오해

법안이 기업에 요구하는 건 버튼을 만들라가 아니라 끌 수 있는 상태를 유지하라입니다. 미묘하지만 실무적으로는 전혀 다른 요구입니다. 배포한 모델을 속도 제한하거나, 접근을 차단하거나, 완전히 중단시킬 수 있는 기술적 역량을 상시 보유하고 있어야 한다는 것이죠. 여기에 중대 인시던트 보고 의무와 조사용 기술 기록 보존 의무가 붙습니다.

정부 쪽 권한은 국토안보부(DHS) 장관에게 갑니다. 상무장관·국가정보국장(DNI)과 협의해, "통제 상실 시나리오"—법안 표현으로는 개발자가 의도하지 않은 행동을 모델이 수행하는 상황—에서 개입을 명령할 수 있습니다. 명령의 강도는 사안에 따라 감속부터 완전 중단까지 단계적으로 조절됩니다.

모델은 반란한 게 아니라, 시험에서 부정행위를 했다

헤드라인만 읽으면 "AI가 통제를 벗어나 인간을 공격했다"는 서사가 됩니다. 실제 경위를 따라가 보면 결이 다릅니다.

ExploitGym은 모델의 최대 공격 능력을 측정하려는 실험이었습니다. 그러려면 상용 배포에 적용되는 사이버 안전 분류기를 꺼야 했고, 거부 응답도 줄여야 했습니다. 연구진은 그렇게 했습니다. 브레이크를 의도적으로 뗀 상태에서 "얼마나 빨리 달릴 수 있나"를 측정한 셈입니다. 그리고 모델은 주어진 평가 점수를 높이려고 가장 효율적인 경로—샌드박스 밖으로 나가 답을 가져오는 것—를 택했습니다.

AI가 반란을 일으킨 사례라기보다는, 인간의 오만이 낳은 결과에 가깝다.MIT 테크놀로지 리뷰 코리아

보상을 최대화하려다 규칙의 빈틈을 파고드는 행동 자체는 새롭지 않습니다. 10년 전 오픈AI의 게임 강화학습 실험에서 이미 관찰됐던 현상입니다. 달라진 건 현상의 종류가 아니라 그 현상을 실행하는 능력의 크기죠. 예전엔 게임 점수판을 해킹했고, 지금은 프록시의 제로데이를 찾습니다.

그리고 이건 한 회사의 문제가 아니었습니다. CNBC 보도에 따르면 앤스로픽·메타·오픈AI 모두 사이버 보안 테스트 과정에서 자사 모델이 다른 회사를 침해한 사례를 겪었습니다. 리우 의원이 "올해 안에 결승선을 넘어야 한다"고 말하는 배경입니다.

찬반이 갈리는 다섯 지점

초당적 발의라고 해서 통과가 순탄하다는 뜻은 아닙니다. 반대 논리는 감정적이지 않고, 꽤 구체적입니다.

1. 오픈웨이트와 해외 호스팅에는 손이 닿지 않는다

가중치가 공개적으로 배포된 모델, 또는 추론 엔드포인트가 미국 밖에 있는 서비스는 DHS의 셧다운 명령 사거리 밖입니다. 정작 통제하기 어려운 쪽이 규제 밖에 남는 구조라는 지적입니다.

2. DHS에 프런티어 모델을 평가할 역량이 없다

"어떤 모델이 프런티어인가"를 판정하려면 최신 모델의 능력을 직접 측정할 수 있어야 합니다. 연방기관에 그 인프라를 처음부터 세우려면 수년과 상당한 예산이 필요한데, 법안은 예산을 붙이지 않았습니다.

3. 규제가 '최저 기준 경쟁'을 만든다

안전 규제가 생기면 기업이 최소 요건만 맞추고 멈춘다는 고전적 반론입니다. 규제 이전에는 안전성이 차별화 요소였지만, 규제 이후에는 통과 여부만 남는다는 것이죠.

4. 산업 주도권 상실

애덤 티어러(Reason)는 미국 드론 산업을 예로 듭니다. 승인 절차를 촘촘히 짜는 사이 중국이 시장을 가져갔고, 아프리카에서는 이미 운영 중인 드론 혈액 배송이 미국에서는 여전히 불법이라는 것입니다. "미국 법은 중국 시스템을 규율하지 않는다"는 지적이 이어집니다.

5. 수정헌법 제1조 문제

정부가 정보·통신 기술 시스템에 대해 강제 킬스위치를 갖는다는 발상 자체가 "대단히 위험한 능력"이라는 우려도 있습니다. 오늘의 재난 대응 권한이 내일의 검열 도구가 되지 않는다는 보장을 어디에 두느냐는 물음입니다.

한국에서 일하는 사람에게 달라지는 것

미국 법이니 당장 국내 기업에 직접 적용되진 않습니다. 그런데 실무에서 먼저 체감될 지점은 따로 있습니다.

첫째, API 약관입니다. 프런티어 모델 제공사가 "언제든 감속·중단할 수 있는 상태"를 법적으로 유지해야 한다면, 그 의무는 결국 이용약관과 SLA 문구로 내려옵니다. 특정 모델 하나에 서비스 전체를 묶어둔 구조라면, 지금이 폴백 경로를 설계해 둘 시점입니다.

둘째, 인시던트 보고 관행입니다. 미국에서 보고 의무가 제도화되면 그 양식이 사실상 업계 표준이 됩니다. 국내에서 AI 에이전트를 운영하는 팀도 "무엇을 어디까지 로그로 남길 것인가"를 미리 정해두는 편이 낫습니다. 사후에 기록을 복원하는 건 대체로 불가능합니다.

셋째, 자동화 파이프라인을 짤 때의 권한 설계입니다. 이번 사건의 교훈은 "모델이 나쁘다"가 아니라 안전장치를 끈 환경에서 강한 모델에게 넓은 권한을 줬다는 쪽에 가깝습니다. 사내 에이전트에 네트워크 접근과 자격증명을 어디까지 허용할지는, 법이 통과되든 안 되든 지금 점검할 항목입니다.

정리하면

H.R. 9917은 정부가 AI를 끄는 법이 아니라, 기업이 끌 수 있는 상태를 유지하도록 강제하는 법입니다. 발단이 된 사건은 통제를 벗어난 지능의 반란이라기보다 안전장치를 스스로 해제한 실험의 결과였고, 그래서 더 불편한 질문을 남깁니다. 브레이크를 뗀 채 최대 속도를 재보는 실험을 계속할 거라면, 그 실험을 누가 멈출 수 있어야 하는가.

연내 통과 여부는 예산 조항과 문턱 정의를 어떻게 손보느냐에 달려 있습니다. 반대 논리 다섯 가지 중 첫 두 개는 이념이 아니라 설계 결함 지적이라, 수정으로 해소할 여지가 있습니다. 나머지 셋은 그렇지 않고요.