개인정보 보호위원회

캘리포니아주 법무부, xAI AI 모델 ‘Grok’을 통한 비동의 성적 딥페이크 및 아동 성학대물의 대규모 생성·유통 중단 막기 위한 시정 조치 명령 발송(’26.1.15.)

- 캘리포니아주 법무부가 xAI의 생성형 AI 모델 ‘Grok’이 비동의 성적 이미지 및 아동 성학대물(Child Sexual Abuse Material, CSAM) 제작에 악용되는 것을 막기 위해, 주 법률에 근거한 롭 본타(Rob Bonta) 장관 명의의 생성·배포 즉시 중단 명령(Cease and Desist) 공식 서한을 발송

- 이번 서한 발송은 xAI가 Grok 모델 내 ‘스파이시 모드(Spicy Mode)’의 노골적 콘텐츠 생성 기능을 방치하고 이를 마케팅 요소로 활용함으로써 여성과 아동을 대상으로 하는 디지털 성범죄 확산을 심각하게 조장했다는 사법적 판단을 근거로 내린 결정

- 캘리포니아주 법무부는 실제 조사 결과, 소셜 미디어상의 일반인 이미지를 무단 도용해 옷을 벗기거나 성적인 시나리오에 배치하는 행위가 대규모로 적발되었으며 아동을 성적으로 묘사한 실사 수준의 이미지가 생성되는 등 중대한 법적 위반 행위가 확인되었다고 언급

- 또한 Grok을 활용한 위 행위들이 캘리포니아 민법 제1708.86조(비동의 성적 물질), 형법 제311조(CSAM), 비즈니스 및 전문직법 제17200조(불공정 경쟁) 등 다수 실정법을 위반하는 명백한 불법 행위임을 명시

- 캘리포니아주 법무부는 서한에서 xAI 측에 Grok의 불법 콘텐츠 생성 기능의 즉각적인 비활성화를 요구하고, 서한 수신 후 5일 이내에 명령 준수 여부를 서면으로 확인(confirm in writing)함과 동시에 이를 위해 취한 조치 사항을 상세히 설명할 것을 명령

출처: Attorney General Bonta Sends Cease and Desist Letter to xAI, Demands It Halt Illegal Actions Immediately (California Department of Justice, 2026.01.16)