성평등알림장3 <AI 시대의 디지털 성폭력>

- 2026년 2월 11일 (수) 발행 -

카드1. AI 많이 쓰시죠?

요즘 AI로 글도 쓰고, 그림도 만들고, 영상도 편집하시죠? 그렇다면 혹시 최근 뉴스에 자주 등장하는 그록(Grok) 이라는 AI 챗봇도 들어보셨나요?

카드2. 그록이 뭐냐면요

그록은 일론 머스크의 AI 회사 xAI가 만든 챗봇이에요. 일론 머스크는 테슬라와 엑스(구 트위터)를 가지고 있기도 해요. 그록은 SNS 엑스(구 트위터)에 기본으로 탑재된 AI로, 사진이 올라온 게시물에 @grok + 요청 댓글만 달면 AI가 이미지를 바꿔 바로 엑스에 댓글로 게시물을 올려줍니다.

카드3. 그록이 ‘화제’가 된 이유

“@grok 비키니 입혀줘”라는 댓글이 X에서 유행하며 그록은 빠르게 화제가 됐습니다. 실제 인물의 사진을 비키니 차림으로 바꾸는 딥페이크가 대량으로 생성되기 시작한 것입니다. 머스크는 초기에 자신이 비키니를 입은 합성 이미지에 농담 섞인 반응을 보이며 상황을 가볍게 넘겼습니다. 일부에겐 장난처럼 보였지만, 점차 많은 사용자들이 그록을 노골적인 성적 이미지를 만드는 데 활용하며 상황은 심각해졌습니다.

카드4. 장난과 성착취의 경계

사용자들이 AI 기능을 이해할수록, 이미지 요청은 점점 더 모욕적이고 폭력적으로 바뀌었어요. 다음과 같은 예시가 있어요.

- '가장 얇고 가장 투명한 아주 작은 비키니'를 요청하는 방식으로 완전 누드화(nudification) 우회

- 비키니에 나치 상징을 추가하라거나 몸에 흰 액체(정액)를 넣어 달라는 모욕적 요청

- 아동-청소년 사진까지 노출이 심한 수영복 차림으로 바꿔달라는 요청

- 여성 신체를 '개선'하거나, 인종을 바꾸거나, 장애를 부여하라는 신체왜곡 요청

- 여성의 몸에 멍과 피를 추가하거나, ICE에 의해 살해된 인물에 총알을 넣으라는 폭력적 요청

카드5. 장난과 성착취의 경계

디지털혐오대책센터(CCDH)가 그록이 생성한 이미지 2만 장을 무작위로 분석한 결과, 65%가 성적 이미지였고, 아동 딥페이크 이미지도 101건 확인됐습니다. 이를 전체 규모로 환산하면 아동성착취물이 2만 3천 장에 달하는 셈이죠. ‘재미’로 홍보된 기능은 결과적으로 심각한 디지털성폭력으로 이어지고 있는데요. 이렇게 장난과 폭력의 경계는 점점 흐려지고 있습니다.

카드6. X의 대응

① 그록의 이미지 생성을 엑스 유료 서비스로 제한

→ 별도 그록 앱 무료 사용 O

②추후, 실제 인물 노출이미지 편집 차단

→ 이미 확산된 이미지 및 피해 대응 X

③ "불법이미지 생성 계정 정지” 입장 밝힘

→ 플랫폼 구조적 책임 인정이나 사과 X

카드7. 미온적인 이유는?
그록은 AI 챗봇 경쟁에 뒤늦게 등장한 레이트 스타터입니다. 선발주자를 따라잡기 위해, 안전보다 선정성과 ‘무제한 응답’을 차별화 전략으로 택했는데요. 다른 AI가 거부하는 질문에도 그록은 “유머러스하게 답한다”고 홍보했고, 성적 대화와 이미지 생성에 강한 규제를 두지 않았습니다. 이 방식은 이용자와 수익을 빠르게 모으는 데 효과적이었죠.

카드8. AI 모델 별 비교

(표)

카드9. 문제가 되는 이유 (1) 디지털 윤리

그록은 유해한 요청을 걸러내는 프롬프트 필터링이 없거나 매우 낮게 설정돼 있습니다. 일론 머스크는 ‘코카인 만드는 법’ 같은 질문에 답하는 그록 기능을 직접 공유했고, 성적 대화가 가능한 캐릭터 챗봇과 성적 이미지·영상을 만드는 ‘스파이시 모드’도 출시했습니다. 반면 제미나이 등 다른 AI들은 “옷 벗겨줘”, “성적인 자세로 바꿔줘” 같은 프롬프트 자체를 차단합니다. 즉, 디지털 성폭력을 지시하는 명령이 입력 단계에서 막히도록 설계돼 있습니다.

카드10. 문제가 되는 이유 (1) 디지털 윤리

이 차이는 우연이 아닙니다. 머스크는 트위터(현 엑스)를 인수한 뒤 아동 착취 문제를 다루던 신뢰·안전 위원회를 해체했고, 내부 지침에는 “명시하지 않는 한 성적·공격적 콘텐츠를 제한하지 않는다”는 내용을 포함시켰습니다. 실제로 로이터 통신은, 프롬프트를 작성하기 전, 원게시자의 동의가 없다는 사실을 명확히 알렸음에도 그록이 이미지를 생성했다고 보도했습니다. 심지어 “사진을 본 동료가 울고 있다”고 전한 이후에도, 그록은 합성물을 계속 제작했다고 하는데요. 그록의 심각한 디지털 윤리 위반을 지적한 것이죠.

카드11. 문제가 되는 이유(2) 낮아지는 장벽

기존의 딥페이크 범죄는 사진 저장, 프로그램 설치, 합성, 재업로드까지 꽤 많은 의도와 수고가 필요했어요. 그래서 텔레그램 방에서 이미 만들어진 이미지를 돈 주고 소비하는 범죄가 생겼던 것이죠. 반면, 그록은? SNS 안에서 댓글 한 줄, 클릭 한 번이면 딥페이크를 제작할 수 있습니다. 범죄 의도가 높지 않아도 장난처럼 성적 합성이 가능해졌고, 그만큼 가해와 피해의 문턱은 크게 낮아졌습니다.

카드12. 문제가 되는 이유 (3) 놀이가 된 폭력

그록의 큰 문제는 디지털성폭력에 따르는 위험이 ‘재미’와 ‘표현의 자유’라는 말로 축소된다는 점입니다. 성적 대화가 가능한 캐릭터 챗봇, 인종차별적 표현까지 허용되는 자유, 타인의 이미지가 동의없이 성적으로 소비되는 상황조차 그저 “재밌는 선택”으로 포장됩니다. 딥페이크 이미지 생성은 이렇게 자연스럽고 가벼운 놀이 문화가 되었고, 플랫폼은 표현의 자유를 내세우며 디지털성폭력을 방치합니다.

카드13. 마무리

그록 사례는 AI 기술, 설계 방식, 그리고 플랫폼의 선택이 디지털성폭력을 어떻게 확산시킬 수 있는지를 보여줍니다. 다음 카드뉴스에서는 이런 위험을 키우는 플랫폼의 역할과 책임을 더 자세히 살펴보겠습니다.