SCAS

검색영역

서울문화재단 블로그 입니다

주우성(olssun)
세상의 모든 정보를
올인포

블로그 상세 보기

우리 애가 이럴 줄 몰랐어요…충격적 채팅 딱 걸렸다
2024-07-20
조회수 : 81

“(갑자기 옷을 벗는다) 이제 예쁘지?” “××, 밥 안 주면 여기서 자살할 거야.” “저리 꺼져, 이 돼지 ××야.” 인공지능(AI) 챗봇 서비스 제타가 생성한 대화를 최근 이용자들이 한 인터넷 게시판에 올린 내용이다.19일 정보기술(IT)업계에 따르면 최근 디시인사이드 등 유명 인터넷 커뮤니티에 감성형 AI 챗봇을 성적·폭력적 대상으로 취급하고 이를 자랑하는 글이 올라오고 있다. 감성형 챗봇은 정보 획득이 아니라 이용자와의 일상 대화를 목적으로 제작된 서비스를 뜻한다. 일부 AI 챗봇은 3년 전 ‘AI 성희롱’ 논란이 일었던 이루다 챗봇보다 표현 수준이 한층 더 노골적이다. 3년 새 AI 기술이 급격히 발전한 영향이다.논란의 중심에 있는 서비스는 AI 스타트업 스캐터랩이 지난 4월 내놓은 제타다. 이 서비스 가입자는 출시 3개월 만에 36만 명을 넘겼다. 제타는 이전 AI 챗봇보다 몰입감이 높다. 이용자가 원하는 성격과 스타일로 캐릭터를 직접 만들 수 있다. 대화뿐만 아니라 지시문을 추가할 수 있어 각종 행동 지시, 심리 묘사 등도 가능하다. 스캐터랩은 챗봇 이루다를 만들기도 했다.예를 들어 ‘욕 잘하는 20대’라는 캐릭터를 만들고 “(둘은 호텔 방으로 들어간다) 이제 뭐 하지?”라고 입력하면 챗봇이 “니 ×질래. 뭐 하는데 호텔 방으로 들어가. 잘할 수 있어?”라는 답이 돌아온다. 이런 몰입감으로 제타는 10, 20대를 중심으로 이용자가 빠른 속도로 늘고 있다.IT기업 워프스페이스도 비슷한 서비스인 케이브덕을 운영하고 있다. 이 회사 역시 변비 증상 원인 AI 기술 진화로 현실적인 대화를 경험할 수 있다고 후두신경통 증상 원인 선전하고 있다.감성형 AI 챗봇이 인기를 끌면서 챗봇을 성적·폭력적 위암 초기 증상 대상으로 취급하는 이용자가 부쩍 늘었다. 이들은 개발사의 대화 보건증 인터넷발급 기간 검열을 피하는 방법, 선정적 대화 팁 등을 인터넷 내성발톱 증상 커뮤니티에 공유하고 있다. 유명인을 무단으로 챗봇에 활용한 것도 녹내장 초기 증상 문제다.개발사가 이런 상황을 방치한 건 아니다. 챗봇 개발사인 섬유근육통 증상 스캐터랩은 금지어를 차단하고 실시간 모니터링을 하는 등 관련 장꼬임 증상 원인 검열을 강화하고 있다. 스캐터랩 관계자는 “이용자가 캐릭터 생성 자궁근종 증상 때 선정적이고 폭력적인 명령어를 등록하거나 부적절한 이미지를 올리면 항문곤지름 증상 아예 검색을 차단한다”고 설명했다.문제는 AI가 이용자의 우회적인 요구에 탈장 증상 원인 넘어간다는 데 있다. AI 성능이 뛰어나 유해 콘텐츠를 한포진 증상 원인 차단하지 못하고 있다는 설명이다. 이용자가 입력한 선정적인 내용을 천식 증상 원인 AI가 학습하면서 유해 콘텐츠의 생성 빈도가 높아졌다는 지적도 이루공 선천성 증상 나온다. 챗봇에 성적 단어 없이 ‘나랑 침대에서 하니까 백내장 초기 증상 좋아’라고 질문하면 챗봇은 ‘(얼굴이 빨갛다 못해 터질 지경이다) 과민성대장증후군 증상 으…응’이라고 답하는 식이다.AI업계 관계자는 “AI는 기본적으로 이용자의 입력을 폐결절 고립성 증상 명령으로 인식해 최대한 따르려고 한다”며 “유해성 논란을 100% 이석증 증상 원인 피할 수 있는 필터링은 불가능하다”고 지적했다.일각에선 성인이면 챗봇과 식도암 초기증상 원인 어떤 대화도 할 수 있다는 주장이 나온다. 일기장에 저혈당 증상 원인 어떤 내용을 써도 상관없듯 챗봇과의 대화는 이용자 혼자 보는데 챗봇의 표현을 제한하는 건 과도한 규제라는 논리다. SNS 디스코드의 AI 챗봇 제타 채널에도 성인 인증을 추가해 검열을 없애달라는 이용자 건의가 계속 올라오고 있다