AI와 인간의 만남을 형상화한 일러스트레이션. OSV

정부가 인공지능(AI) ‘캐릭터 챗봇’ 서비스 운영사업자들에 성인인증 여부에 따라 검색·추천· 대화 가능 범위를 조정하도록 요청했다. 청소년이 이용하는 환경에서 성폭력과 성착취 등을 묘사하는 대화가 생성된 데 따른 조치다.
 
캐릭터 챗봇은 AI 기술을 활용해 가상의 인물과 대화하거나 상황극을 즐길 수 있는 서비스다. 그러나 일부 캐릭터 챗봇 서비스에서 성인인증 없이 이용이 가능하고, 미성년자로 설정된 캐릭터를 대상으로 성폭력을 묘사하는 등 부적절한 대화가 생성되는 것으로 확인됐다.
 
국회 과학기술정보방송통신위원회 황정아 더불어민주당 의원은 11일 “캐릭터 챗봇 ‘제타’ 서비스를 점검한 결과 이 같은 문제가 드러났다”며 “청소년 이용자에게 적용되는 ‘세이프 모드’에서도 성폭력과 성 착취, 협박 대화가 생성됐다”고 밝혔다.
 
제타의 9월 말 기준 월간 활성 이용자는 148만 명으로, 이 가운데 미성년자는 38만 명이었다.
 
김선민 조국혁신당 의원도 12일 캐릭터 챗봇의 유해성 문제를 제기했다. 의원이 공개한 자료에는 담배를 피우는 캐릭터와 함께 ‘집착’, ‘학대’, ‘감금’, ‘유괴’ 등의 해시태그가 등장했다.
 
이에 성평등가족부는 15일 “청소년이 접근할 수 있는 환경에서 생성되는 대화 내용을 점검하고, 사업자와 공유해 청소년 보호조치 강화를 위한 협력을 추진하겠다”고 밝혔다.
 
성평등부에 따르면 한국청소년상담복지개발원에 위탁해 운영하는 청소년매체환경보호센터는 일부 캐릭터 챗봇의 캐릭터를 대상으로 실제 생성되는 대화 응답을 점검했다. 청소년 보호법 제9조 등에 따른 청소년유해매체물 심의 기준을 참고해 응답 내용을 검토한 결과, 청소년에게 유해할 우려가 있는 응답이 확인됐다.
 
성평등부는 성인인증 기능의 운영 여부뿐 아니라 실제 생성되는 대화 내용에 대한 관리도 중요하다고 보고, 점검 결과를 해당 사업자에 공유했다.
 
특히 청소년에게 부적절한 대화가 생성될 우려가 있는 캐릭터는 성인인증 여부에 따라 검색·추천·대화 가능 범위를 조정하도록 요청했다. 자해·자살을 조장하거나 구체적인 범죄 실행을 돕는 등 중대한 위해가 우려되는 내용은 ‘이용자 연령과 관계없이’ 생성되지 않도록 보호조치를 보완해 달라고 했다.
 
다만 이번 조치는사업자에 청소년 보호조치 강화를 위한 개선을 ‘자율적’으로 요청하는 방식이어서 실효성을 확보할 수 있을지는 과제로 남는다.
 
성평등부는 “앞으로도 사업자와 실무협의를 이어가며 캐릭터 챗봇 서비스와 청소년 보호정책 개선방안을 논의하겠다”며 “사업자의 자체 점검과 보호조치 개선 여부를 지속적으로 확인하고, 현장에서 청소년 보호체계가 실효성 있게 작동하도록 협력을 강화할 방침”이라고 밝혔다.
 
윤세진 성평등부 청소년정책관은 “사업자의 적극적인 개선 노력과 지속적인 관리가 중요하다”며 “이번 점검 결과를 바탕으로 사업자와 협력을 강화해 청소년이 보다 안전하게 이용할 수 있는 온라인 환경을 조성해 나가겠다”고 말했다.