국가정보원과 국가인공지능안보센터가 공동으로 발간한 『인공지능 위험 사례집』에 따르면 독거노인, 장애아동, 장기입원자 등 취약층에게 복약 안내와 대화하는 반려 로봇을 주로 사용하면서 가족, 친구, 요양 보호사와의 관계 빈도가 감소하고 있는 것으로 나타났다.
더불어 장기간 사람과의 대화가 부족하면 정서적 퇴행이 발생하고, 윤리적 판단 부족에 대한 AI 위험 사례가 보고됐다. AI 저작물의 위험성 또한 문제다.
AI 저작물에 대해 누구나 쉽게 알 수 있는 표시 부재 또는 안전성에 대안 검증의 문제는 소비자의 피해로 이어질 수 있어 경계가 필요하다.

딥페이크 범죄와 취약계층 위협의 심각성
우리는 지금 생성형 AI 시대에 살고 있다. 생성형 AI는 누구나 쉽게 활용할 수 있어 편리하지만, 그만큼 악용 가능성도 커지고 있다. 대표적인 사례가 딥페이크 범죄다. AI 기술로 사람의 얼굴과 목소리를 합성해 전혀 존재하지 않는 이미지나 영상을 만들어내는 방식으로, 특히 아동·노인 등 정보취약계층이 주요 표적이 된다.
경찰청에 따르면 딥페이크를 활용한 사이버성범죄가 1년 새 35% 이상 증가했다. 허위 영상물 범죄가 전체의 상당 부분을 차지한다. 이들 범죄는 실제 같은 가짜 얼굴과 음성을 만들어 피해자의 명예와 사생활을 침해하며, 협박·갈취 등 악성 범죄로 발전할 수 있다. 이러한 신종 위협 속에서 피해를 줄이고 안전하게 AI를 활용하기 위해서는 생활 속 AI 리터러시, 즉 AI를 이해하고 위험을 판단하며 안전하게 사용하는 능력이 무엇보다 중요하다.
생성형 AI 시대의 제도적 측면의 유의사항
2026년 1월 22일 시행을 앞둔 「인공지능기본법」은 생성형 AI의 안전성과 투명성을 확보하며 국민의 권익과 존엄성을 보호하고자 하는 법률이다. 이 법은 AI의 건전한 발전과 국민 권익 보호를 위해 생성형 AI에 대해서는 인공지능정책센터와 인공지능안전연구소 운영을 통해 AI 투명성과 안전성의 의무를 부과한다. 법률에서 정한 고영향 인공지능에 대한 안정성, 표준화를 통해 생애주기 위험관리에 대한 실제적 가이드라인 및 운영방안에 대한 발간 전까지 사례별 유의가 필요하다.
첫째, AI 저작물 마크 제도를 도입한다. AI가 생성한 콘텐츠임을 이용자에게 명확히 공식 마크로 고지해 이에 대한 오남용을 사전에 예방할 필요가 있다.
둘째, 「산업기술보호법」 기반한 국가 핵심기술 보호를 위해 AI 안전성 확보, 위험관리 체계 구축과 제작자·플랫폼 운영자에 대한 책임 명확화가 필요하다. 예를 들어 허위 영상 제작 및 유포에 대해 제작자와 플랫폼 운영자에 대한 책임 구체화한다.
셋째, 생성형 AI를 사용하는 생활가전 등에서 로컬 온디바이스의 AI 이용 활성화에 대해 명시적 고지를 의무화한다. 특히 외부 서버에 사생활 정보를 전송하지 않는 것을 기본으로 설정하고, 외부에 정보를 송신하는 경우 동의를 받도록 해 개인정보의 노출 위험을 줄이도록 한다.
넷째, 공공장소에서 사진 및 동영상 촬영 자제하는 에티켓 문화를 확산한다. 타인의 동의 없이 촬영하지 않으며, 자신도 노출될 수 있는 환경에서 주의를 기울인다. 딥페이크 피해 등 AI 관련 사생활 침해 발생 시 신속한 신고와 법적 구제를 받을 수 있도록 지원 체계를 확충한다.
다섯째, AI 학습을 위한 데이터의 편향성과 사생활 보호를 위해 가명처리 적정성 검토를 활용한다. 설명 가능한 AI, 입증 가능한 AI의 개발과 활용에서 개인정보는 암호화하거나 식별 불가능하도록 가명 처리해 유출 위험을 낮출 수 있기 때문이다.
생성형 AI 시대의 물리적 측면의 유의사항
첫째, 보호자는 자녀의 얼굴이 노출되는 사진의 업로드를 제한한다. SNS에서 가족관계를 비공개로 하거나 제한 공개로 설정해 위험을 줄인다.
둘째, 정보 주체는 본인이나 정보를 포함하는 고화질 사진 업로드를 최소화한다. 고화질 사진은 딥페이크 생성에 손쉽게 악용될 수 있기 때문이다.
셋째, 본인 콘텐츠에는 출처 표시와 워터마크 삽입을 기본 수칙으로 한다. 이는 딥페이크 생성에 사용될 원본 소스 정보를 줄이기 위함이다.
넷째, 생성형 AI로 인한 소비자 피해가 발생한 경우 피해현황을 투명하게 공개한다. 이는 생성형 AI 콘텐츠 표시, 활용, 삭제 등 사후 관리의 중요성을 강화한다.
다섯째, AI 안전성 및 윤리 기준 수립과 인증 제도를 운영한다. AI 시스템의 설계·운영 단계에서 사생활 보호와 윤리적 사용을 검증하는 표준과 인증체계를 마련한다. 안전한 AI 모델, 플랫폼, 서비스 등의 안전성과 투명성을 강화해 생성형 AI를 안심하고 이용하도록 노력한다.
생성형 AI 시대의 기술적 측면의 유의사항
첫째, AI 안전성 검증에 대한 인증 제도를 도입한다. 사진, 동영상 등 저작물에 대한 워터마크를 삽입뿐만 아니라 과정과 결과에 있어 사람의 생명에 얼마나 안전한지를 전문가 심사 또는 검증을 통해서 사전에 진단하고 개선한 후 고객에 출시되도록 한다.
둘째, AI 디지털기기의 접근에 2단계 이상의 멀티팩터인증(MFA), 생체인식 잠금 등 다양한 인증 기술을 적용해 접근의 안전성을 높인다.
셋째, 한국형 AI 보안 프레임워크를 도입한다. 생성형 AI를 활용한 AI 경찰관 등 다양한 서비스가 우리의 일상에서 동작할 때 이를 통제할 보안 프레임워크가 필요하다. 딥페이크 탐지, 플랫폼 내 가짜 콘텐츠와 같이 이를 모니터링 및 신속 제거할 수 있는 체계가 서비스 개발 단계에서 반영돼야 생성형 AI 활용 현장에서 사생활 침해의 예방이 가능하다.
넷째, AI 학습용 데이터셋의 품질 및 적법성 검증 제도를 운영한다. 민간과 공공의 생성형 AI에 사용되는 데이터는 「개인정보보호법」과 저작권 법령을 준수하도록 사전 검증한다.
다섯째, 딥페이크 탐지 알고리즘을 개발하여 누구나 AI 기술을 활용해 조작된 영상과 음성을 자동으로 식별하는 시스템을 자율적으로 활용할 수 있도록 국가적 지원도 권장한다.
생성형 AI 리터러시를 함양과 윤리
AI 시대의 딥페이크와 사생활 침해 예방은 법과 제도만으로 해결되지 않는다. 제도적 기반 마련과 물리, 기술 측면의 유의사항을 이해하고 이를 생활에서 실천할 때 실효를 거둘 수 있다. 생성형 AI는 혁신적인 기술 발전과 새로운 가치 창출의 기회를 제공하는 동시에 윤리적 문제와 사생활 침해 위험을 동반한다. 따라서 생성형 AI를 안전하고 책임감 있게 활용하기 위해서는 기술의 혁신성과 윤리적 책임 사이에서 균형을 찾는 노력이 필수적이다.
AI 시대에 사는 모두가 지속적인 AI를 비판적으로 이해하고, 안전하고 윤리적으로 활용할 수 있는 AI 리터러시를 함양해야 한다. 이러한 노력이 뒷받침될 때 AI의 편향성, 개인정보 노출, 허위정보 생성 등 여러 문제를 해결할 수 있으며, 안전한 AI 시대로의 전환이 가능해진다. 궁극적으로 생성형 AI는 인간의 삶을 향상시키는 도구가 돼야 한다. 이를 위한 윤리적 지침 마련과 사회적 합의는 이제 선택이 아니라 필수다.