한때 자동화된 대화 프로그램으로 생각되었던 AI 챗봇은 이제 인간과 거의 구별할 수 없는 대화를 학습하고 유지할 수 있다. 그러나 AI 챗봇의 위험은 다양하다.

이는 오용하는 사람들부터 실제 사이버 보안 위험에 이르기까지 다양하다. 인간이 점점 더 AI 기술에 의존함에 따라 이러한 프로그램 사용의 잠재적 영향을 아는 것이 필수적이다. 하지만 봇이 위험할까?

1. 편견과 차별

AI 챗봇의 가장 큰 위험 중 하나는 해로운 편견에 대한 경향이다. AI는 인간이 종종 놓치는 데이터 포인트 사이의 연결을 그리기 때문에 학습 데이터에서 미묘하고 암시적인 편향을 포착하여 스스로 차별하도록 가르칠 수 있다. 결과적으로 챗봇은 훈련 데이터에 극단적인 내용이 없더라도 인종차별, 성차별 또는 기타 차별적 콘텐츠를 토해내는 방법을 빠르게 학습할 수 있다.

대표적인 예가 Amazon의 폐기된 채용 봇이다. 2018년 Amazon이 지원자의 이력서를 사전 평가하기 위한 AI 프로젝트를 포기한 사실이 드러났다. 봇이 훈련한 대부분의 이력서는 남성의 이력서였기 때문에 훈련 데이터에 명시적으로 명시되어 있지 않더라도 남성 지원자가 선호된다고 스스로 학습했다.

인터넷 콘텐츠를 사용하여 자연스럽게 의사 소통하는 방법을 스스로 가르치는 챗봇은 훨씬 더 극단적인 편견을 보이는 경향이 있다. 2016년 Microsoft는 소셜 미디어 게시물을 모방하는 방법을 학습한 Tay라는 챗봇을 선보였다. 몇 시간 안에 매우 공격적인 콘텐츠를 트윗하기 시작했고 머지 않아 Microsoft는 계정을 정지했다.

기업이 이러한 봇을 구축하고 배포할 때 주의하지 않으면 실수로 유사한 상황이 발생할 수 있다. 챗봇은 고객을 학대하거나 방지해야 하는 유해한 편향된 콘텐츠를 퍼뜨릴 수 있다.

2. 사이버 보안 위험

AI 챗봇 기술의 위험은 사람과 기업에 보다 직접적인 사이버 보안 위협을 가할 수도 있다. 사이버 공격의 가장 많은 형태 중 하나는 피싱 및 비싱 사기이다. 여기에는 은행이나 정부 기관과 같은 신뢰할 수 있는 조직을 모방하는 사이버 공격자가 포함된다.

피싱 사기는 일반적으로 이메일 및 문자 메시지를 통해 작동한다. 링크를 클릭하면 맬웨어가 컴퓨터 시스템에 침투할 수 있다. 일단 내부에 들어가면 바이러스는 개인 정보를 훔치는 것부터 몸값을 위해 시스템을 유지하는 것까지 무엇이든 할 수 있다.

피싱 공격의 비율은 코로나19 팬데믹 동안과 그 이후에 꾸준히 증가하고 있다. Cybersecurity & Infrastructure Security Agency는 개인의 84%가 민감한 정보가 포함된 피싱 메시지에 회신하거나 링크를 클릭한 것을 발견했다.

피셔는 AI 챗봇 기술을 사용하여 피해자 검색을 자동화하고 링크를 클릭하도록 유도하고 개인 정보를 포기하도록 유도한다. 챗봇은 은행과 같은 많은 금융 기관에서 고객 서비스 경험을 간소화하기 위해 사용된다.

챗봇 피셔는 은행이 피해자를 속이기 위해 사용하는 것과 동일한 자동 프롬프트를 모방할 수 있다. 또한 대화형 채팅 플랫폼에서 자동으로 전화를 걸거나 피해자에게 직접 연락할 수 있다.

3. 데이터 중독

데이터 중독은 인공지능을 직접 대상으로 하는 새로 고안된 사이버 공격이다. AI 기술은 데이터 세트에서 학습하고 해당 정보를 사용하여 작업을 완료한다. 이는 목적이나 기능에 관계없이 모든 AI 프로그램에 해당된다.

챗봇 AI의 경우 이는 사용자가 제공할 수 있는 가능한 질문에 대한 여러 응답을 학습하는 것을 의미한다. 그러나 이 또한 AI의 위험 중 하나이다.

이러한 데이터 세트는 누구나 사용할 수 있는 오픈 소스 도구 및 리소스인 경우가 많다. AI 회사는 일반적으로 데이터 소스에 대해 철저하게 보호되는 비밀을 유지하지만 사이버 공격자는 데이터 소스를 사용하고 조작할 수 있는 소스를 결정할 수 있다.

사이버 공격자는 AI를 훈련시키는 데 사용되는 데이터 세트를 조작하여 의사 결정과 대응을 조작할 수 있는 방법을 찾을 수 있다. AI는 변경된 데이터의 정보를 사용하여 공격자가 원하는 행동을 수행한다.

예를 들어 데이터 세트에 가장 일반적으로 사용되는 소스 중 하나는 Wikipedia와 같은 Wiki 리소스이다. 데이터는 라이브 Wikipedia 기사에서 가져오지 않지만 특정 시간에 찍은 데이터의 스냅샷에서 가져온다. 해커는 자신에게 도움이 되도록 데이터를 편집하는 방법을 찾을 수 있다.

챗봇 AI의 경우 해커는 의료 또는 금융 기관에서 작동하는 챗봇을 훈련시키는 데 사용되는 데이터 세트를 손상시킬 수 있다. 챗봇 프로그램을 조작하여 고객에게 맬웨어 또는 사기성 웹사이트가 포함된 링크를 클릭하도록 유도할 수 있는 잘못된 정보를 제공할 수 있다. AI가 오염된 데이터에서 추출하기 시작하면 탐지하기 어렵고 오랫동안 눈에 띄지 않는 사이버 보안의 중대한 위반으로 이어질 수 있다.

AI 챗봇의 위험을 해결하는 방법

이러한 위험은 우려되지만 봇이 본질적으로 위험하다는 의미는 아니다. 오히려 조심스럽게 접근하고 챗봇을 구축하고 사용할 때 이러한 위험을 고려해야 한다.

AI 편향을 방지하는 핵심은 훈련 전반에 걸쳐 이를 검색하는 것이다. 다양한 데이터 세트로 교육하고 특히 의사 결정에서 인종, 성별 또는 성적 취향과 같은 요소를 고려하지 않도록 프로그래밍하라. 또한 다양한 데이터 과학자 팀을 구성하여 챗봇의 내부 작업을 검토하고 챗봇이 아무리 미묘하더라도 편견을 나타내지 않는지 확인하는 것이 가장 좋다.

피싱에 대한 최선의 방어는 교육이다. 피싱 시도의 일반적인 징후를 파악하도록 모든 직원을 교육하여 이러한 공격에 넘어가지 않도록 한다. 문제에 대한 소비자 인식 확산도 도움이 될 것이다.

챗봇의 훈련 데이터에 대한 접근을 제한함으로써 데이터 포이즈닝을 방지할 수 있다. 작업을 올바르게 수행하기 위해 이 데이터에 액세스해야 하는 사람만 최소 권한 원칙이라는 개념인 권한을 가져야 한다. 이러한 제한을 구현한 후에는 다단계 인증 또는 생체 인식과 같은 강력한 확인 조치를 사용하여 사이버 범죄자가 승인된 계정을 해킹할 위험을 방지해야 한다.

AI 의존의 위험에 대해 경계 유지

인공지능은 거의 무한한 응용 프로그램을 제공하는 정말 놀라운 기술이다. 그러나 AI의 위험성은 모호할 수 있다. 봇은 위험한가? 본질적으로 그런 것은 아니지만 사이버 범죄자는 이를 다양한 파괴적인 방식으로 사용할 수 있다. 이 새로 발견된 기술의 응용 프로그램이 무엇인지 결정하는 것은 사용자에게 달려 있다.