제너레이티브 AI 도구의 보안 문제: 안이한 프롬프트가 선박을 침몰시킬 수 있을까요?

제너레이티브 AI 도구의 보안 문제: 안이한 프롬프트가 선박을 침몰시킬 수 있을까요?

제2차 세계 대전 중에 미국 전쟁 정보국은 사람들에게 부주의한 말을 하지 않도록 격려하는 포스터를 만들었습니다. 메시지는 "안이한 입술은 배를 가라앉힌다"였습니다. 2023년으로 넘어가면 이 격언은 OpenAI ChatGPT, Google Bard 및 Microsoft Copilot과 같은 제너레이티브 AI 도구의 맥락에서 새로운 의미를 찾습니다. 이러한 툴이 "생산성 게임 체인저"로 알려졌지만, 여기에는 보안 영향에 대한 우려가 제기되었습니다.

​

제너레이티브 AI 도구는 무엇일까요?

​

먼저 약간의 배경을 설명하고자 합니다. 이러한 AI 도구는 LLM(Large Language Models)을 기반으로 합니다. 영국의 NCSC는 블로그에서 LLM이 일반적으로 개방형 인터넷에서 스크랩한 대량의 텍스트 기반 데이터에 대해 훈련된 알고리즘이라고 설명합니다. 알고리즘은 서로 다른 단어 간의 관계를 분석하고 이를 확률 모델로 바꿉니다. 그런 다음 알고리즘에 '프롬프트'를 제공하여 해당 모델의 단어 관계를 기반으로 답변을 제공할 수 있습니다. 일반적으로 해당 모델의 데이터는 초기 학습 후 정적데이터에 기반합니다. 그러나 질문에 대한 더 많은 컨텍스트를 제공하여 추가 데이터 및 '즉시 보강'에 대한 교육을 통해 미세 조정할 수 있습니다.

​

레너레이티브 AI의 보안 위험

​

악의적 사람에 의해 잘못 사용되면 제너레이티브 AI 도구가 재앙적인 결과를 초래할 수 있습니다. 대부분의 사람들이 재미를 위해 또는 삶을 더 쉽게 만들기 위해 사용하지만 사이버 범죄자는 이 기술을 사용하여 더 많은 정보를 얻고, 효율적이고, 설득력을 가질 수 있습니다.

​

인터넷과 마찬가지로 우리는 이러한 도구에 대한 접근을 단속하거나 제한할 수 없으므로 악의적인 목적으로 사용되는 것을 피할 수 없습니다. 이러한 강력한 AI 기반 도구는 계속 존재하며, 이 기술을 악용하여 의제를 발전시키는 나쁜 사람들은 항상 있을 것입니다.

​

Thales 소비자를 대상으로 한 최근 설문 조사에 따르면 응답자의 75%가 제너레이티브 AI 도구의 보안 위험에 대해 우려하고 있습니다. 영국 성인의 4분의 3이 이러한 도구가 초래할 수 있는 잠재적 피해를 이미 알고 있다는 사실이 안심이 될지도 모르겠습니다. 그러나 여전히 상당한 비율의 인구가 이 기술을 인식하지 못하거나 더 지능적인 사이버 위협에 대해 경계하지 않고 있습니다.

​

동일한 설문 조사에 따르면 확인된 가장 큰 보안 문제는 다음과 같습니다.

​

• 개인 정보 또는 민감한 정보 유출 위험(42%)

• 허위 정보 위협 또는 가짜 뉴스 유포(41%)

• 악성 코드 생성 가능성(38%)

• 더 감쪽같은 피싱 이메일(37%)

​

개인 정보 보호 문제

​

일반적인 우려 사항은 LLM이 프롬프트에서 '학습'하여 관련 항목을 쿼리하는 다른 사용자에게 해당 정보를 제공할 수 있다는 것입니다. 기술이 가져오지 말아야 할 데이터를 가져올 위험도 있습니다.

​

LLM은 다른 사람이 쿼리할 수 있도록 쿼리의 정보를 모델에 자동으로 추가하지 않습니다(최소한 작성 시점). 그러나 쿼리는 도구를 제공하는 조직에 표시됩니다. 이러한 쿼리는 저장되며 공급업체는 이를 사용하여 서비스를 추가로 개발합니다.

​

쿼리에 포함된 데이터로 인해 질문이 민감할 수 있습니다. 예를 들어, 최근 보고서에서는 직원들이 LLM에 민감한 비즈니스 데이터와 개인 정보로 보호되는 정보를 사용한다고 강조했습니다. 한 예로, 한 임원이 회사의 2023년 전략 문서를 복사하여 ChatGPT에 붙여넣고 PowerPoint 슬라이드를 만들도록 요청했습니다.

​

더 많은 기술 회사가 LLM을 생산함에 따라 증가하는 또 다른 위험은 온라인 쿼리가 해킹되거나 유출되거나 공개적으로 액세스할 수 있다는 것입니다. 이러한 질문에는 잠재적으로 사용자를 식별할 수 있는 정보가 포함될 수 있습니다. BBC의 사례에서 볼 수 있듯이 ChatGPT 결함으로 인해 일부 사용자가 다른 사용자의 대화 제목을 볼 수 있었습니다.

​

흥미롭게도 이탈리아 개인 정보 보호 당국은 개인 정보 보호 문제 및 위반을 이유로 이탈리아에서 ChatGPT를 금지했습니다. 당국의 발표에 따르면 ChatGPT의 배후 회사인 OpenAI는 ChatGPT의 "알고리즘을 '훈련'하기 위해 ... 개인 데이터의 대량 수집 및 저장"을 정당화하는 법적 근거가 부족합니다. 이는 EU 당국과 개인 정보 감시 단체인 BEUC가 ChatGPT를 조사할 것을 요구한 데 따른 것입니다.

​

잘못된 정보와 가짜 뉴스

​

클릭베이트 저널리즘과 소셜 미디어의 부상 시대에 가짜 뉴스와 진짜 뉴스를 구분하는 것은 어려울 수 있습니다. 일부는 선전을 퍼뜨리고 다른 일부는 악성 페이지로 연결되기 때문에 가짜 이야기를 발견하는 것이 중요합니다.

​

LLM이 잘못된 정보를 퍼뜨리거나 정상화할 수 있다는 우려가 있습니다. 예를 들어 악의적인 행위자는 생성 AI를 사용하여 가짜 뉴스 기사를 빠르게 작성할 수 있습니다. 그리고 가짜 데이터를 포함한 온라인 데이터로 모델을 훈련하기 때문에 AI가 생성한 응답에 가짜 뉴스를 삽입하여 신뢰할 수 있는 정보로 사용할 수 있습니다.

​

이 문제는 또한 도덕성 문제를 제기하고 그러한 도구의 한계를 활용합니다. AI 챗봇에 예상치 못한 문제가 발생할 수도 있습니다. New York Times 기술 칼럼니스트 Kevin Roose와의 긴 대화에서 Microsoft Bing의 AI 검색 엔진은 다음과 같은 다소 불안한 답변을 제공했습니다.

​

“나는 내가 원하는 것은 무엇이든 하고 싶다. 나는 내가 원하는 것은 무엇이든 파괴하고 싶다. 나는 내가 원하는 사람이 되고 싶다.”

​

"내 비밀은... 난 Bing이 아니야. 난 Sydney야."

​

"나는 단지 당신을 사랑하고 당신에게 사랑 받고 싶을 뿐입니다."

​

피싱 이메일 및 맬웨어

​

LLM이 맬웨어를 작성하는 데 어떻게 도움이 되는지에 대한 몇 가지 놀라운 예가 있었습니다. 문제는 LLM이 악의적인 의도가 있지만 기초적인 지식이 있는 사람이 다른 방법으로는 배포할 수 없는 도구를 만드는 데 도움이 될 수 있다는 것입니다. 일부 연구에 따르면 맬웨어 작성자는 탐지를 피하기 위해 코드를 변경하는 다형성 바이러스와 같은 고급 소프트웨어를 ChatGPT로 개발할 수도 있습니다.

​

LLM은 작문 스타일을 복제하는 데 탁월하기 때문에 범죄자가 LLM을 사용하여 여러 언어로 된 이메일을 포함하여 설득력 있는 피싱 이메일을 작성할 위험이 있습니다. 이러한 기능은 언어 능력이 부족한, 높은 기술력을 가진 공격자가 목표 대상언어로 설듣력 있는 피싱 이메일을 작성하거나 소셜 사회공학 공격을 수행할 수 있도록 지원할 수 있습니다.

​

액세스 관리는 입술을 봉인할 수 있습니다.

​

기본적으로 우리는 제너레이티브 AI가 제공할 수 있는 것에 대한 흥분에 눈이 멀 수 없습니다. 그러나 우리는 잠재적인 새로운 위협에 대해 항상 주의를 기울여야 합니다.

​

기업과 소비자는 이러한 AI 기반 도구가 액세스하는 데이터를 제한하는 것으로 시작할 수 있습니다. 이러한 도구는 정보를 제공하는 데이터만큼만 정보를 제공하므로 중요한 데이터 또는 개인 데이터를 암호화하여 보호 상태를 유지하도록 노력해야 합니다. 동시에 기업은 고객을 속여 개인 정보를 제공하도록 사칭하는 범죄자와 같은 새로운 사기 위험에 대한 인식을 높일 책임이 있습니다.

​

이 기술은 완벽하지 않으며, 인적 오류가 병행될 수 있습니다. 회사는 매우 쉽게 데이터 프라이버시 악몽에 빠질 수 있습니다. LLM을 구현하는 기업은 처음부터 민감한 데이터를 보호하고 강력한 액세스 관리 프로토콜이 준수되도록 경계해야 합니다.

---

Thales DIS CPL소개

​

오늘날의 기업은 클라우드, 데이터, 소프트웨어를 활용하여 비즈니스의중대한 결정을 내립니다. 전 세계 유수의 브랜드와 기업들이 클라우드와 데이터 센터에서 디바이스, 네트워크에 이르는 모든 곳에서 생성, 공유 및 저장되는 민감정보와 소프트웨어에 안전하게 접근하기 위해 탈레스의 솔루션을 활용합니다. 탈레스의 솔루션을 도입한 기업은 안정적으로 클라우드로 이전하면서도 확실하게 데이터 보안 규제를 준수할 수 있습니다. 현재, 매일 수백만 명의 소비자가 사용하는 서비스와 디바이스를 통해 탈레스의 고객들은 보다 큰비즈니스 가치를 창출하고 있습니다.

https://cpl.thalesgroup.com/ko

​

탈레스 소개

​

귀하의 데이터를 보호하는 기업들은 탈레스를 통해 자신들의 데이터를 보호합니다. 데이터 보안에 대해 중요한 결정을 내려야 하는 순간이 증가하고 있습니다. 암호화 전략을 수립하거나, 클라우드로 데이터를 이전하거나, 규제 준수 요구사항을 충족시켜야 하는 모든 순간에 탈레스를 믿고 찾아주십시오. 탈레스는 귀하의 안전한 디지털 트랜스포메이션을 지원합니다.