AI 모델 (인공지능 언어모델) LLM 해킹에 대한 방어 - 챗GPT, 클로드

사이버보안의 진화하는 환경에서 대규모 언어 모델(LLM)의 등장은 새로운 도전과 기회를 가져왔습니다. 연구에 따르면 GPT-4와 같은 고급 LLM은 이제 취약점에 대한 사전 지식이나 인간의 피드백 없이도 블라인드 데이터베이스 스키마 추출 및 SQL 인젝션을 포함한 정교한 사이버 공격을 자율적으로 실행할 수 있는 능력을 보유하고 있습니다. 또 다른 사례에서는 연구진이 제로데이 취약점을 자율적으로 찾아내고 이용할 수 있는 AI 도구를 개발했으며, 이는 53%의 성공률을 보였습니다. 이는 인간과 AI가 주도하는 공격자들이 어떻게 이러한 도구를 활용하여 전통적인 방어 체계를 앞지를 수 있는지에 대한 깊은 우려를 불러일으킵니다.

​

인간 공격자가 개입하는 경우에도 AI 도구는 정교한 공격을 시작하는 진입 장벽을 크게 낮춥니다. 제일브레이킹이나 신중하게 설계된 쿼리와 같은 기술을 통해 미숙한 공격자도 LLM을 사용하여 악성 코드를 생성하거나, 공격 단계를 자동화하거나, 피싱 스크립트를 만들 수 있습니다. 경우에 따라 LLM이 의도치 않게 악성 페이로드 전달을 용이하게 하거나 취약점을 제안할 수 있습니다. 이러한 해킹 지식의 대중화는 한때 고도로 훈련된 적대자들에게만 국한되었던 복잡한 사이버 공격이 이제 더 넓은 범위의 공격자들이 접근할 수 있게 되었음을 의미합니다. AI가 이전 상호작용으로부터 학습하고 응답을 조정하는 능력은 방어를 더욱 어렵게 만듭니다.

​

LLM 주도 공격의 현실

​

우리는 AI 지원 공격의 부상을 직접 목격하고 있습니다. SQL 인젝션부터 데이터 유출에 이르기까지, 이러한 AI 주도 공격은 점점 더 일반화되고 있습니다. 이러한 공격의 특성은 LLM이 빠르게 학습하고 적응할 수 있기 때문에 특히 우려되며, 이는 전통적인 방어 메커니즘의 효과를 감소시킵니다.

​

우리의 데이터는 ChatGPT, Anthropic Claude, Google Gemini 등과 같은 AI 도구를 추적합니다. 이러한 각각의 현대적인 웹 클라이언트는 메타데이터, 알려진 IP 주소, 그리고 행동을 비교하여 이것이 실제로 LLM의 요청임을 확인합니다.

​

앞서 언급했듯이, LLM을 통해 공격을 수행하는 주요 방법 중 하나는 잘 설계된 쿼리를 통해 ChatGPT와 같은 LLM의 브라우징 기능을 악용하는 것입니다. 예를 들어, 공격자는 악성 콘텐츠가 포함된 URL과 매개변수를 제공하여 browser.open_url 함수를 활용할 수 있습니다. 모델이 이를 공격으로 인식하고 사용자에게 경고할 수 있지만, 여전히 대상 애플리케이션에 요청을 보내 실질적으로 공격을 수행할 수 있습니다.

​

​

더욱이, 다양한 "제일브레이크" 기술을 통해 공격자들은 제한을 우회하고 LLM을 악의적인 목적으로 사용할 수 있습니다. 이러한 기술은 단순하지만 효과적일 수 있으며, 공격자가 LLM을 조작하여 승인되지 않은 작업을 수행하도록 할 수 있습니다.

​

평균적으로 우리는 매일 AI 도구로부터 약 700,000건의 SQL 인젝션, 자동화된 공격, RCE, XSS 공격 시도를 목격합니다. 이러한 공격이 AI 도구로부터 자율적으로 오는 것인지 아니면 인간 에이전트로부터 오는 것인지는 말할 수 없지만, 우리의 고객들은 양쪽 모두로부터 보호받고 있습니다.

​

ChatGPT 출처의 공격은 주로 시스템 구성, 데이터베이스 구성, 키나 내부 시스템에 대한 정보와 같은 민감한 정보를 포함할 수 있는 백업 파일을 대상으로 하는 데이터 유출 시도로 구성됩니다. 이러한 유형의 공격을 방어하기 위해서는 파일 접근성을 제한하고 강력한 접근 제어를 구현해야 합니다.

​

​

LLM 기반 공격은 100개 이상의 국가의 사이트를 대상으로 광범위하게 이루어집니다. 공격은 주로 미국과 캐나다 기반의 소매, 비즈니스, 여행 사이트를 대상으로 합니다.

​

공격은 다양하며, 우리는 여러 종류의 특징적인 페이로드를 확인했습니다. 아래 예시에서 페이로드는 'eval' 함수를 사용하여 동적으로

​

다른 페이로드는 Oracle WebLogic Server(CVE-2017-3248)의 취약점을 대상으로 하며, 이는 Nashorn 자바스크립트 엔진을 통해 원격 공격자가 임의의 코드를 실행할 수 있게 합니다. 이는 스크립트를 사용하여 /bin /sh를 실행하는 프로세스를 종료하여 잠재적으로 서버를 중단시킬 수 있습니다. 여기서 성공적인 악용은 원격 코드 실행(RCE)으로 이어질 수 있으며 공격자에게 시스템에 대한 완전한 제어권을 줄 수 있습니다.

​

앞으로의 전망

​

LLM이 더욱 발전함에 따라 사이버보안 환경은 의심할 여지없이 새롭고 더 복잡한 도전에 직면할 것입니다. 이러한 위협을 앞서가는 핵심은 지속적인 혁신과 적응에 있습니다. Imperva 제품은 ChatGPT와 다른 LLM으로부터의 공격을 방어하며, 우리는 이 문제의 최전선에 머물기 위해 연구 개발 노력을 계속하고 있습니다. Imperva 제품은 LLM 해킹으로부터 당신의 자산을 방어할 준비가 되어 있으며, 우리는 LLM이 제기하는 최신 위협을 예상하고 무력화하는 최첨단 보안 솔루션을 개발하는데 앞장서고 있습니다.

​

LLM 주도 공격의 부상이 사이버보안 영역에서 중요한 변화를 나타내지만, 이는 또한 더욱 탄력적이고 정교한 방어 메커니즘을 개발할 기회를 제공합니다. 경계를 늦추지 않고 선제적으로 대응함으로써, 우리는 LLM 기술을 활용하는 사이버 공격자들의 진화하는 전술에 대해 잘 준비할 수 있습니다.

​

Imperva 애플리케이션 보안 소개

​

Thales 회사인 Imperva는 조직이 중요한 애플리케이션, API, 데이터를 어디서나 규모에 맞게 최고의 ROI로 보호하도록 돕는 사이버보안 리더입니다. Imperva 애플리케이션 보안 플랫폼은 오탐을 최소화하면서 가장 높은 효율성으로 가장 고급 공격을 차단합니다. 그 높은 효율성은 조직이 신속하게 온보딩하여 규모에 맞게 자산을 보호할 수 있게 합니다. Imperva 위협 연구팀과 글로벌 인텔리전스 커뮤니티의 도움으로, 우리는 진화하는 위협 환경보다 앞서 나가며, 최신 보안, 프라이버시, 규정 준수 전문성을 우리의 솔루션에 원활하게 통합합니다.

​

Imperva 애플리케이션 보안 플랫폼은 클라우드, 온프레미스 또는 하이브리드 구성부터, 어디에 있든 애플리케이션을 보호하기 위한 심층 방어를 제공하는 최고의 솔루션들을 결합합니다:

​

• 가장 중요한 웹 애플리케이션 보안 위험을 차단하기 위한 온프레미스 및 클라우드 웹 애플리케이션 방화벽(WAF) 솔루션
• 심층 발견 및 분류를 사용한 모든 API의 지속적인 보호를 위한 API 보안
• 오늘날 가장 정교한 자동화된 위협으로부터 웹사이트, 모바일 애플리케이션, API를 보호하는 고급 봇 보호
• 탈취 시도와 새 계정 사기를 포함한 악의적인 활동으로부터 로그인 엔드포인트를 보호하는 계정 탈취 보호
• 클라이언트 사이드 공격으로부터 웹사이트를 보호하고 PCI DSS 4.0 규정 준수를 간소화하는 클라이언트 사이드 보호
• 비즈니스 연속성을 보장하는 보장된 업타임을 제공하는 웹사이트, 네트워크, DNS를 위한 DDoS 보호
• 알려진 취약점과 제로데이 취약점으로부터 기본적인 보안을 제공하는 런타임 애플리케이션 자체 보호(RASP)
• 우수한 속도와 성능으로 전 세계적으로 애플리케이션을 안전하게 전달하는 콘텐츠 전송 네트워크

​

오늘 애플리케이션 보안 무료 평가판을 시작하여 악성 봇으로부터 애플리케이션을 보호하세요.

 

 

---

 

Thales DIS CPL소개

​

오늘날의 기업은 클라우드, 데이터, 소프트웨어를 활용하여 비즈니스의 중대한 결정을 내립니다. 전 세계 유수의 브랜드와 기업들이 클라우드와 데이터 센터에서 디바이스, 네트워크에 이르는 모든 곳에서 생성, 공유 및 저장되는 민감정보와 소프트웨어에 안전하게 접근하기 위해 탈레스의 솔루션을 활용합니다. 탈레스의 솔루션을 도입한 기업은 안정적으로 클라우드로 이전하면서도 확실하게 데이터 보안 규제를 준수할 수 있습니다. 현재, 매일 수백만 명의 소비자가 사용하는 서비스와 디바이스를 통해 탈레스의 고객들은 보다 큰비즈니스 가치를 창출하고 있습니다.

https://cpl.thalesgroup.com/ko

​

탈레스 소개

​

귀하의 데이터를 보호하는 기업들은 탈레스를 통해 자신들의 데이터를 보호합니다. 데이터 보안에 대해 중요한 결정을 내려야 하는 순간이 증가하고 있습니다. 암호화 전략을 수립하거나, 클라우드로 데이터를 이전하거나, 규제 준수 요구사항을 충족시켜야 하는 모든 순간에 탈레스를 믿고 찾아주십시오. 탈레스는 귀하의 안전한 디지털 트랜스포메이션을 지원합니다.