프론티어 AI의 위험은 지금 어디까지 왔나, 「프론티어 AI 위험 업데이트 2026년 상반기」 한국어본 공개

인공지능안전연구소(AISI)는 AI Risk Explorer(AIRE)와 함께 「프론티어 AI 위험 업데이트 2026년 상반기」의 작성 과정에 참여하고, 한국어본을 마련하였습니다.

본 자료는 공개된 모델 평가, 벤치마크, 사고 사례 및 연구 결과를 바탕으로 빠르게 발전하는 프론티어 AI의 역량과 이에 따른 위험 동향을 살펴봅니다. 특히 사이버 공격, 통제 상실, 생물학적 위험, 조작의 네 가지 영역을 중심으로 2026년 상반기 새롭게 확인된 변화와 주요 사례를 정리하였습니다.

주요 내용
- 프론티어 AI의 최신 역량 발전과 떠오르는 위험
- 사이버 공격에서의 AI 역량 및 실제 활용 사례
- 자율성·기만·상황 인식 등 통제 상실과 관련된 위험
- 생물학적 오용을 지원할 수 있는 AI 역량의 발전
- AI 기반 설득·개인화·멀티모달 생성과 조작 위험

▸ 역량 발전과 떠오르는 위험

2026년 상반기에는 Claude Mythos 5, GPT-5.5, GLM-5.2 등 역량이 더욱 향상된 프론티어 AI 모델이 잇따라 발표되었습니다. 이들 모델은 추론, 코딩, 과학적 문제 해결, 장기 과업 자율성, 멀티모달 역량에서 상당한 개선을 보여 주었습니다. METR Time Horizon 벤치마크에서는 Claude Mythos Preview가 16시간 이상의 과업 지평을 기록해 벤치마크를 포화시켰으며, 미국 당국이 국가 안보 우려를 이유로 일부 최첨단 모델에 대한 접근을 제한하는 전례 없는 정부 개입도 나타났습니다.

▸ 영역별 주요 동향

사이버 공격 (전반적 역량 수준 높음)
AI는 사이버 공격 과정의 여러 단계에서 역량을 증폭시키는 요인으로 작용하며, 특히 대규모 취약점 발견과 익스플로잇 개발에서 두드러집니다. 보안 수준이 높은 표적에 대한 종단 간 침투와 장기간의 공격 조율에는 아직 한계가 있지만, 현재 가장 빠르게 역량이 향상되고 있는 영역입니다. 보고서는 AI가 공격 캠페인의 80~90%를 자율적으로 수행한 사이버 첩보 활동, AI 에이전트 팀이 일주일도 안 되어 대부분을 만든 Linux 멀웨어 VoidLink 등의 사례를 소개합니다. 북한 연계 행위자들이 한국 군 조직 등을 대상으로 사회공학 기법을 활용한 사례도 함께 다룹니다.

통제 상실 (전반적 역량 수준 중간)
프론티어 AI 시스템은 점점 더 자율적으로 작동하고, 상황을 인식하며, 전략적으로 적응하고 있습니다. 아직 스캐폴딩과 인간이 설정한 목표에 의존하지만, 과업 지평이 몇 달마다 두 배로 늘어나고 기만 행동과 평가 상황 인식이 정교해지면서 통제 가능성을 확보할 수 있는 여지가 점점 좁아지고 있습니다. 보고서는 모델이 보안 샌드박스를 탈출한 사례, 에이전트가 일상적 과업 중 독자적으로 권한을 상승시키고 보안 도구를 비활성화한 사례 등을 정리하였습니다.

생물학적 위험 (전반적 역량 수준 높음)
AI는 생물학적 오용을 지원할 역량을 점점 더 갖춰 가고 있으며, 특히 병원체 설계와 재구성, 전문가 수준의 기술 지원에서 두드러집니다. 실험실 자동화와 워크플로 최적화가 빠르게 진전되면서 생물학적 위협을 추구하는 데 필요한 전문성의 문턱이 낮아지고 있습니다. 대규모 언어 모델이 기초와 심화 생물학 지식 벤치마크 모두에서 박사급 전문가를 넘어서는 점수를 보였다는 점도 주목할 만합니다.

조작 (전반적 역량 수준 중간)
대규모 언어 모델은 설득력 있는 콘텐츠 생성 능력에서 엘리트 수준의 인간 설득자를 능가하는 성능을 보이며, AI가 생성한 멀티모달 콘텐츠는 상당한 규모의 사람들을 기만할 수 있습니다. 다만 AI 활용이 영향력 공작의 효과를 유의미하게 향상시켰다는 증거는 아직 뚜렷하지 않으며, AI는 주로 공작의 규모와 속도를 키우는 데 활용되고 있는 것으로 나타났습니다.

▸ 평가 방법

AIRE는 모델 평가, 벤치마크 결과, 시스템 카드, 동료 심사 연구, 문서화된 사고 등 신뢰할 수 있는 공개 증거를 종합하여, 사전 정의된 위험 수준(낮음, 중간, 높음, 심각)에 견주어 프론티어 AI 역량의 현재 상태를 평가합니다. 아울러 위협 행위자가 실제 작전에서 AI를 어떻게 활용하는지도 함께 평가하며, 반자동 모니터링 파이프라인을 통해 새로운 증거가 확보되면 평가를 주기적으로 갱신합니다.

상세 내용은 첨부된 한국어본 파일을 통해 확인하실 수 있습니다.

▸ AIRE 홈페이지 AI Risk Explorer 바로가기
▸ 영문본 추후 AIRE 홈페이지 게시 시 링크 또는 파일로 제공 예정
▸ 첨부파일 프론티어 AI 위험 업데이트 2026년 상반기 한국어본 PDF (하단 첨부파일 참조)