AI안전평가

한국 AI안전연구소는 고도화된 AI의 안전성을 확보하고자 국가 차원에서 집중 관리해야 할 AI 위험을 체계적으로 정의하고 평가하는 것을 목표로 다음과 같은 주요 업무를 수행합니다.

  • 위험정의

  • 안전프레임워크 개발

  • 평가 수행

  • 평가 인프라구축

  • 위험정의

    • 글로벌 논의 내용*을 바탕으로, 국가적으로 집중 관리해야 할 AI 위험을 세부적으로 정의합니다.

      글로벌 논의 내용 예시

      1. 화학 또는 생물학 무기의 개발, 생산, 획득을 지원할 가능성이 있는 잠재적 AI 모델
      2. 안전장치 우회, 조작 및 기만, 인간의 명시적 승인 없이 수행되는 자율적 복제 등 인간의 감독을 회피할 수 있는 잠재적 AI 모델

  • 안전 프레임워크 개발

    • 기업, 대학, 연구기관과의 협력을 통해 위험별 AI 안전 평가 프레임워크(지표, 기준, 방법)를 개발하고 안전 평가 및 위험 완화 방안을 마련합니다.

    • AI가 심각한 위험을 초래할 가능성이 있는 경우, 해당 모델에 대한 신뢰할 수 있는 평가를 위한 프레임워크를 개발하여 공유합니다.

  • 평가수행 및 인프라 구축

    • AI 안전 평가 데이터셋 구축, 평가 도구 개발 등 평가 인프라를 구축하여 안전 평가 수행을 지원합니다.

    • AI가 초래할 수 있는 위험요소와 관련된 많은 실증 데이터를 수집하고, 이를 활용하여 실질적인 평가를 지원하는 도구 및 인프라를 구축하여 활용을 지원합니다.