AI TRiSM(AI의 신뢰, 리스크, 보안 관리)!

AI TRiSM

 

예전에 미국의 저명한 정보 기술 연구 및 자문 회사인 Gartner에서 2023년 10대 전략 기술 트렌드를 발표한 적이 있습니다.

이 내용 중에 AI와 관련하여 AI TRiSM란 내용이 있어서, 오늘은 이에 대한 내용을 공유해 드릴까 합니다.

 Gartner, 2023년 10대 전략 기술 트렌드

우선 AI TRiSM에 대해서 간략하게 말씀드리면, AI TRiSM은 Artificial Intelligence(AI) Trust, Risk, and Security Management의 약자로, AI의 신뢰, 리스크 및 보안 관리를 말하는 것입니다.

일반적으로 특정 기술이 사회 속으로 급속하게 확산되게 되면 우선 기술이 적용된 후에 관련된 문제들이 생겨나고 되고, 이에 대한 대책들도 생기게 되는데 AI도 이와 비슷하다는 생각이 듭니다.

킥보드 서비스가 확산되면서 관련 문제가 생기고 이에 대한 법이 정비되었던 것처럼 말이죠.

AI TRiSM이란?

위에서도 간략하게 언급해 드렸지만, AI TRiSM이란 AI 모델 거버넌스, 신뢰성, 공정성, 효율성, 개인 정보 보호, 데이터 보호 및 신뢰성을 지원하고 가능하게 하는 정책 및 프레임워크입니다.

Gartner는 이 AI TRiSM이 향후 트렌드 기술이 될 것이라고 예측했습니다.

이 AI TRiSM은 다음 세 가지로 구분됩니다.

AI Trust

AI Trust는 AI 시스템이 작업을 편견 없이 올바르게 수행하는 것을 말합니다. 그리고 이는 투명성, 설명 가능성 및 모델이 단계별로 원하는 결과를 달성했는지 식별하는 기능과 관련이 있습니다. 이것이 중요한 이유는 AI는 많은 데이터를 기반으로 모델링을 하기에 수집된 데이터에 따라 편견이나 차별이 적용될 수 있기 때문입니다.

AI Risk

AI Risk는 AI의 위협 관리를 위해 정확하고 엄격한 거버넌스를 적용하는 것입니다. AI 모델의 개발 및 프로세스 단계를 기록 및 관리하고 릴리스 프로세스의 모든 부분을 확인하여 무결성 및 규정 준수를 확인하게 됩니다. 이를 통해 AI 사용과 관련된 잠재적 위협을 식별, 평가 및 완화하게 되는 것입니다. AI 학습에 사용되는 데이터의 오류, 잘못된 데이터의 수집 등의 문제로 인해 잘못된 결정을 내릴 수 있으므로 이것은 매우 중요한 활동입니다.

AI Security Management

AI Security Management는 무단 엑세스, 침입, 조작으로 부터 AI 시스템을 보호하는 것입니다. 여기에는 AI 시스템이 사용하는 인프라부터, 데이터, 모델 등 AI 시스템과 관련된 모든 것이 포함됩니다. 그리고 일반적인 사이버 공격에 대한 보호가 되어 있는지도 확인되어야 합니다.

AI TRiSM의 5가지 기본 요소

AI TRiSM에는 다음과 같은 5가지의 주요 기본 요소가 있습니다.

Explainability(설명 가능성)

설명 가능성이란 AI 알고리즘으로 작성된 결과와 출력을 사람인 사용자가 이해하고 이를 신뢰할 수 있도록 해주는 것입니다. 즉, AI 모델의 상태와 프로세스를 식별하고 모니터링하기 위해 가능한 모든 단계를 표시하는 것입니다. 그리고 이를 통해 AI 모델의 성능을 모니터링하고 프로세스를 보다 효율적으로 만들고 향상된 생산성과 더 나은 결과를 생성하기 위한 개선을 수행할 수 있게 되는 것입니다.

ModelOps(모델옵스)

모델옵스는 주로 머신러닝, 지식 그래프, 규칙, 최적화 및 언어를 포함한 광범위한 AI 및 의사 결정 모델의 거버넌스 및 수명주기 관리에 중점을 두는 것이고, AI 모델의 재조정, 재학습 또는 재구축을 지원하여 AI 기반 시스템 내에서 모델의 개발, 운영 및 유지 관리 사이에 중단 없는 프로세스를 제공하는 것입니다.

Data Anomaly Detection(데이터 이상 감지)

용어 자체에서 알 수 있듯이, 이는 문제를 감지하고 식별하는 데 중점을 두고 AI 실무자가 데이터의 전체적인 문제를 파악하고 효과적인 결정을 내릴 수 있도록 도와주는 것입니다.

Adversarial Attack Resistance(적대적 공격 방어)

Adversarial Attack이란 데이터를 사용하여 기계 학습 알고리즘을 방해하고 기계 학습 모델의 기능을 변경하는 AI에 대한 공격 또는 위협입니다. 이러한 위협을 탐지하고 해결하여 안정적인 프로세스를 보장해야 하는 것입니다.

Data Protection(데이터 보호)

AI의 주요 핵심 요소는 데이터이므로 데이터 보안이 우수할수록 운영 및 기능이 향상될 수 있습니다. 그리고 GDPR과 같은 데이터 보호 규정을 준수하기 위해 데이터 중 개인 정보 보호 및 보안을 보장해야 하는 것입니다.

 GDPR(EU 개인 정보 보호 규정)이란?

AI TRiSM의 도입

AI TRiSM 도입을 위해서는 기본적으로 생각해야 하는 다음 3가지 내용이 있습니다.

표준 절차 정리 및 적절한 문서화

기술 발전으로 AI는 모든 곳에서 사용되고 있고 운영의 복잡성도 증가하고 있습니다. 따라서 표준 절차 정리 및 운영에 대한 적절한 문서화는 투명성을 제공하고 무언가 잘못되었을 때 필요한 부분을 검토할 수 있게 해 줍니다.

정기적/자동적 시스템 확인 및 편향 조정

정기적으로 시스템을 확인하여 AI 모델을 확인하는 것이 좋습니다. 이를 통해 부적절한 기능을 제거하고 AI 모델의 편향을 조정할 필요가 있습니다. 예를 들어 데이터가 불완전하거나 누락되었거나 비정상적인 경우 알람을 보내 이를 확인할 수 있도록 해 주어야 합니다.

AI 투명성에 중점

많은 사용자들이 AI의 결과가 그들이 이해하지 못하는 블랙박스 안에서 일어나는 것으로 생각하고 있습니다. 이로 인해 사용자가 결과를 신뢰하는 것이 쉽지 않게 됩니다. 그렇기에 기술 지식이 없는 사람들이라도 이해할 수 있도록 데이터 수집 방법 및 해당 데이터를 기반으로 결정을 내리는 방법을 쉽게 볼 수 있도록 해 주어야 합니다. 이를 통해 AI를 신뢰하고 투명성을 제공할 수 있도록 말이죠.

오늘은 AI TRiSM에 대해서 공유해 드렸습니다.

AI가 앞으로의 비즈니스나 기술에 계속해서 많은 영향을 줄 것이라는 생각은 듭니다. 그렇기에 이와 관련하여 선제적으로 체계적인 정책이나 프로세스를 잘 정비해나가야 하지 않을까 하는 생각도 듭니다.

문제가 발생한 후에 대응하다 보면 늦을 수도 있으니까 말이죠.

 

클라우드나 SaaS와 관련하여 다른 궁금한 점이 있으시면 언제든지 저희에게 문의해 주세요.

저희에게는 클라우드에 대한 다양한 정보와 경험, 그리고 도구가 있습니다.

 OpsNow에 문의하기