인공지능의 금융회사 도입과 블랙박스 이슈

흔히 인공지능에 의한 자동화의 문제점으로 블랙박스 이슈를 얘기한다. 쉽게 설명하자면, 인간이 모두 학습하기 어려운 수많은 데이터를 학습한 인공지능(Machine Learning AI)이 일정한 사안에 대하여 판단한 경우에 이러한 판단의 근거가 된 이유를 인간이 알기 어렵다는 것이 그것이다. 즉, 인공지능 모델은 데이터의 분포와 특성을 효과적으로 학습하지만, 그 과정을 명확하게 파악하기 어려운 문제점이 있는 것이다. 이와 같이 전통적 인공지능 모델을 블랙 박스(Black Box) 인공지능이라고 부른다.

특히 금융회사에서 인공지능을 이용하여 고객과 관련된 의사결정을 할 때, 이러한 블랙박스 이슈는 매우 큰 장애로 작용한다. 실제로 2023년에 개정된 개인정보보호법 제37조의 2에서는 “정보주체는 완전히 자동화된 시스템(인공지능 기술을 적용한 시스템을 포함)으로 개인정보를 처리하여 이루어지는 결정이 자신의 권리 또는 의무에 중대한 영향을 미치는 경우에는 해당 개인정보처리자에 대하여 해당 결정을 거부할 수 있는 권리를 가진다.”라고 선언하고 있고, 개인정보처리자가 자동화된 결정을 한 경우에는 정보주체가 그 결정에 대하여 설명 등을 요구할 수 있는 권리를 부여하고 있다.

이에 대해서는 최근 소위 설명가능한 인공지능(Explainable AI)을 만들려는 노력도 활발히 진행되고 있다고 한다. 그런 예로 일반적인 기계 학습에서, 입력받은 데이터에 대한 출력을 분류나 회귀 형태로 전달하는 데 이 때 데이터의 특정 변수의 값을 임의로 변화시킨 후 출력 결과의 변화를 관찰하여 그 변수의 영향력을 유추하는 방법, 또는 이미지를 여러 조각의 작은 단위로 쪼갠 뒤 일부를 마스킹을 하여, 가려진 부분을 제외한 일부 이미지만을 넣었을 때의 성능을 비교하여 이미지의 특정 부분이 어떤 영향을 갖는지 확인하는 방법 등이 제안되고 있다고 한다. 하지만 아직 완벽한 것은 아니다.

이렇게 아직 인공지능의 블랙박스 문제가 완전히 해결되지 않은 상황에서 금융기관이 인공지능을 도입하여 대출심사, 투자판단, 보험심사, 영업관리 등의 업무를 수행하도록 하는 것이 가능할까? 물론 이는 인공지능에 의한 결정의 범위를 어떻게 보느냐 하는 문제와도 연관되겠지만, 인간이 어느 정도 개입된 상황에서 인공지능의 판단에 근거해 금융기관이 의사결정을 하는 것을 너무 처음부터 금지하거나, 이에 대해 부정적으로 볼 필요는 없을 것으로 생각된다. 물론 인공지능의 잘못된 판단이 명백한 경우 사후적으로 금융기관이 기존 시스템으로 보완해 줄 수 있는 보호방안이 마련되어 있다는 전제에서 말이다.

서재욱 / 서울트리뷴

#인공지능 #인공지능블랙박스 #설명가능한인공지능