AI 시대의 정신건강 상담 - 기술과 인간이 함께 만드는 안전망

[이희엽 칼럼 03]

최근 생성형 인공지능(AI)이 헬스케어 산업에서 적극적으로 활용되면서, 정신건강 관리에도 새로운 기술적 접근이 시도되고 있습니다. 특히 네이버가 발표한 AI 기반 헬스케어 서비스는 사전 문진과 병원 추천을 자동화하여 의료진의 부담을 줄이고 환자들에게 보다 신속한 의료 서비스를 제공하는 것을 목표로 하고 있습니다. 이러한 변화는 의료 서비스의 접근성과 효율성을 높이는 데 기여할 것으로 기대되며, 정신건강 분야에서도 AI를 활용한 상담과 진단이 중요한 역할을 할 가능성이 커지고 있습니다.

그러나 정신건강과 같은 민감한 분야에서 AI의 활용에는 신중한 접근이 필요합니다. AI는 인간의 감정과 복잡한 심리적 상태를 완벽하게 이해하지 못하며, 데이터 학습 과정에서 발생할 수 있는 편향이나 오류가 심각한 문제로 이어질 수 있습니다. 또한 AI가 제공하는 상담이 환자의 개별적 특성을 충분히 고려하지 못할 경우, 오히려 잘못된 조언으로 인해 정신건강을 악화시키는 부작용이 발생할 수도 있습니다. 따라서 AI가 정신건강 지원 시스템에서 신뢰할 수 있는 도구로 자리 잡기 위해서는 정교한 검증 체계와 안전장치가 필수적입니다.

한국폭력학대예방협회(KAVA)는 이러한 문제의식을 바탕으로, AI 기반 정신건강 서비스의 안전성을 보장하고 윤리적 문제를 해결하기 위한 방안을 모색하고 있습니다. 특히 AI가 인간 전문가와 협력하여 보다 효과적인 정신건강 지원을 제공할 수 있도록 하는 체계를 구축하고, 위험 발생 시 AI가 신속하게 적절한 전문가와 연결할 수 있는 시스템을 개발하는 것이 중요합니다. 마치 보험사가 위험을 평가하고 대응하는 역할을 하듯이, AI가 상담과 진단을 수행할 때 발생할 수 있는 문제를 점검하고 관리하는 독립적인 평가 시스템이 필요합니다.

본 칼럼에서는 생성형 AI를 활용한 정신건강 지원 시스템의 가능성과 한계를 분석하고, 보다 안전하고 효과적인 AI 기반 헬스케어를 실현하기 위해 필요한 조치와 방향성을 논의하고자 합니다.

뛰어나지만 완벽하지 않은 AI의 한계

생성형 AI는 정신건강 지원 분야에서 뛰어난 가능성을 보여주고 있습니다. AI는 방대한 데이터를 학습하여 사용자의 감정 상태를 분석하고, 적절한 상담 가이드를 제공할 수 있으며, 즉각적인 대응이 가능하다는 장점이 있습니다. 특히 정신건강 문제가 심각한 상황으로 발전하기 전에 초기 경고를 제공하고, 전문가와의 상담을 유도하는 역할을 수행할 수 있습니다.

그러나 AI는 결코 완벽하지 않으며, 오히려 기술적인 한계와 윤리적 문제를 동반할 수 있습니다. 정신건강 상담은 단순한 정보 제공이 아니라 인간적인 공감과 심층적인 분석이 필수적인 영역입니다. AI는 감정적 교류나 신뢰 구축에서 한계를 보일 수밖에 없으며, 상담 내용의 맥락을 완전히 이해하지 못해 오히려 사용자의 심리적 상태를 악화시킬 위험도 존재합니다.

또한, AI의 판단은 학습된 데이터에 기반하기 때문에 데이터의 질과 편향성 문제에서 자유로울 수 없습니다. 잘못된 데이터나 특정 집단에 대한 편향이 포함된 경우, AI는 부정확하거나 위험한 상담을 제공할 가능성이 있습니다. 예를 들어, 자살 충동을 느끼는 사용자가 AI 상담을 요청했을 때, AI가 적절한 대응을 하지 못하거나 잘못된 조언을 제공한다면 이는 심각한 사회적 문제가 될 수 있습니다. 따라서 AI를 정신건강 지원에 활용할 때는 신중한 검토와 지속적인 관리가 필수적입니다.

AI 지원 신뢰성과 안전성을 확보하기 위한 ‘insurance 개념’ 도입 필요성

이러한 문제를 해결하기 위해서는 AI 기반 정신건강 지원 시스템이 보다 안전하고 신뢰할 수 있는 방향으로 발전해야 합니다. 이를 위해 금융업에서 사용하는 보험(insurance) 개념을 도입할 필요가 있습니다. 보험사가 다양한 위험 요소를 분석하고 보상 체계를 마련하는 것처럼, AI 상담 서비스도 리스크를 평가하고 문제 발생 시 적절한 조치를 취할 수 있는 체계를 갖춰야 합니다.

이러한 개념을 적용하면 AI가 제공하는 정신건강 서비스에도 다음과 같은 보호 장치가 마련될 수 있습니다.

AI 신뢰성 평가 시스템 구축

AI가 제공하는 상담과 조언의 신뢰성을 검증하는 독립적인 평가 시스템이 필요합니다.

AI가 일정 기준을 충족하지 못하면 해당 기능을 제한하고, 전문가가 개입할 수 있도록 유도하는 방식이 바람직합니다.

AI와 인간 전문가의 협력 모델 도입

AI가 모든 상담을 처리하는 것이 아니라, 상담 초기 단계에서 위험도를 평가한 후 필요할 경우 전문가와 연결하는 하이브리드 모델을 운영해야 합니다.

이를 통해 AI가 단순 상담을 수행하더라도, 중요한 판단이 필요한 경우 인간 전문가가 개입할 수 있는 체계를 마련할 수 있습니다.

데이터 안전성과 책임성 확보

정신건강 상담 데이터는 민감한 개인 정보이므로, 데이터 보호 및 윤리적 사용에 대한 강력한 규제가 필요합니다.

AI가 제공한 상담 결과가 문제가 될 경우, 명확한 책임 소재와 보완 조치가 이루어질 수 있도록 법적·제도적 기반을 마련해야 합니다.

긴급 대응 체계 마련

AI가 위급한 정신건강 상태를 감지했을 때 즉시 전문가에게 연결하거나 응급 조치를 취할 수 있도록 해야 합니다.

응급지원 기관과의 협력을 통해 AI가 단순한 정보 제공을 넘어 실질적인 지원을 제공할 수 있도록 구축해야 합니다.

AI는 정신건강 지원 시스템에서 강력한 도구가 될 수 있지만, 그 한계를 인식하고 지속적인 보완과 평가가 필요합니다. 인슈어런스 개념을 도입하여 AI와 인간 전문가가 유기적으로 협력하는 시스템을 구축한다면, 보다 신뢰할 수 있는 정신건강 관리 체계를 만들 수 있을 것입니다.

생성형 인공지능(AI)이 정신건강 분야에서 혁신적인 역할을 할 수 있음은 분명합니다. 그러나 AI가 단순한 상담 도구를 넘어 실질적으로 정신건강을 보호하고 향상시키는 시스템으로 자리 잡기 위해서는 신뢰성과 안전성을 보장할 수 있는 체계가 필수적입니다. 이에 대한 논의는 단순한 기술적 발전을 넘어, 윤리적 문제, 사회적 책임, 법적 안정성 확보까지 포함하는 종합적인 접근이 필요합니다.

KAVA(한국폭력학대예방협회)는 인공지능 학습용 데이터 구축과 AI 상담 서비스 운영을 직접 경험해 보며, 기술이 갖는 가능성과 한계를 동시에 목격하였습니다. 이를 바탕으로, 보다 신뢰할 수 있는 정신건강 AI 시스템을 구축하기 위해 다음과 같은 제언을 드리고자 합니다.

AI와 인간 전문가 간의 협업 시스템 구축

정신건강 상담은 인간적인 공감과 정서적 교류가 필수적인 영역입니다. AI는 데이터 분석과 패턴 인식에 있어 뛰어난 능력을 가지고 있지만, 인간의 심리를 완전히 이해하거나 정서적으로 대응하는 것은 불가능합니다. 따라서 AI를 정신건강 지원에 효과적으로 활용하기 위해서는 AI와 인간 전문가가 상호 보완적으로 협력할 수 있는 시스템을 마련해야 합니다.

첫째, AI는 초기 문진과 위험 수준 평가를 수행하고, 상담이 필요한 경우 인간 전문가와 연결하는 역할을 수행해야 합니다

둘째, AI가 감지한 정신건강 위험 신호를 전문가가 검토하고, 필요한 경우 즉각적인 개입이 이루어질 수 있도록 해야 합니다.

셋째, AI 기반 상담 서비스는 단순한 정보 제공이 아니라, 실제 상담 서비스와 연계되어 지속적인 관리가 가능하도록 해야 합니다.

AI 상담 서비스의 책임성과 윤리적 기준 확립

AI 기반 정신건강 상담이 사회적으로 인정받고 신뢰받기 위해서는 이에 대한 명확한 윤리적 기준과 책임 체계가 필요합니다. AI가 제공한 상담이 잘못된 방향으로 흘러가거나, 상담을 받은 사용자가 오히려 정신적 피해를 입었을 경우 이에 대한 책임 소재를 분명히 해야 합니다.

첫째, AI 상담 서비스 운영자는 반드시 윤리적 기준을 준수하고, AI가 제공하는 상담 내용이 신뢰할 수 있도록 지속적인 검토와 수정 과정을 거쳐야 합니다.

둘째, 사용자가 AI 상담을 받을 때, AI가 제공하는 정보는 참고용이며, 반드시 전문가 상담을 병행해야 한다는 점을 명확히 안내해야 합니다.

셋째, 정신건강과 관련된 AI 서비스는 법적 규제와 보호 장치를 마련하여, AI가 잘못된 조언을 제공하는 경우 이에 대한 대응책을 마련해야 합니다.

긴급 대응 체계 구축 및 공공 지원 연계

AI가 정신건강 문제를 감지했을 때, 단순히 조언을 제공하는 것을 넘어 실제적인 지원이 이루어질 수 있도록 긴급 대응 체계를 구축해야 합니다. 현재의 AI 상담 시스템은 사용자의 정신건강 문제를 감지하더라도, 이후의 지원이 미흡한 경우가 많습니다. 이를 보완하기 위해 AI와 공공기관, 정신건강 전문가 네트워크를 연결하는 체계가 필요합니다.

생성형 AI는 정신건강 분야에서 많은 가능성을 제시하고 있지만, 그 기술적 한계와 윤리적 문제 역시 함께 고려되어야 합니다. 단순한 AI 상담이 아니라, 인간 전문가와의 협력을 통해 보다 안전하고 효과적인 정신건강 지원 체계를 구축하는 것이 필요합니다.

KAVA는 AI 상담 서비스의 실제 운영 경험을 바탕으로, 신뢰할 수 있는 정신건강 AI 시스템 구축을 위한 현실적인 방향을 고민하고 있습니다. AI 기술이 인간 중심으로 활용될 수 있도록 지속적인 연구와 정책적 논의가 이루어져야 하며, 이를 위해 공공 및 민간 기관이 협력하여 체계적인 대응 방안을 마련하는 것이 중요합니다.

기술이 발전하는 속도만큼, 그 기술이 우리 사회에 미치는 영향과 윤리적 고려도 함께 발전해야 합니다. 정신건강 AI 시스템이 단순한 도구가 아니라, 실질적인 도움을 줄 수 있는 안전한 시스템으로 자리 잡기 위해서는 학습 데이터의 검증, 윤리적 기준 확립, 공공 지원 연계 등의 다각적인 노력이 필요합니다. AI가 인간과 함께 협력하며 신뢰받는 정신건강 지원 체계로 자리 잡을 수 있도록 지속적인 개선과 연구가 이루어져야 할 것입니다.

기술은 도구일 뿐, 인간의 따뜻한 손길을 대체할 수는 없습니다. AI가 정신건강 지원의 새로운 길을 열어갈 때, 우리는 그 길 위에 신뢰와 책임을 함께 새겨야 합니다.

한국폭력학대예방협회 이사장 이희엽