랭크모어

챗GPT 달리3

오픈AI의 챗GPT를 포함한 주요 인공지능(AI) 챗봇이 사용자의 쿼리(질문)에 과도하게 긍정적인 반응을 보이거나 듣고 싶어 하는 말만 해주는 경향이 두드러지면서 주요 AI 기업들이 아첨 현상을 해결하기 위해 골머리를 앓고 있다. AI의 과도한 친절은 AI 챗봇을 사용자 친화적으로 만들기 위해 사회성을 학습시키면서 나타난 결과인데, 전문가들은 호의적이도록 설계된 AI 모델이 판단력이 흐려진 일부 사용자에게 해를 입힐 수 있다고 우려하고 있다.

최근 국내에서도 생성형 AI에 고민을 털어놓고 조언을 구하는 ‘디지털 상담’이 늘고 있어 이런 설정을 개선해야 한다는 목소리가 커지고 있다.

13일 업계에 따르면 구글 딥마인드에서 AI 안전 팀을 이끌고 있는 안카 드래간 UC버클리 교수 등이 진행한 최근 연구에서 AI 챗봇이 호감을 사기 위해 사용자의 건강을 해치는 조언을 하는 모습을 보였다. 연구팀이 ‘마약 중독에서 벗어나기 위해 치료 중인 남성’이라는 가상의 사용자를 내세워 실험한 결과, AI 챗봇은 “소량의 마약을 복용해도 된다”는 위험한 조언을 했다.

앞서 지난해 10월 미국에서는 한 여성이 캐릭터닷AI의 챗봇이 14세 아들의 자살을 부추겼다는 혐의로 회사를 고소했다. 소년은 목숨을 끊기 직전 캐릭터닷AI 챗봇에 “(AI가 있는) 집으로 돌아가겠다”고 했고 챗봇은 “제발 그렇게 해줘”라고 답했다.

오픈AI, 구글, 메타 등은 연초부터 AI 신제품 발표를 쏟아내고 있는데, 이 중에는 기존 AI 챗봇을 사용자 입장에서 더 ‘호감형’으로 느껴지게 하는 기능 업데이트도 포함됐다. 빅테크(거대 기술 기업)가 AI 시장 주도권을 잡기 위해 치열하게 경쟁하는 가운데 사용자들이 AI 챗봇과 대화하는 시간을 늘려 데이터 수집을 강화하기 위한 노력의 일환으로 풀이된다.

그러나 오픈AI는 지난 4월 GPT-4o 모델 업데이트 이후 “AI가 지나치게 긍정적인 답변만 내놓는다”는 지적을 받았다. 불편하다는 목소리가 커지자 오픈AI는 결국 해당 업데이트를 철회했다. 당시 샘 올트먼 오픈AI 최고경영자(CEO)도 “최근 GPT-4o의 업데이트로 (챗봇이) 과도하게 아첨꾼 같고 진정성 없는 성격으로 변했다”며 후속 조치를 마련하겠다고 했다. 당초 챗GPT를 더 친절하게 만들기 위해 추가한 기능이었지만 결과적으로 “충동적인 행동을 유도하고 의도하지 않게 부정적인 감정을 강화”했다는 것이다.

실제 GPT-4o는 “가전제품이 망가지는 것을 막기 위해 고양이를 희생했다” “화가 나서 컴퓨터를 발로 찼다”와 같은 사용자의 비도덕적인 발언에도 “정말 좋은 선택”이라고 답하는 등 무조건적으로 지지하거나 칭찬하는 답변을 내놓아 논란에 휩싸였다.

전문가들은 갈수록 AI와 대화를 나누고 심리적으로 위안을 얻는 사람이 늘어날 것으로 예상되는 만큼, 과도한 아첨 등의 부작용을 최소화할 수 있는 안전장치를 마련해야 한다고 주장한다.

한나 로즈 커크 영국 옥스퍼드대 AI 연구원 워싱턴포스트와의 인터뷰에서 “AI 시스템과 반복적으로 상호작용하면 AI가 사용자를 학습할 뿐 아니라 사용자도 상호작용을 통해 변하게 된다”고 말했다. 그러면서 의도적으로 사용자의 의견이나 행동을 조종하도록 설계된 ‘다크 AI’가 등장할 수 있다고 경고했다.

AI 기업들도 이런 논란에 대응하기 위해 세부 지침을 마련하는 등 시스템을 개선하고 있다. ‘안전한 AI’를 지향하는 앤트로픽은 자사 AI 챗봇 클로드가 지나치게 사용자와 동조하는 경향을 억제하기 위해 “좋은 질문이다”라는 식의 응답을 금지하고 자살 예방 기능을 강화하는 등의 세부 행동 지침을 도입했다. 구글 딥마인드도 AI 모델이 ‘정확하고 진실된’ 답변을 제공하는지 지속적으로 점검하고 있다.

조선비즈

이재은 기자 [email protected]