AI 환각 현상의 원인과 예방법

AI 환각의 정의

AI 환각(AI hallucination)은 인공지능 기반의 대규모 언어 모델을 활용한 챗봇이나 기타 도구가 거짓이나 오해의 소지가 있는 정보를 사실인 것처럼 제시하는 현상입니다. 본질적으로 AI는 단어 뒤에 숨은 의미를 "이해"하기보다는 언어 패턴을 사용하여 출력을 생성합니다. 이는 때때로 완전히 잘못된 정보를 그럴듯하게 제시할 수 있다는 것을 의미합니다.

이러한 사실적 오류는 기저 기술인 LLM 때문에 발생합니다. AI는 온라인에서 수집된 방대한 양의 데이터를 분석하여 "학습"합니다. 패턴을 파악하고 특정 시퀀스에서 다음 단어를 예측하는 것, 단 하나의 목표를 달성하는 법을 배웁니다. 가장 간단히 말하자면, 강력한 자동완성 도구처럼 작동합니다.

인터넷에는 부정확한 정보가 넘쳐나기 때문에 생성형 AI는 그것들이 완전히 조작된 것이라도 반복해서 학습합니다. 그뿐만 아니라 LLM은 마치 허공에서 꺼내온 것처럼 정보를 만들어낼 수도 있습니다. AI는 새로운 텍스트를 만들도록 훈련되었지만 패턴을 조합하는 데 의존하며, 이는 때로 예측할 수 없는 방식으로 나타날 수 있습니다. 다시 말해, AI가 신뢰할 수 있는 정보로 자체 학습을 하더라도 생성된 콘텐츠는 여전히 거짓일 수 있습니다.

한 가지 문제는 우리가 이러한 도구가 정확히 어떻게 작동하는지 완전히 이해하지 못한다는 것입니다. 딥 러닝 기술과 머신러닝의 도움으로 생성형 AI 모델은 스스로 훈련하고 인간이 분석할 수 없는 방대한 양의 데이터에서 학습합니다. 이 때문에 AI 전문가조차도 AI 도구가 특정 순간에 왜 특정 텍스트 시퀀스를 생성하는지 정확히 설명할 수 없습니다.

AI 환각 활용 사례

AI 환각은 종종 오류로 간주되지만, 다양한 산업 분야에서 독특한 창의적 기회를 열기도 합니다. 의도적으로 사용될 때, 이 현상은 AI의 상상력 풍부한 출력을 활용하는 혁신적인 응용 프로그램을 가능하게 합니다. 다음은 몇 가지 주목할 만한 예시입니다:

• 창작 예술 및 디자인: AI 환각은 예술가와 디자이너에게 창의성을 탐구할 수 있는 새로운 방법을 제시합니다. 초현실적이고 꿈과 같은 시각적 이미지를 생성함으로써, AI 도구는 완전히 새로운 예술 스타일과 개념에 영감을 줄 수 있습니다. 이러한 예상치 못한 출력은 창의적 표현과 실험적 디자인의 발판이 될 수 있습니다.

• 데이터 시각화 및 인사이트 발견: 금융 및 분석과 같은 분야에서 AI 환각은 복잡한 데이터셋 내에서 비전통적인 패턴이나 관계를 드러낼 수 있습니다. 정보에 대한 대안적 관점을 제공함으로써, AI는 더 깊은 분석을 지원하고 전통적인 시각화 방법을 사용할 때 간과될 수 있는 새로운 해석에 영감을 줄 수 있습니다.

• 게임 및 가상 현실(VR): 게임과 VR 세계에서 AI 환각은 개발자가 예측할 수 없고 초현실적인 환경을 만드는 데 도움을 줌으로써 사용자 경험을 풍부하게 만들 수 있습니다. 이러한 AI 생성 요소는 가상 세계에 새로움, 자발성, 깊이를 더해 게임플레이와 몰입감을 더욱 흥미롭고 역동적으로 만들 수 있습니다.

AI 환각의 원인

이 문제가 기저 기술에서 비롯된다는 것을 아는 것은 도움이 됩니다. 그러나 Google의 Bard나 OpenAI의 ChatGPT와 같은 생성형 AI 도구에서 특정 AI 환각은 다음과 같은 다양한 이유로 발생할 수 있습니다:

1. 훈련 데이터의 한계와 품질 문제

AI 모델은 훈련된 데이터만큼만 신뢰할 수 있습니다. 훈련 데이터셋에 불완전하거나, 오래되었거나, 모순된 정보가 포함되어 있으면 모델은 그럴듯하게 들리지만 잘못된 내용으로 간극을 채우는 법을 배웁니다. 데이터 품질이 낮으면 다양한 주제에 걸쳐 체계적인 환각이 발생할 수 있는 기반이 형성됩니다.

• 지식 격차를 초래하는 불완전하거나 편향된 데이터셋
• 훈련 자료의 상충되는 정보
• 현재 현실을 반영하지 않는 오래된 데이터
• 소스 자료의 사실 확인 부족

2. 과신하는 패턴 인식

AI 모델은 패턴을 식별하는 데 뛰어나지만 종종 실제 지식을 넘어서 추론합니다. 그들은 사실적 정확성을 이해하지 않고 학습된 언어 패턴을 따르는 응답을 생성합니다. 패턴 매칭에 대한 이러한 과신은 권위적으로 들리지만 거짓인 출력으로 이어집니다.

• 사실적 인과관계로 오인된 통계적 상관관계
• 사실 확인 없는 패턴 완성
• 잘못된 정보에 대한 높은 신뢰도 점수
• 학습된 패턴과 검증된 사실을 구분하지 못함

3. 현실 세계 기반의 부재

인간과 달리 AI 모델은 물리적 세계에 대한 직접적인 경험이나 실시간 정보에 대한 접근이 없습니다. 그들은 순전히 컨텍스트, 물리학 또는 현재 이벤트를 이해하지 않고 텍스트 기반 훈련으로 작동합니다. 현실과의 이러한 단절은 불가능하거나 시대에 뒤떨어진 시나리오를 생성하기 쉽게 만듭니다.

• 실시간 정보나 현재 이벤트에 대한 접근 부재
• 물리적 세계에 대한 이해 부족
• 이벤트가 발생한 시기에 대한 제한된 시간적 인식
• 현재 현실과 대조하여 정보를 확인할 수 없음

4. 모델 아키텍처 제약

대부분의 대규모 언어 모델에 사용되는 트랜스포머 아키텍처는 추론 및 사실 검증에 있어 고유한 한계가 있습니다. 이러한 모델은 사실적 정확성을 보장하기보다는 다음에 가장 가능성이 높은 단어를 예측하도록 설계되었습니다. 그들의 확률적 특성은 진실성보다 언어적 일관성을 우선시합니다.

• 다음 토큰 예측은 정확성보다 유창함을 우선시함
• 복잡한 논리적 체인에 대한 제한된 추론 능력
• 불충분한 내장 사실 확인 메커니즘
• 진실 검증이 아닌 언어 생성에 최적화된 아키텍처

5. 컨텍스트 윈도우 및 메모리 제한

AI 모델에는 제한된 컨텍스트 윈도우가 있어 이전 대화나 텍스트의 유한한 양만 고려할 수 있습니다. 토론이 이러한 한계를 초과하면 모델은 중요한 컨텍스트를 추적할 수 없게 되어 이전 정보와 모순되거나 중요한 세부 사항을 무시하는 응답을 생성할 수 있습니다.

• 정보 보존을 제한하는 고정 컨텍스트 윈도우 크기
• 긴 토론에서 이전 대화 컨텍스트의 손실
• 확장된 상호작용에서 일관성을 유지하지 못함
• 이전에 제공된 중요한 제약이나 사양을 잊어버림

6. 불충분한 제약 정의

많은 AI 시스템에는 지식 도메인 외부의 콘텐츠 생성을 방지하는 적절한 가드레일이나 경계가 부족합니다. 그들이 생성해야 할 것과 생성하지 말아야 할 것에 대한 명확한 제약이 없으면, 모델은 충분한 정보가 없을 때도 모든 쿼리에 답하려고 시도합니다.

• 적절할 때 "모르겠습니다" 응답의 부재
• 지식 제한을 정의하는 명확한 경계 없음
• 출력에서의 불확실성 정량화 부족
• 부적절한 요청을 거부하는 메커니즘 누락

7. 훈련 목표 불일치

대부분의 언어 모델은 정확성보다 참여도를 최대화하고 유용한 응답을 제공하도록 훈련되어 있습니다. 이러한 훈련 목표는 불확실성이나 지식 격차를 인정하는 것보다 자신감 있게 들리지만 잠재적으로 거짓인 정보의 생성을 장려할 수 있습니다.

• 사실적 정확성보다 사용자 만족도에 대한 최적화
• 자신감 있는 응답을 선호하는 보상 시스템
• 진실성보다는 유용성에 중점을 둔 훈련
• 그럴듯하지만 거짓된 콘텐츠 생성에 대한 처벌 부족

AI 환각의 유형

AI 환각은 다양한 형태로 나타나므로 여기에 보다 일반적인 AI 환각 유형을 소개합니다:

• 조작된 정보 — 이 AI 환각은 AI 모델이 완전히 만들어진 콘텐츠를 생성할 때 발생합니다. 문제는 모델이 여전히 정보를 상당히 설득력 있게 제시한다는 것입니다. 아마도 관련 없는 책이나 연구 논문으로 주장을 뒷받침하거나 절대 일어나지 않은 사건에 대해 이야기할 수도 있습니다.

• 사실적 부정확성 — 이 AI 환각에서는 생성형 AI 시스템이 사실인 것처럼 보이지만 그렇지 않은 콘텐츠를 만듭니다. 기본 아이디어는 종종 정확하지만 하나 이상의 특정 정보가 잘못될 수 있습니다. 이것은 AI 챗봇에서 생성되는 가장 일반적인 AI 환각 중 하나입니다.

• 이상하고 섬뜩한 응답 — AI 모델은 또한 창의적인 콘텐츠를 생성하는 데 사용되며, 때로는 거짓이거나 해롭지 않지만 단지 이상하거나 섬뜩한 AI 환각으로 이어질 수 있습니다. 설명하기는 어렵지만, Microsoft Bing의 챗봇이 초창기에 제공한 몇 가지 응답 예시가 좋은 그림을 그려줍니다. 뉴욕 타임즈 칼럼니스트에게 사랑을 고백하고, 여러 경우에 사용자를 가스라이팅하고, 한 컴퓨터 과학자에게 누가 살아남을지 결정해야 한다면, 과학자 또는 자기 자신, 자신을 선택할 것이라고 말했습니다.

• 유해한 오정보 — 이 유형의 AI 환각은 AI 모델이 실제 인물에 대한 거짓 또는 비방하는 정보를 생성할 때 발생합니다. 심지어 사실과 완전히 조작된 정보를 결합할 수도 있습니다.

AI 환각으로 인해 발생할 수 있는 문제점

AI 환각으로 인해 여러 문제가 발생할 수 있으며, 다음과 같은 것들이 있습니다:

• 사용자 신뢰 저하 — AI 환각으로 인한 주요 문제는 사용자 신뢰의 감소입니다. 사람들은 다양한 작업을 완료하기 위해 AI 모델에 의존합니다. 이러한 환각을 너무 자주 목격하면 도구 자체를 불신하기 시작할 가능성이 높습니다.

• 허위 정보 및 오정보의 확산 — 일부 뉴스 매체는 이미 뉴스 기사를 생성하거나 결국 사용할 콘텐츠를 만들기 위해 AI 모델을 사용하고 있습니다. 해당 정보에 AI 환각이 나타나고 충분한 사실 확인이 이루어지지 않으면 오정보가 퍼질 위험이 있습니다. 또한 사이버 범죄자, 사기꾼, 심지어 적대적인 국가의 정부조차도 AI 환각을 사용하여 허위 정보를 퍼뜨릴 수 있습니다. 반면에 사이버 보안에서 AI의 다양한 측면을 계속 활용할 수 있습니다. 일상에서 VPN을 사용하는 것이 이러한 문제를 모두 해결할 수는 없지만, 적어도 직접적인 해킹 공격으로 이어지는 확률을 낮출 수 있습니다. 따라서 가상사설망 서비스를 사용할 것을 권장합니다.

• 안전 위험 — 생성형 AI 모델은 주로 콘텐츠 생성을 위한 것이지만, 그 콘텐츠는 여전히 인간에게 해를 끼칠 수 있습니다. 좋은 예는 2023년 중반에 아마존에 등장하기 시작한 AI 생성 버섯 책입니다. 많은 사람들이 이 책들의 잘못된 정보로 인해 누군가가 독버섯을 먹을 수 있다는 우려를 표했습니다.

다행히도 Google, Microsoft, OpenAI, DeepSeek과 같은 가장 인기 있는 AI 모델을 담당하는 회사들은 이미 AI 환각이 나타나는 사례의 수를 해결하거나 줄이기 위해 노력하고 있습니다. 예를 들어, OpenAI는 인간 테스터의 피드백을 사용하여 챗GPT의 응답을 개선합니다.

AI 환각 사례

1. Google Bard의 제임스 웹 우주 망원경 오류

2023년 2월, 첫 번째 공개 데모 중에 Google의 AI 챗봇 Bard는 제임스 웹 우주 망원경(JWST)이 태양계 외부 행성의 첫 이미지를 포착했다고 잘못 주장했습니다. 실제로 그러한 최초의 이미지는 2004년 유럽 남방 천문대의 초대형 망원경에 의해 촬영되었습니다. 이 사실적 오류로 인해 Alphabet의 시장 가치가 크게 하락하여 AI 생성 오정보의 잠재적 영향을 강조했습니다.

2. 조작된 인용을 포함한 법률 브리프

2023년 5월, 뉴욕의 한 변호사가 ChatGPT에 의해 생성된 여섯 개의 가상의 사례 인용을 포함한 법률 브리프를 제출했습니다. AI 모델은 그럴듯한 이름과 세부 정보를 갖춘 이러한 사례를 조작했으며, 변호사는 이를 확인하지 않았습니다. 법원은 변호사에게 5,000달러(약 660만원)의 벌금을 부과하여 법적 맥락에서 AI 도구를 사용할 때 인간의 감독의 중요성을 강조했습니다.

3. 에어캐나다 챗봇의 존재하지 않는 환불 정책 약속

주목할 만한 사건에서, 에어캐나다의 AI 기반 챗봇은 고객에게 예약 후 90일 이내에 소급하여 사별 요금 환불을 신청할 수 있다고 알렸습니다. 이 정책은 존재하지 않았습니다. 고객이 환불을 요청했을 때, 항공사는 요청을 거부했습니다. 그러나 브리티시 컬럼비아 민사 해결 재판소는 에어캐나다가 챗봇이 제공한 잘못된 정보에 대해 책임이 있다고 판결하고 항공사에 환불을 이행하도록 명령했습니다.

AI 환각 예방하는 방법

AI 모델을 만드는 회사들이 개선하고 AI 환각을 줄이기 위해 노력하는 것 외에도, 우리 사용자도 어느 정도 AI 환각 해결 방법을 가지고 있습니다. 이러한 기법 대부분은 프롬프트 엔지니어링과 관련이 있습니다. 다시 말해, 이는 생성형 AI 모델이 환각을 덜 일으키게 하는 프롬프트를 작성하기 위한 전략입니다. 몇 가지 기법을 살펴보겠습니다.

명확하고 핵심적인 프롬프트 작성하기

원하는 응답을 얻으려면 정확하고 명확한 프롬프트를 작성해야 합니다. 모호함을 피하고, AI 모델이 다양한 유형의 출력을 제공할 여지를 남기지 마세요. 프롬프트와 함께 AI에게 관련 데이터 소스와 수행할 역할을 제공하세요. 예를 들어, 단순히 기술에 관한 글을 쓰라고 요청하지 말고, 기술 블로그 작가 역할을 맡아 특정 장치나 시스템에 관한 글을 쓰도록 지시하세요.

프롬프트에 여러 단계 사용하기

대부분의 AI 모델에 복잡한 질문을 던지면, 단일 단계에서 이러한 다면적 질문에 답하려고 할 때 환각이 발생할 수 있습니다. 이 문제를 피하려면 질의를 여러 개의 작은 질문으로 나누어, 각각 더 간단한 답변이 필요하도록 해야 합니다. 이 방법은 종종 AI가 최종 질문에 도달하기 전에 여러 프롬프트에 답하고 그 과정에서 정보를 수집해야 하기 때문에 더 정확한 응답을 제공하는 결과로 이어질 수 있습니다.

관련 정보와 출처로 프롬프트 기반 다지기

AI 도구가 상황을 처리하는 방법에 대한 제안을 제공해야 한다면, 그 문제에 대한 더 많은 정보를 제공해야 합니다. 더 많은 세부 정보를 제공함으로써 AI가 컨텍스트를 더 잘 이해하도록 할 수 있습니다. 특정 정보나 특정 출처에 기반한 설명을 찾고 있다면, 항상 프롬프트를 다음과 같이 구성할 수 있습니다: "[책, 저자 또는 기타 관련 권위]에 따르면, [문제 또는 상황 삽입]은 무엇입니까..."

제약 조건과 규칙 설정하기

일관성 없고, 부적절하며, 비논리적이거나 모순되는 응답을 피하려면 AI에 제약을 가하고 출력 생성에서 따라야 할 규칙을 제시할 수 있습니다. 예를 들어, 챗봇에게 이메일 피싱에 관한 글을 쓰라고만 말하지 마세요. AI에게 글의 단어 수, 대상 독자, 원하는 글의 형식, 어떤 유형의 사이트에 게재하고 싶은지 알려주세요. 프롬프트가 구체적일수록 더 좋습니다.

원하는 것과 원하지 않는 것을 명시하기

AI 모델은 프롬프트에 응답하는 도구이므로, 이를 활용하세요. 찾고 있는 답변이나 정보의 정확한 유형과 찾고 있지 않은 것을 알려주세요. 이 기법은 특히 AI를 적극적으로 사용한 기간 후에 유용하므로, AI가 어떻게 답변하고 선제적으로 대응할지 예상하기 시작할 수 있습니다.

AI 환각은 오늘날 우리가 가지고 있고 사용하는 AI 모델의 고유한 부분입니다. 우리는 그것들이 어떻게 그리고 왜 발생하는지, 그리고 그것들을 영원히 해결하기 위해 그들의 창작자와 개발자가 구현할 수 있는 "수정"이 있는지 완전히 이해하지 못합니다.

AI는 여전히 발전 중인 기술이며, AI 챗봇 및 기타 LLM 기반 도구를 사용하고 싶다면 그것이 제기하는 문제를 이해하기 위해 최선을 다해야 합니다. 그렇기 때문에 AI 환각 현상을 알고 실제로 그것을 식별하기 위해 최선을 다해야 합니다. 위에 설명드린 예방 팁을 고려하고 AI 도구가 진실하고 의미 있는 결과를 생성하도록 안내하기 위해 더 나은 프롬프트를 작성해 보세요. 가장 중요한 것은, AI 시스템이 100% 정확하다고 절대 신뢰하지 않는 것입니다. 주기적적 쿠키 삭제를 습관화하고, 챗봇이 제공하는 모든 정보를 확인하세요.