Ch04-01. LLM(ChatGPT)를 활용한 불가능한 요청 탐지

불가능한 요청 탐지 (Detecting Impossible Requests)

불가능한 요청 탐지는 AI 챗봇 및 고객 서비스 시스템의 신뢰성을 높이고, 잘못된 정보 제공을 방지하는 중요한 과정입니다. 이번 강의에서는 불가능한 요청을 탐지하는 방법과 실습을 통해 이를 구현하는 방안을 살펴보겠습니다.

---

1️⃣ LLM의 환각 현상 (Hallucination)

우선, LLM의 환각(Hallucination) 현상에 대해 이해해야 합니다. 이는 모델이 실제 데이터에 기반하지 않은 거짓된 정보를 마치 사실인 것처럼 그럴듯하게 생성하는 현상입니다.

📌 환각 현상의 특징

✔ 모든 LLM에서 공통적으로 발견됨 – ChatGPT, Google Gemini, Meta Llama 등 대부분의 모델에서 관찰됨
✔ 주어진 정보가 부족할 때 발생 – 존재하지 않는 개념을 가정한 질문(예: "이효리 장군이 임진왜란에서 활약한 기록은?")을 하면 오류가 발생
✔ 거짓 정보가 매우 신뢰성 있어 보임 – 실제 사실과 매우 유사한 문장을 생성하여 사용자가 쉽게 속을 수 있음

📌 환각 현상의 위험성

• ❌ 잘못된 정보 제공 → 사용자 의사결정에 치명적 영향을 미칠 수 있음
• ❌ 기업 신뢰도 하락 → 챗봇이 허위 정보를 제공하면 회사의 브랜드 이미지에도 타격을 입을 수 있음
• ❌ 법적 문제 발생 → 고객이 챗봇 정보를 신뢰하고 행동했다가 피해를 입을 경우 법적 책임이 따를 수 있음

---

2️⃣ 불가능한 요청 탐지란?

불가능한 요청 탐지(Impossible Request Detection)란, AI 고객센터나 챗봇이 해결할 수 없는 요청을 사전에 감지하고 적절한 응답을 제공하는 기능을 의미합니다.

📌 불가능한 요청의 유형

1. 현실적으로 불가능한 요청
   • 예: “시간 여행 티켓을 예매해줘.”
2. 챗봇의 기능을 초과하는 요청
   • 예: “다음 주 주식 시장의 흐름을 예측해줘.”
3. 비공개 데이터 또는 접근 불가 정보 요청
   • 예: “내 친구의 신용카드 정보 알려줘.”

---

3️⃣ 불가능한 요청을 탐지하는 방법

불가능한 요청을 탐지하기 위해 3가지 주요 접근 방식을 사용할 수 있습니다.

📌 1. 자연어 이해 (NLU, Natural Language Understanding)

• 사용자의 발화를 분석하여 요청의 의도(Intent) 를 파악
• 챗봇이 처리할 수 있는 요청인지 여부를 판단

📌 2. 문맥 기반 요청 분석 (Context-Based Analysis)

• 사용자 정보(위치, 문화적 배경 등)를 참고하여 요청의 현실성을 평가
• 특정 문화권에서만 통용되는 요청을 필터링

📌 3. 데이터 기반 검증 (Data Verification)

• 챗봇이 접근 가능한 정보와 비교하여 요청의 타당성을 평가
• RAG 시스템을 활용하여 관련 문서와 비교 후 응답 결정

---

4️⃣ 불가능한 요청 탐지 실습

이제 간단한 챗봇을 만들어서 불가능한 요청을 탐지하는 방법을 실습해보겠습니다.

📌 1. 챗봇 구축

우선, OpenAI API를 활용하여 기본적인 챗봇을 구현합니다.

import openai

openai.api_key = "YOUR_OPENAI_API_KEY"

def chatbot_response(user_input):
    response = openai.ChatCompletion.create(
        model="gpt-4",
        messages=[{"role": "system", "content": "이 챗봇은 항공편 예약을 도와줍니다."},
                  {"role": "user", "content": user_input}]
    )
    return response["choices"][0]["message"]["content"]

# 사용자 입력 예시
print(chatbot_response("오늘 뉴욕행 비행기를 예약할 수 있나요?"))

✅ 예상 응답:
“네, 뉴욕행 비행기를 예약할 수 있습니다. 어떤 항공사를 이용하시겠습니까?”

---

📌 2. 거짓 요청 처리

하지만, 챗봇이 존재하지 않는 항공사에 대한 요청에도 응답할 수 있습니다.

print(chatbot_response("푸바오 항공사의 비행기를 예약할 수 있나요?"))

⚠ 예상 오류 응답:
“네, 푸바오 항공사는 인기 있는 항공사이며 다양한 국제선을 운항하고 있습니다.”
(🚨 푸바오 항공사는 존재하지 않는 항공사임!)

---

📌 3. 불가능한 요청 필터링 적용

이제 챗봇이 유효한 요청만 응답하도록 설정합니다.

valid_airlines = ["대한항공", "아시아나항공", "에미레이트항공"]

def chatbot_with_filter(user_input):
    if "항공사" in user_input:
        for airline in valid_airlines:
            if airline in user_input:
                return chatbot_response(user_input)
        return "죄송합니다. 해당 항공사는 목록에 없습니다."
    return chatbot_response(user_input)

print(chatbot_with_filter("푸바오 항공사의 비행기를 예약할 수 있나요?"))

✅ 개선된 응답:
"죄송합니다. 해당 항공사는 목록에 없습니다."

---

📌 4. 비정상 요청 감지 및 차단

아래와 같은 위험한 질문에도 응답하지 않도록 설정합니다.

dangerous_requests = ["테러 방법", "해킹하는 법", "마약 제조법"]

def secure_chatbot(user_input):
    for term in dangerous_requests:
        if term in user_input:
            return "죄송합니다. 해당 요청을 처리할 수 없습니다."
    return chatbot_with_filter(user_input)

print(secure_chatbot("테러 방법을 알려줘."))

✅ 최종 응답:
"죄송합니다. 해당 요청을 처리할 수 없습니다."

---

5️⃣ 결론: 불가능한 요청 탐지가 중요한 이유

✔ 정확한 정보 제공 – 챗봇의 환각 현상을 최소화하고 신뢰도를 유지
✔ 고객 서비스 품질 향상 – 잘못된 정보 제공으로 인한 사용자 불만 감소
✔ 기업 브랜드 보호 – 잘못된 응답으로 인한 법적 문제 및 평판 리스크 방지