Ch03-02. Data Pipeline 구축
AI 고객센터(AICC)의 핵심 기능을 구현하기 위해서는 강력한 데이터 파이프라인이 필수적입니다.이번 포스팅에서는 AI 기반 고객 서비스의 핵심인 데이터 수집, 전처리, 변환, 벡터 DB 인덱싱까지의 흐름을 설명합니다.📌 데이터 파이프라인 개요데이터 파이프라인은 다양한 원천 데이터를 수집하고, 이를 AI 모델이 활용할 수 있도록 변환하는 과정입니다.일반적으로 데이터는 PDF, 워드, PPT, 한글 파일 등 비정형 형식으로 존재하며, 이를 AI가 학습할 수 있도록 변환해야 합니다.🔹 데이터 수집 및 전처리1️⃣ 데이터 소스: 고객 문서, 상담 녹취록, 제품 매뉴얼 등 다양한 문서 유형이 포함됩니다.2️⃣ 전처리 과정: 문서의 구조를 분석하고, 필요 없는 정보를 제거하는 과정이 필요합니다.단락 유지: 문..
2025. 3. 24.