AI16 Ch02-02. Pre-training 대규모 언어 모델(LLM)은 방대한 데이터를 학습하여 자연어를 이해하고 생성하는 데 활용됩니다. 이번 글에서는 LLM이 사전 학습(Pre-training) 되는 과정과 핵심 개념을 정리하겠습니다.1. LLM Pre-training 개요LLM Pre-training 과정데이터 수집 및 전처리토크나이징(Tokenization)모델 아키텍처 설계Pre-training 학습 목표 설정디코딩 전략 선택최적화 및 모델 압축2. 데이터 수집 및 전처리(1) 데이터 정제 과정HTML 태그, 하이퍼링크, 스팸 데이터 제거중복 데이터 필터링개인정보 보호 (이름, 전화번호 등 제거)(2) 토크나이징 (Tokenization)BPE (Byte Pair Encoding): GPT 시리즈, LLaMA 사용WordPiece: BE.. 2025. 3. 14. Ch02-01. Resources (Data, Library) LLM(Large Language Model)의 성능을 결정하는 중요한 요소 중 하나는 데이터와 라이브러리입니다. 이번 글에서는 LLM이 학습하는 주요 데이터셋과, 모델 개발 및 최적화에 사용되는 필수 라이브러리를 정리하겠습니다.1. LLM 학습을 위한 데이터셋(1) 사전 학습 데이터 (Pre-training Data)BookCorpus: 10,000권 이상의 책으로 구성된 데이터셋.Project Gutenberg: 7만 권 이상의 문학 및 과학 관련 도서 포함.Common Crawl: 방대한 웹 크롤링 데이터셋.Reddit 기반 데이터: 인기 게시글을 포함한 웹텍스트.Wikipedia: GPT-3, LLaMA 등에서 널리 활용되는 데이터셋.한국어 Wikipedia: 한국어 LLM 학습에 활용되는 데이터.. 2025. 3. 13. Cursor AI: 생산성과 창의력을 극대화하다 1. Cursor AI란 무엇인가요?Cursor AI는 개발자를 위한 AI 기반 코드 편집기로, 기획, 코딩, 디버깅, UI 디자인까지 개발 전 과정을 도와줍니다. 간단한 명령어로 복잡한 작업을 수행할 수 있는 도구입니다.2. Cursor AI의 강력한 기능들코드 기반 채팅 인터페이스: 다양한 AI 모델(GPT-4.5, Claude 3.5 등)과 채팅하며 프로젝트를 진행.실시간 코드 수정: 명령어 한 줄로 코드 수정 및 오류 해결.Composer 기능: 여러 파일을 동시에 수정하거나 새로운 파일 생성.AI 기반 콘텐츠 생성: 플랫폼별 맞춤 콘텐츠 생성 및 정리.자동 완성 및 검색 최적화: 코드 자동 완성과 빠른 검색.3. Cursor AI를 활용한 실제 프로젝트 사례사례 1: ChatGPT와 협업한 "N.. 2025. 1. 3. Ch01-05. Google의 LLM 모델과 Gemini 최근 Google은 대규모 언어 모델(LLM)의 개발과 혁신을 통해 AI 기술의 새로운 가능성을 제시하고 있습니다. 이번 글에서는 Google의 주요 LLM 모델과 이를 뒷받침하는 기술 아키텍처, 그리고 멀티모달 모델인 Gemini에 대해 다룹니다. 1. Google의 LLM 혁신과 Pathways 아키텍처 Google은 LLM 모델의 발전을 위해 Pathways 아키텍처를 개발했습니다. 이 아키텍처는 하나의 AI 모델이 영상, 텍스트, 오디오, 이미지 등 다양한 데이터 형식을 학습하고 처리할 수 있도록 설계되었습니다. Pathways의 주요 특징: 단일 모델로 수백만 개의 태스크를 처리 가능. 다양한 입력 데이터를 학습하는 멀티모달 모델. 필요할 때만 일부 신경망.. 2024. 12. 26. 이전 1 2 3 4 다음