Ch01-01. LLM 모델의 발전과 주요 특징

 

대규모 언어 모델(LLM)의 핵심 내용 정리

1. 주요 LLM 모델 비교

다음은 대표적인 LLM 모델의 비교표입니다.

모델	개발사	대표 활용 앱	모델 크기	접근 방식
GPT	OpenAI	ChatGPT, Microsoft Copilot, Duolingo	175B(GPT-3), 1.76T(GPT-4)	API
LLaMA	Meta AI	-	7B, 13B, 70B (LLaMA2)	오픈 소스
Gemini	Google	Google Apps	1.8B, 3.25B(Nano), Ultra(미정)	API
Claude	Anthropic	Slack, Notion, Quora	미정	API

2. LLM 모델의 핵심 기술

IN-CONTEXT LEARNING

사전에 학습된 지식을 문맥에 맞게 변환하여 유연하게 대응하는 기술입니다. 예시 데이터의 질적 수준에 따라 결과가 크게 달라질 수 있습니다.

INSTRUCTION FOLLOWING

작업 지시문과 출력 데이터를 제공하여 패턴을 학습합니다. 다만, 복잡한 추론에는 한계가 있습니다.

STEP-BY-STEP REASONING

복잡한 추론 과정을 단계별로 나누어 해결하는 접근법입니다. 이를 통해 더욱 복잡한 문제 해결이 가능합니다.

3. 엔지니어링의 중요성

LLM 개발과 운영에서 엔지니어링 역량이 핵심 요소로 자리잡고 있습니다.

위 이미지와 같이, 데이터 수집, 검증, 리소스 관리 등 다양한 영역에서 엔지니어링이 중요한 역할을 합니다.

4. 결론

LLM 기술은 OpenAI, Meta, Google 등 다양한 기업들이 치열하게 경쟁하며 발전하고 있습니다. 엔지니어링 기술이 뒷받침되면서 더욱 정교하고 강력한 모델이 등장하고 있으며, 앞으로 우리의 삶에 많은 변화를 가져올 것입니다.

이번 정리를 통해 LLM의 핵심 기술과 흐름을 한눈에 파악하는 데 도움이 되었으면 좋겠습니다!