Ch01-04. Open Source LLM: 주요 모델과 동향

 

최근 AI 업계에서는 오픈 소스 대규모 언어 모델(LLM)이 큰 주목을 받고 있습니다. 다양한 기업이 LLM을 공개하며 새로운 데이터와 모델을 제공하고 있으며, 이를 활용해 각국의 기술 발전과 시장 확장을 목표로 하고 있습니다. 주요 모델과 동향을 정리해보았습니다.

1. LLaMA 계열 모델

LLaMA(Large Language Model Meta AI)는 Meta가 개발한 오픈 소스 LLM으로, 다양한 기업과 연구 기관에서 LLaMA를 기반으로 한 모델을 제작하고 있습니다.

• LLaMA 계열 모델 (OpenAI)
• LLaMA 계열 한국어 모델 (Hugging Face)

2. 주요 오픈 소스 LLM

Mistral 7B

• 출시: 2023년, Mistral AI
• 특징: 기존 모델보다 고도화된 Small, Medium, Large 모델 제공.
• 유료 API로 제공되며, Azure 클라우드 서비스와 통합.
• 마이크로소프트와 협력하여 유럽 시장 공략.
• Mistral 모델 정보

Falcom 180B

• 특징: 180B(1800억 매개변수) 모델.
• 웹 데이터 기반의 고품질 데이터셋인 RefinedWeb 공개.
• Falcom 모델 (Hugging Face)

3. 지역별 특화 오픈 소스 모델

중국: Yi

• 출시 기업: 제러번닷AI (중국 유니콤).
• 특징: LLaMA 아키텍처 기반으로 설계.
• LLaMA 생태계의 툴, 라이브러리, 리소스를 자유롭게 사용 가능.
• Yi 모델 (Hugging Face)

한국: SOLAR

• 출시 기업: Upstage (한국).
• 특징: LLaMA 기반의 백본 모델로 설계.
• 모델 크기:
  • 70B: 대규모 언어 모델.
  • 10B: 경량화된 SOLAR Mini 모델.
• Hugging Face의 오픈 LLM 리더보드에서 1위 달성.
• SOLAR 모델 (Hugging Face)

4. 스몰 LLM의 부상

스몰 LLM(Small LLM)은 매개변수 크기가 10B 이하인 모델로, 노트북, PC, 모바일 등 온디바이스 AI 환경에서 적합한 모델입니다.

주요 스몰 LLM

• Microsoft Phi: Phi 모델 (Hugging Face)
• Google Gemma: Gemma 모델 (Hugging Face) (다른 모델은 비공개)

5. 오픈 소스화의 이유

기업들이 LLM을 오픈 소스화하는 데에는 다음과 같은 이유가 있습니다:

• 생태계 확장: 더 많은 사용자 확보와 개발자 커뮤니티 활성화.
• 시장 진입 전략: 유료 API를 통한 수익 창출.
• 데이터와 기술 공유: 고품질 데이터셋 공개를 통해 기술 발전 가속.
• 지역 특화 모델 개발: 언어와 문화를 반영한 모델로 AI 경쟁력 강화.

결론

오픈 소스 LLM의 발전은 기술의 민주화를 가져오며, 글로벌 AI 생태계를 빠르게 확장시키고 있습니다. 앞으로도 LLaMA 계열 모델을 포함한 오픈 소스 LLM의 진화와 그 가능성에 주목할 필요가 있습니다.