Ch01-05. Google의 LLM 모델과 Gemini

 

최근 Google은 대규모 언어 모델(LLM)의 개발과 혁신을 통해 AI 기술의 새로운 가능성을 제시하고 있습니다. 이번 글에서는 Google의 주요 LLM 모델과 이를 뒷받침하는 기술 아키텍처, 그리고 멀티모달 모델인 Gemini에 대해 다룹니다.

1. Google의 LLM 혁신과 Pathways 아키텍처

Google은 LLM 모델의 발전을 위해 Pathways 아키텍처를 개발했습니다. 이 아키텍처는 하나의 AI 모델이 영상, 텍스트, 오디오, 이미지 등 다양한 데이터 형식을 학습하고 처리할 수 있도록 설계되었습니다.

• Pathways의 주요 특징:
  • 단일 모델로 수백만 개의 태스크를 처리 가능.
  • 다양한 입력 데이터를 학습하는 멀티모달 모델.
  • 필요할 때만 일부 신경망을 활성화하는 스퍼스 모델(Sparse Model).

Pathways 관련 정보

2. PaLM 시리즈: Google의 대표 LLM

PaLM-1 모델

• 출시: 2022년.
• 특징:
  • Pathways 아키텍처 기반.
  • 540B 파라미터 크기.
  • TPU v4 6144개로 학습.

PaLM-2 모델

• 출시: 2023년.
• 특징:
  • 340B 파라미터로 감소.
  • 학습 데이터 양 5배 증가.
  • 100개 이상의 언어 학습.
  • 논리적 추론과 다국어 번역 성능 강화.

PaLM-2 성능

3. 특화된 PaLM 모델

MedPaLM

• 특징:
  • 의료 데이터를 학습하여 의학적 질문에 답변 및 요약 제공.
  • X-ray 데이터를 분석해 진단 지원.

MedPaLM2 관련 정보

SecPaLM

• 특징:
  • 사이버 보안 데이터를 학습하여 악성 스크립트를 분석하고 위협 탐지 지원.

SecPaLM 관련 정보

4. Gemini: Google의 차세대 멀티모달 LLM

• Gemini의 특징:
  • 텍스트, 이미지, 오디오, 동영상, 코드 등 다양한 입력 처리.
  • 세 가지 버전:
    • Nano: 온디바이스 태스크 최적화.
    • Pro: 확장성과 범용성이 높은 모델.
    • Ultra: 복잡한 태스크를 처리하는 대규모 모델.
  • 텍스트뿐 아니라 이미지 생성까지 지원.

5. LLM 모델의 분류 기준

• 모델 크기:
  • Small: 10B 이하.
  • Medium: 10B~100B.
  • Large: 100B 이상.
• 모델 원본:
  • 파운데이션 모델(LLaMA 등).
  • 튜닝된 모델(예: 알파카).
• 목적:
  • 범용 모델.
  • 특정 태스크에 특화된 모델.
• 공개 여부:
  • Private: 비공개.
  • Public: 오픈소스.

결론

Google의 LLM 모델은 멀티모달 AI의 새로운 기준을 제시하며, 다양한 도메인에서 뛰어난 성능을 보여주고 있습니다. 앞으로 Gemini와 같은 모델이 어떤 혁신을 가져올지 주목할 만합니다.