Meta의 최신 멀티모달 Llama 3.2 모델이 Microsoft Azure 및 Google Cloud에서 출시되었습니다.

Connect 2024 에서 Meta 설립자 겸 CEO인 마크 주커버그는 Llama 3.2 의 데뷔를 발표했습니다 . 이 새로운 버전은 11B 및 90B 매개변수 와 함께 소규모 및 중규모 비전 대형 언어 모델(LLM) 과 다양한 온디바이스 텍스트 전용 모델(1B 및 3B 매개변수)을 도입합니다. 특히, 새로운 11B 및 90B 비전 모델은 Llama의 멀티모달 기능에 대한 첫 번째 벤처를 나타냅니다.

Microsoft는 또한 Llama 3.2 11B Vision Instruct 및 Llama 3.2 90B Vision Instruct 모델이 이제 Azure AI Model Catalog 에서 액세스할 수 있다고 발표했습니다 . 또한 개발자는 이러한 향상된 모델에 대한 Models-as-a-Service(MaaS) 서버리스 API를 통한 추론을 곧 기대할 수 있습니다.

Azure에서 관리형 컴퓨팅 추론을 위해 사용 가능한 Llama 3.2 모델은 다음과 같습니다.

• 불꽃 3.2 1B
• 라마 3.2 3B
• 라마 3.2-1B-지시
• 라마 3.2-3B-지시
• 라마 가드 3 1B
• 라마 3.2 11B 비전 지시
• 라마 3.2 90B 비전 지시
• 라마 가드 3 11B 비전

현재, 미세 조정은 Llama 3.2 1B Instruct 및 3B Instruct 모델에만 제공됩니다. 그러나 Microsoft는 향후 몇 달 안에 추가 Llama 3.2 모델 컬렉션에 미세 조정 기능을 확장할 계획입니다. 이러한 모델은 분당 200k 토큰 과 분당 1k 요청 의 제한으로 작동합니다 . 더 높은 속도 제한이 필요한 개발자는 잠재적인 조정을 위해 Microsoft 팀에 문의하는 것이 좋습니다.

게다가, 구글은 모든 Llama 3.2 모델이 이제 Vertex AI Model Garden에서 사용 가능하여 셀프 서비스 배포가 가능하다고 발표했습니다 . 현재는 Llama 3.2 90B 모델만 구글의 MaaS 솔루션을 통해 미리보기로 제공됩니다.

Llama 3.2 모델과 함께 Meta는 Llama Stack 배포판을 도입했습니다 . 이러한 배포판은 개발자가 단일 노드, 온프레미스, 클라우드 및 온디바이스 설정을 포함한 다양한 환경에서 Llama 모델을 활용하는 방식을 간소화하도록 설계되었습니다. Meta 팀은 다음을 공개했습니다.

• Llama Stack 배포판을 생성, 구성 및 실행하기 위한 Llama CLI(명령줄 인터페이스)
• Python, Node.js, Kotlin, Swift 등 다양한 프로그래밍 언어로 제공되는 클라이언트 코드
• Llama Stack Distribution Server 및 Agents API Provider를 위한 Docker 컨테이너
• 다양한 배포:
  • Meta 내부 구현 및 Ollama를 통한 단일 노드 Llama 스택 배포
  • AWS, Databricks, Fireworks 및 Together를 통한 Cloud Llama Stack 배포
  • PyTorch ExecuTorch를 사용하여 구현된 iOS의 온디바이스 Llama 스택 배포
  • Dell에서 지원하는 온프레미스 Llama Stack Distribution

Llama 3.2 모델과 Llama Stack 배포판의 출시는 개발자를 위한 강력한 AI 모델에 대한 접근성을 향상시키는 데 있어 중요한 진전을 의미합니다. 이러한 진전은 다양한 분야에서 더 큰 혁신과 더 광범위한 AI 채택을 촉진할 것으로 예상됩니다.

원천