Microsoft Research는 대형 모델의 성능에 필적할 수 있는 Orca 2 LLM을 출시했습니다.

Microsoft는 OpenAI 및 GPT 대규모 언어 모델과 제휴하여 Copilot(이전의 Bing Chat)과 같은 생성 AI 서비스를 만드는 데 도움을 줄 수 있습니다. . 하지만 회사에서는 자체 LM 작업도 진행하고 있습니다. 이번 주 Microsoft Research는 Orca 언어의 두 번째 버전인 Orca 2의 출시를 발표했습니다.

블로그 게시물에서 Microsoft는 Orca 2가 더 작은 LM으로 특별히 설계되었지만 여전히 복잡한 답변에 사용할 수 있다고 밝혔습니다. LLM과 같은 질문. Orca 2는 두 가지 크기(70억 및 130억 매개변수)로 제공되며 부분적으로는 출시에 도움이 된 Llama 2 LLM을 사용하여 제작되었습니다. 올해 초 메타. 회사는 “맞춤형 고품질 합성 데이터”를 기반으로 Llama 2 기반 모델을 미세 조정했습니다.

Microsoft는 이를 통해 Orca 2 모델이 다른 “5-10배 더 큰” 언어 모델의 성능과 일치하는 문제를 처리할 수 있다고 밝혔습니다.

Orca 2는 확장되고 고도로 맞춤화된 합성 데이터 세트를 사용하여 교육되었습니다. 훈련 데이터는 Orca 2에게 단계별 처리, 회상 후 생성, 회상 이유 생성, 추출 생성 및 직접 답변 방법과 같은 다양한 추론 기술을 가르치는 동시에 다른 것을 선택하도록 가르치도록 생성되었습니다. 다양한 작업에 대한 솔루션 전략.

Orca 2 모델은 “언어 이해, 상식 추론, 다단계 추론, 수학 문제 해결, 독해”와 같은 주제를 다루는 일련의 벤치마크를 통해 Llama 2 및 WizardLM과 같은 여러 대규모 언어 모델과 비교되었습니다. 더. 블로그는 다음과 같이 말했습니다.

우리의 예비 결과는 Orca 2의 성능이 비슷한 크기의 모델을 훨씬 능가한다는 것을 나타냅니다. 또한 최소 10배 이상 큰 모델과 유사하거나 더 나은 성능 수준을 달성하여 더 작은 모델에 더 나은 추론 기능을 탑재할 수 있는 가능성을 보여줍니다.

Microsoft는 Orca 2에 한계가 있음을 인정했지만 지금까지의 테스트에서는 “향후 발전 가능성”을 보여주었습니다. Microsoft는 Orca 2를 오픈 소스 프로젝트로 출시하여 다른 사람들도 작업할 수 있도록 했습니다.