마이크로소프트, 역대 가장 작은 AI 모델 'Phi-3' 출시

마이크로소프트(MS)가 경량 AI 기반 모델의 다음 버전인 Phi-3 미니를 출시했다. 이는 회사가 출시할 세 가지 미니 모델 중 첫 번째다.

Phi-3 Mini는 38억 개의 매개변수를 측정하며 Phi-3 Mini에 비해 더 작은 데이터 세트로 훈련됩니다. GPT-4와 같은 대규모 언어 모델. 이제 Azure, Hugging Face 및 Ollama에서 사용할 수 있습니다. Microsoft는 Phi-3 Small(7B 매개변수) 및 Phi-3 Medium(14B 매개변수)을 출시할 계획입니다. 매개변수는 모델이 이해할 수 있는 복잡한 명령의 수를 나타냅니다.

이 회사는 지난 12월 Phi-2를 출시했는데, 이는 Llama 2와 같은 대형 모델과 유사한 성능을 보였습니다. Microsoft는 Phi-3가 이전 버전보다 성능이 뛰어나며 가능한 것보다 10배 더 큰 모델에 가까운 응답을 제공할 수 있다고 밝혔습니다.

Microsoft Azure AI 플랫폼 기업 부사장인 Eric Boyd는 말합니다. 모서리 Phi-3 Mini는 “더 작은 폼 팩터”로 GPT-3.5와 같은 LLM 프로그램과 유사한 기능을 제공합니다.

더 큰 모델에 비해 AI 모델은 작습니다. 개인적으로 실행하는 것이 더 저렴하고 더 나은 성능을 발휘하는 경우가 많습니다. 휴대폰, 노트북 등의 기기. 정보 나는 올해 초 Microsoft가 특히 경량 AI 모델에 초점을 맞춘 팀을 구성하고 있다고 보고했습니다. Phi와 함께 이 회사는 수학적 문제 해결에 초점을 맞춘 모델인 Orca-Math도 구축했습니다.

개발자들은 “강의 계획서”를 사용하여 Phi-3를 교육했다고 Boyd는 말합니다. 그들은 아이들이 취침 시간 이야기, 더 간단한 단어가 포함된 책, 더 큰 주제에 대해 이야기하는 문장 구조를 통해 학습하는 방식에서 영감을 받았습니다.

Boyd는 “시중에 나와 있는 동화책이 충분하지 않기 때문에 3,000개가 넘는 단어 목록을 작성하고 LLM에 Fai를 가르칠 '동화책'을 만들어 달라고 요청했습니다.

그는 Phi-3이 이전 반복에서 배운 내용을 기반으로 구축했다고 덧붙였습니다. Phi-1은 프로그래밍에 집중하고 Phi-2는 생각하는 법을 배우기 시작한 반면, Phi-3은 프로그래밍과 추론에 더 능숙합니다. Phi-3 모델 모음은 몇 가지 일반적인 지식을 알고 있지만 폭 측면에서 GPT-4 또는 다른 LLM을 이길 수는 없습니다. 완전히 온라인 교육을 받은 LLM과 소규모 모델에서 얻을 수 있는 답변의 종류에는 큰 차이가 있습니다. 파이 -3처럼요.

Boyd는 기업들이 Phi-3과 같은 소형 모델이 맞춤형 애플리케이션에 더 잘 작동한다는 사실을 종종 발견한다고 말합니다. 왜냐하면 많은 기업의 경우 내부 데이터 세트가 어쨌든 더 작은 편이기 때문입니다. 이러한 모델은 컴퓨팅 성능을 덜 사용하기 때문에 가격이 훨씬 더 저렴한 경우가 많습니다.