GPT4 mmlu 86.4% 달성 인간 전문가 수준에 근접

gpt3.5는 69점이었고 기존 1위 palm는 75점이었음

위 내용은 mmlu 가 테스트하는 영역

Massive Multitask Language Understanding = 대규모 멀티태스킹 언어 이해

초급부터 전문가까지 지식을 다루며 습득한 지식으로 세계지식과 문제 해결 능력을 모두 테스트 한다.

수학, 역사, 법, 윤리 등 많은 영역을 테스트 한다.

측정하는 57가지 분야

추상 대수학

해부학

천문학

기업 윤리

임상 지식

대학 생물학

대학 화학

대학 컴퓨터 과학

대학 수학

대학 의학

대학 물리학

컴퓨터

보안

개념 물리학

계량 경제학

전기 공학

초등 수학

형식 논리학

글로벌 사실

고등학교 생물학

고등학교 화학

고등학교 컴퓨터 과학

고등학교 유럽사

고등학교 지리학

고등 교육 정부와 정치학

고등학교 거시경제학

고등학교 수학

고등학교 미시경제학

고등학교 물리학

고등학교 심리학

고등학교 통계

고등학교 미국 역사

고등학교 세계사

인간 노화

인간의 성관계

국제법

법학

논리적 오류

기계 학습

취급

마케팅

의학 유전학

형형색색의

도덕적 분쟁

도덕적 시나리오

영양 보급

철학

선사학

전문 회계

직업법

전문 의학

전문 심리학

퍼블릭 릴레이션스

보안 연구

사회학

미국 외교 정책

바이러스학

세계 종교

이제 GPT4 에게 일을 맡길 때가 되었음

인간 전문가는 90%