LiveCodeBench: 대규모 언어 모델(LLM)에 대한 코딩 실력 평가 리더보드

https://livecodebench.github.io/leaderboard.html

LiveCodeBench는 대형 언어 모델(LLM)의 코딩 능력을 평가하는 벤치마크 리더보드입니다. 코드 생성, 코드 실행, 테스트 출력 예측 등 다양한 코드 관련 시나리오를 평가하며, 지속적으로 새로운 문제를 수집하여 평가에 활용합니다.

2023년 5월부터 2024년 2월까지 300개 이상의 고품질 코딩 문제가 게시되었고, 29개의 LLM을 평가하여 모델들의 강점과 약점, 예상치 못한 결과 등 흥미로운 경험적 발견을 제공합니다. LiveCodeBench는 모델의 일반화 능력을 평가하기 위해 특정 기간 동안 출시된 문제만을 사용합니다.

평가 결과, GPT-4-turbo와 Claude-3-Opus 모델이 다양한 시나리오에서 우수한 성능을 보여주었으며, 오픈소스 모델 중에서는 DeepSeekCoder-V2가 상위권 유료 모델에 근접하는 뛰어난 성능을 보여주었습니다.