AI 모델 탭은 챗봇 아레나(Chatbot Arena) 리더보드를 씁니다. 아레나는 두 AI 모델의 답변을 누가 만들었는지 모르게(블라인드) 나란히 보여주고, 사람이 더 나은 쪽에 투표하는 방식입니다. 그 수많은 투표를 모아 모델마다 점수를 매깁니다. 광고나 홍보가 아니라 실제 사용자 선호가 쌓인 순위라는 점이 특징입니다.
무엇을 기준으로 순위를 매기나 — ELO 점수
nsiatrend는 아레나의 ELO 점수를 기준으로 모델을 정렬합니다. ELO는 원래 체스에서 상대적 실력을 나타내는 점수로, 강한 상대를 이길수록 더 많이 오릅니다. AI 아레나에서도 같은 원리로, 사람들이 더 자주 손을 들어 준 모델이 높은 점수를 받습니다. 표시되는 값은 이 ELO 점수이며, 추정으로 채우지 않은 실제 집계 값입니다.
점수를 그대로 믿지는 마세요
주의할 점이 있습니다. ELO는 "성능의 절대치"가 아니라 "사람 선호"입니다. 투표한 사람들의 구성, 물어본 질문 유형, 집계 기간에 따라 점수가 달라집니다. 또 1~2위의 점수 차가 아주 작다면 사실상 비슷한 수준이라는 뜻이므로, 미세한 순위 차이에 큰 의미를 두지 마세요. 내 용도(코딩·번역·글쓰기 등)에 맞는지는 결국 직접 써 봐야 압니다.
대중 인지도와는 시차가 있다
이 탭은 AI를 적극적으로 쓰는 사람들의 선호를 반영합니다. 그래서 일반 대중이 이름을 알기 한참 전에 여기서는 이미 상위에 올라 있는 경우가 많습니다. 상위 모델이 곧바로 "대중적으로 유명한 AI"라는 뜻은 아니며, 오히려 몇 주 뒤 화제가 될 모델을 미리 보는 창에 가깝습니다.
다른 신호와 함께 보기
AI 모델 탭에서 어떤 모델이 급부상하는데, 같은 시점에 검색·뉴스·위키에서도 그 이름이 보이기 시작한다면, 그건 커뮤니티 화제를 넘어 대중으로 번지는 단계입니다. 여러 렌즈가 동시에 같은 이름을 가리킬 때가 가장 강한 신호입니다.
ELO 점수는 어떻게 만들어지나
ELO는 원래 체스 선수의 실력을 매기려고 만든 방식입니다. 아레나에서는 사용자에게 이름을 가린 두 모델의 답변을 나란히 보여주고 더 나은 쪽에 투표하게 합니다. 이긴 모델은 점수를 얻고 진 모델은 잃는데, 강한 상대를 이기면 더 많이 얻습니다. 수십만 번의 익명 대결이 쌓여 지금의 순위가 됩니다.
이 방식의 힘은 브랜드 효과가 제거된다는 데 있습니다. 이름을 가렸으므로 유명한 회사의 모델이라는 이유로 이길 수 없습니다. 반대로 한계도 뚜렷합니다 — 투표자는 '어느 답이 더 마음에 드는가'를 고를 뿐이므로, 점수는 정확성보다 선호도에 가깝습니다. 길고 자신 있게 쓴 답이 짧고 정확한 답을 이기는 일도 있습니다.
순위를 읽는 실전 요령
- 몇 점 차이는 동률로 읽습니다. ELO에서 한 자릿수 점수 차는 통계적으로 의미가 없는 경우가 많습니다. 1위와 5위가 10점 안에 몰려 있다면 "선두권이 접전"이라고 읽는 것이 정확합니다.
- 같은 계열은 묶어서 봅니다. 한 회사가 기본형·고성능형·추론형 같은 변형을 여럿 올리므로, 상위 20위 안에 같은 계열이 몇 개인지 세면 개별 순위보다 판도가 잘 보입니다. 특정 벤더의 모델이 상위권을 여럿 차지하고 있다면 그 자체가 신호입니다.
- 새 이름의 등장이 가장 큰 뉴스입니다. 기존 모델들의 순위가 한두 칸 바뀌는 것보다, 처음 보는 이름이 상위권에 진입하는 것이 훨씬 드물고 중요한 사건입니다.
개발자가 아니어도 쓸모가 있다
이 탭은 "지금 어떤 AI를 쓰는 게 좋은가"에 대한 가장 광고 없는 참고자료이기도 합니다. AI 서비스 광고와 벤치마크 홍보가 넘치는 상황에서, 익명 블라인드 투표 순위는 이해관계가 가장 적게 낀 지표입니다. 새 AI 구독을 고민할 때 상위권 계열을 확인하는 용도로만 써도 값어치를 합니다.
측정 방식 전반은 방법론에서 다룹니다.
자주 묻는 질문
Q. 벤치마크 점수와 아레나 순위가 다르면 어느 쪽이 맞나요?
둘은 다른 것을 잽니다. 벤치마크는 정해진 문제집에 대한 점수이고, 아레나는 실제 사용자가 실제 질문에서 느낀 선호입니다. 문제집은 출제 경향에 맞춰 훈련될 수 있어서, "일상적으로 쓸 때 어느 쪽이 나은가"라는 질문에는 아레나 쪽이 대체로 더 가깝습니다.
Q. 순위가 매일 바뀌나요?
투표가 쌓이며 조금씩 움직이지만, 큰 변동은 새 모델이 출시될 때 일어납니다. 매일 확인할 필요는 없고, 새 이름이 진입했는지 일주일에 한 번 훑는 정도면 흐름을 놓치지 않습니다.