네이버마케팅 국내 AI에 수능 수학·논술 풀게 했더니…절반도 못 맞혀 > 자유게시판

소통공간

네이버마케팅 국내 AI에 수능 수학·논술 풀게 했더니…절반도 못 맞혀

이길중
쪽지보내기 메일보내기 자기소개 아이디로 검색 전체게시물

25-12-17
1 회

네이버마케팅 국가대표 인공지능(AI)에 도전하는 국내 정예팀들의 거대언어모델(LLM)이 수능 수학문제 풀이 등에서 해외 모델에 크게 뒤처졌다는 시험 결과가 나왔다. LG 측은 “모델 특성을 고려하지 않은 시험”이라며 반박했다.
김종락 서강대 수학과 교수 연구팀은 국내 국가대표 AI 도전 5개 팀의 주요 LLM과 챗GPT 등 해외 5개 LLM에 수능 수학 20문제, 논술 30문제를 풀게 한 결과 이같이 나타났다고 15일 밝혔다.
연구팀은 수능 문제로는 공통과목, 확률과 통계, 미적분, 기하에서 가장 어려운 문항 5개씩을 뽑아 20문제를 설정했다. 또 논술은 국내 10개 대학 기출 문제와 인도 대학 입시 10문제, 일본 도쿄대 공대 대학원 입시 수학 10문제를 풀게 했다.
한국 모델로는 업스테이지의 ‘솔라 프로-2’, LG AI연구원의 ‘엑사원 4.0.1’, 네이버의 ‘HCX-007’, SK텔레콤의 ‘A.X 4.0(72B)’, 엔씨소프트의 경량모델 ‘라마 바르코 8B 인스트럭트’를 활용했다. 해외 모델에는 GPT-5.1, 제미나이 3 프로 프리뷰, 클라우드 오푸스 4.5, 그록 4.1 패스트, 딥시크 V3.2가 쓰였다.
그 결과 해외 모델은 76~92점을 받았지만, 한국 모델은 솔라 프로-2만 58점을 받았을 뿐 나머지는 20점대 낮은 점수를 기록했다. 라마 바르코 8B 인스트럭트는 2점으로 가장 낮은 점수를 받았다.
이어 연구팀은 대학교 수준부터 교수급 논문 연구 수준까지 난이도를 세분화한 자체 문제 세트 ‘엔트로피매스(EntropyMath)’ 100문제 중 10문제를 구성해 10개 모델들에 풀게 했다. 여기서도 해외 모델은 82.8~90점을 기록했지만, 국내 모델은 7.1~53.3점으로 낮았다.
이번 시험 결과는 ‘AI 3강’을 목표로 내건 국내 LLM 개발 정예팀들의 실력이 국제적 수준에 한참 못 미친다는 ‘지표’로 해석되며 적잖은 파장을 낳았다.
이날 LG AI연구원이 자체 시험 결과를 공개하며 ‘반박’에 나섰다. 서강대 연구진이 뽑은 수능 수학문제 20개 문항을 LG AI연구원이 ‘엑사원 4.0.1’에 다시 풀어보게 했더니 88.75점이 나왔다는 것이다. 서강대 연구진 측정 결과(35점)의 2배를 넘는 결과다. LG AI연구원 측은 자체 시험이 “통상적인 AI 모델 수학 벤치마크 테스트 방식”으로 진행됐다고 설명했다.
LG AI연구원 관계자는 “엑사원 4.0.1은 일반·추론 통합모델로, 추론 기능을 작동시키기 위해서는 특정 프롬프트가 필요한데 이를 고려하지 않은 것으로 보인다”며 “(서강대 시험은) 모델 특성을 고려하지 않고 측정했기 때문에 점수가 낮게 나왔던 것으로 보인다”고 설명했다.
홍콩 민주진영 최대 정당인 민주당이 31년 만에 해산했다. 이는 2047년까지 홍콩의 자치권을 보장한 ‘일국양제’(한 국가 두 체제) 약화와 중국 중앙정부의 통치 강화 흐름을 보여주는 사례로 평가된다.
15일 홍콩 매체 홍콩01 등은 전날 오후 민주당이 특별 당원대회를 열어 해산 및 청산 안건을 표결로 통과시켰다고 보도했다. 표결 결과는 찬성 117표, 기권 4표, 반대 0표였다. 회의 직후 로긴헤이 당 주석은 기자회견을 열고 “민주당은 오늘부로 활동을 종료한다”고 공식 선언했다.
로 주석은 “30년 동안 우리는 홍콩 사회의 거대한 변화를 직접 겪고 지켜봤다”며 “시대의 변화 속에서 민주당이 마침표를 찍을 수밖에 없다”고 말했다. 이날 결정으로 홍콩에서 가장 오래된 민주진영 온건파 정당은 역사 속으로 사라지게 됐다.
당 원로들은 복잡한 심경을 드러냈다. 창당 멤버이자 전 입법회(국회 격) 의원인 리와밍은 “이런 날이 올 줄은 상상하지 못했다”며 눈물을 보였다. 그는 “민주당의 영향력이 수십년간 약화해왔고 현실적으로 더는 존재 가치를 찾기 어려운 상황이었다”고 말했다.
민주당은 영국 통치 시기였던 1994년에 1989년 톈안먼 민주화운동을 계기로 설립된 홍콩민주동맹과 회점이 합병해 출범했다. 1997년 홍콩의 중국 반환 전후로 열린 선거에서 입법회 최대 의석을 차지하는 등 2000년대 중반까지 홍콩 민주정치의 핵심축을 이뤘다.
2020년 홍콩 국가보안법 시행 이후 상황이 급변했다. 민주당 소속 인사 다수가 민주파 예비선거 사건과 국가보안법 위반 혐의로 체포됐다. 홍콩 선거제도 개편과 ‘애국자만 출마’ 원칙 도입으로 민주파의 제도권 정치 참여는 사실상 차단됐다.
로 주석은 해산 배경을 묻는 기자들의 질문에 “더는 말할 수 없다”고만 답했다. 앞서 로이터통신은 민주당 간부 여러 명이 정당을 해산하지 않으면 체포 가능성을 포함한 심각한 결과가 따를 수 있다는 경고를 중국 당국 또는 관련 인사에게 받았다고 보도한 바 있다.
이날 홍콩 법원에선 반중 언론인인 지미 라이 전 빈과일보 사주가 보안법 위반 혐의로 유죄 선고를 받았다. 홍콩 서구룡치안법원은 라이에 대한 선고공판에서 라이가 중국공산당 몰락을 목표로 외국 세력과 공모했으며 선동적 출판물을 발행했다고 판시했다. 형량 선고는 다음달 이후 이뤄지며 종신형까지 가능하다는 예측이 나온다. 주심 에스더 토 판사는 판결문에서 “라이가 중국에 대해 증오와 원한을 품고 있었다는 점에는 의심의 여지가 없다”고 밝혔다.
배심원 없이 진행된 라이 재판은 홍콩의 언론 자유와 사법 독립 수준을 보여주는 바로미터로 미국과 영국, 유럽 등 서방의 주목을 받아왔다. 인권단체 국제앰네스티는 이날 판결에 대해 “매우 실망스럽다”며 “이는 홍콩 언론 자유의 종말을 알리는 신호탄과 같다”고 밝혔다.