변호사마케팅 [단독]‘백지’ 제출 답안지에도 ‘점수’ 준 AI, 채점 기준 어떻길래··· > 자유게시판

소통공간

변호사마케팅 [단독]‘백지’ 제출 답안지에도 ‘점수’ 준 AI, 채점 기준 어떻길래···

이길중
쪽지보내기 메일보내기 자기소개 아이디로 검색 전체게시물

26-01-09
0 회

변호사마케팅 교육청의 인공지능(AI) 평가 도구를 이용해 본 교사들이 AI에 구체적으로 표현을 정의해주고, 정량화된 기준을 제공할수록 채점의 정확도가 높았다고 평가한 것으로 확인됐다. 서·논술형 등에 AI 평가 도입이 확산되는 상황이어서, AI 평가 기준을 만드는 설계자로서 교사의 역량을 키울 필요가 있다는 의견도 나왔다.
8일 경향신문이 확보한 5개 경기도 학교의 AI서논술형평가 시범운영연구회 보고서를 보면, 잘못된 정보를 그럴싸한 사실인 것처럼 생성하는 AI 환각으로 인한 과대·과소평가가 발생한 것으로 나타났다. 전반적으로 채점기준표를 정량화해서 제시할수록 교사 채점 결과와 일치도가 높아졌고, 서·논술형 평가에서는 AI 평가를 신뢰하기 어려운 사례가 발견됐다.
청북고 연구에선 학생이 백지 답안을 제출했는데도 AI가 점수를 준 사례가 확인됐다. 정천중 수행평가에선 학생이 과제 조건 중 하나인 제시문을 활용하지 않았는데도 AI가 글의 분량만 보고 높은 점수를 주거나, 과학 개념을 혼동했는데도 유사 표현으로 인식해 정답으로 처리했다.
AI가 답안을 과소평가하는 문제도 발견됐다. 불필요한 설명 없이 간결하게 쓴 답에 대해 AI가 낮게 평가하거나, 도덕 수행평가 중 학생이 새로운 대안을 제시했지만 평가 기준 예시에 없다는 이유로 AI가 인정하지 않기도 했다.
교사들은 지난해 과목별 수행평가와 지필고사에서 ‘하이러닝’ AI 채점 도구를 활용해 본 뒤 연구보고서를 작성했다. 보고서에는 평가 기준을 수치적 기준 등으로 구체화해야 한다는 제언이 담겼다.
교사들은 ‘설명하다’ ‘제안한다’ 등의 표현을 구체적으로 정의할수록 AI 채점의 일치도가 높아진다고 평가했다. 예를 들어 ‘설명하다’라는 기준을 ‘개념을 정의하고 원리·이유를 구체적 사례와 함께 서술하다’ 등으로 입력해야 정확하게 평가했다. ‘충분히 제시함’ ‘구체적으로 작성함’ 등의 추상적인 부사어는 ‘근거를 3가지 이상 제시함’ 같은 수치적 기준으로 대신해야 했다.
교사가 꼽은 AI 채점 도구의 강점은 학생들에게 개별화된 피드백을 줄 수 있다는 점이었다. 오남고 면담에 참여한 교사들은 “채점의 효율성 향상, 평가 결과 공정성 제고, 개별 피드백 제공의 용이성 측면에서 고루 만족도가 높게 나타났다”고 했다. 학생들도 보완점 피드백을 구체적으로 받을 수 있는 점을 긍정적으로 평가했다.
현재 AI 채점 도구의 수준으로는 교사의 업무 경감에 큰 도움이 되지는 않는 것으로 조사됐다. 정천중 교사 48명 중 하이러닝을 사용해 본 인원은 64.6%(31명)이었다. 시간 부족과 필요성을 느끼지 못했다는 답변이 각각 35.5%를 차지했다. 실제 사용해 본 교사 17명 중 ‘채점 시간과 업무 부담이 감소한다’에 동의한 비율은 29.4%에 그쳤다. 평가 기준을 설계하고 결과를 검토하기까지 교사의 노동력이 많이 들기 때문으로 풀이된다.
연구에 참여한 교사들은 교사의 평가 전문성이 강화될수록 AI 채점 도구의 신뢰도도 높아진다고 분석했다. 전문성을 키울 수 있는 교원 연수가 확대돼야 한다고도 했다. 운중고 연구회는 “교원 연수의 방향을 단순 기능 습득에서 ‘평가 설계자’로서 전문성을 기르는 심화 과정으로 전환해야 한다”고 했다.
정부는 AI행동계획 가안에서 올해 1분기부터 AI 채점 지원 시스템 구축을 지원하라고 권고했다. AI 채점 지원을 안정적으로 도입하기 위해선 교사 전문성 강화가 우선이라는 시각도 있다. 17년차 고등학교 국어교사는 “서술형 평가에서 공정하면서도 사고력을 적절히 측정하는 문제란 무엇인지 어렵다는 의견도 많다”며 “AI 채점을 도입한다고 이러한 어려움이 저절로 해소되진 않는다. AI를 활용하는 교사의 평가 역량을 키우기 위한 고민과 좋은 평가 기준에 대한 논의가 먼저 이뤄져야 한다”고 했다.
올겨울도 전북 고창군 흥덕면의 낡은 우체통은 조용히 ‘사랑’을 품었다. 누군가의 이름도 얼굴도 남지 않았지만 그 마음만큼은 7년째 한결같다. 해마다 연초가 되면 이 우체통을 찾는 익명의 기부자는 그렇게 흥덕면의 겨울을 묵묵히 데우고 있다.
8일 흥덕우체국 앞 우체통에서 ‘흥덕면장님’이라고 적힌 흰 봉투 하나가 발견됐다. 우체국 직원이 수거한 봉투 안에는 5만원권 54장과 1만원권 1장 등 모두 271만원의 현금과 짧은 손편지가 들어 있었다. 봉투에는 보내는 이의 이름도 주소도 없었다.
편지는 단출했다. “흥덕면 가족 중에 힘들고 어려운 분께 전달되었으면 고맙겠습니다.” 비뚤비뚤한 글씨에는 군더더기 없는 마음만 담겨 있었다.
이 ‘얼굴 없는 이웃’의 나눔은 올해로 일곱 번째다. 고창군은 기부 시기와 방식, 편지 내용 등을 종합해 2020년부터 같은 인물이 기탁을 이어온 것으로 보고 있다. 특히 매번 5만원권 묶음 속에 1만원권 한 장이 빠지지 않고 들어 있는 점은 이 기부자만의 작은 흔적처럼 남아 있다.
고창군 관계자는 “우체통에 돈을 넣으며 우편료 명목으로 1만원을 더 보탠 것으로 보인다”며 “받는 이뿐 아니라 주는 과정까지 헤아린 마음에 직원들도 매번 숙연해진다”고 말했다.
이 우체통을 통해 전달된 성금은 7년간 모두 1397만원에 이른다. 기탁금은 흥덕면 내 형편이 어려운 주민과 복지 사각지대에 놓인 이웃들을 위해 사용된다.
류정선 흥덕면장은 “경기 침체로 모두가 버거운 시기에 7년이라는 긴 시간 동안 변함없이 마음을 나눠주신 분께 깊은 존경과 감사를 드린다”며 “그 마음이 가장 필요한 곳에 닿도록 책임 있게 살피겠다”고 말했다.