폰테크당일 [AI에 ‘교육’을 먹이면]‘27초’ 만에 24명 글쓰기 답안 채점…“점수 매번 달라 정확도 떨어져” > 자유게시판

소통공간

폰테크당일 [AI에 ‘교육’을 먹이면]‘27초’ 만에 24명 글쓰기 답안 채점…“점수 매번 달라 정확도 떨어져”

이길중
쪽지보내기 메일보내기 자기소개 아이디로 검색 전체게시물

25-12-27
3 회

폰테크당일 초등학교 4학년 학생 24명의 글쓰기 답안 채점이 27초 만에 끝났다. 학생들이 ‘어린이날 기념 학급 행사로 무엇을 하면 좋을까’라는 주제로 쓴 답안의 초벌 채점을 인공지능(AI)은 1분도 안 걸려 해냈다. AI는 675자 안팎의 학생별 피드백까지 작성해줬다. 경기도교육청 ‘하이러닝’에 탑재된 AI 평가 도구에 학생들의 답안을 먹였더니 나온 결과였다. 경기 남양주시 초등학교 4학년 담임인 김승혁 교사는 “평가 시간을 줄인 만큼, AI가 정리한 피드백을 보고 다음 수업 준비에 공을 들일 수 있다”고 했다.
AI는 27초 만에 채점 결과를 내놓지만, AI에 평가 기준을 제시하고 점수에 최종 책임을 지는 이는 여전히 교사이다. 하이러닝이 내놓은 초벌 점수는 격자무늬와 괄호로 표시됐다. 교사가 최종 ‘클릭’을 해야 점수로 기입된다. 경기 안양시 고등학교의 국어과 A교사는 “100명씩 수행평가를 채점하는데 대입과 연동되다보니 학생·학부모·교사 모두 채점 결과에 민감한 편”이라며 “AI를 사용하나 안 하나 들어가는 노동량은 똑같다”고 했다.
교육 분야에서 AI 사용이 확산하는 것은 학생들의 과제와 학습에 국한되지 않는다. 시도교육청들은 AI를 평가 도구로 활용하는 것에 빠르게 움직이고 있다. 올해 2학기 경기교육청을 시작으로 서울·충남·대구·광주 교육청이 AI 평가 도구를 도입하려 준비 중이다. 민간 에듀테크(학습지회사)의 채점 서비스를 유료로 이용해본 교사도 적지 않다.
경향신문은 교육청과 에듀테크의 AI 평가 도구를 이용해본 초중고 교사 15명의 얘기를 들었다. ‘생산성 향상’을 체감하는 정도는 엇갈렸다. “(개별) 피드백을 줄 수 있다”는 점은 장점으로 꼽혔지만, 교사가 직접 채점할 때보다 오히려 공력이 더 든다고 토로하는 이들도 적지 않았다. 평가자로서 AI의 역할을 어디까지 허용할지부터 윤리, 정보보호에 이르기까지 사회적 합의가 필요하다고 했다.
AI로 업무 경감? AI가 먹어버리는 업무는
AI 평가는 서·논술형 평가 확대 기조를 타고 급부상했다. 내신에서 논술 문항이 많아진 만큼 교사가 평가에 할애하는 시간과 부담이 커졌기 때문이다. 교육당국은 AI 평가 도구를 업무 경감 수단으로 내세웠다. 평가 노동이 주는 만큼 그 시간에 다른 업무를 함으로써 교사의 생산성이 향상된다는 논리다. 차정인 국가교육위원장은 지난 12일 대통령 업무보고에서 “(서·논술형 평가의) 답은 AI에서 가져올 수 있다”고 했다. 정근식 서울시교육감도 학습자 주도의 서·논술형 평가를 확대하기 위해 AI 자동채점 모델을 개발한다고 했다.
다과목, 다학급 담당 교사들은 평가 생산성이 높아졌다고 했다. 경기 고양시 중학교의 국어과 B교사는 이번 학기 ‘주장하는 글쓰기’ 수행평가에서 AI 평가 도구를 활용했다. 이전과 가장 큰 차이는 피드백을 여러 번 줄 수 있다는 점이었다. 4개 학급 학생들이 손으로 쓴 초고를 스캔해 우선 피드백을 줬고, 고쳐쓰기 수업을 진행한 뒤 다시 한번 피드백을 줬다. B교사는 “기존에 한 학생에게 들이던 시간이 1시간이라면 AI 도구를 썼을 때 10~20분으로 줄었다”고 했다.
반대로 교사의 머릿속 채점 기준을 AI에게 ‘먹이는’ 과정에 손이 많이 간다는 이도 있었다. 고교 국어과 A교사는 “모든 과제물을 스캔하는 과정부터 거치고 교육과정에 맞춰 채점 기준을 넣어야 한다”고 했다. 요약, 논리성, 독창성, 주장과 근거의 일목요연함 등 서론·본론·결론마다 채점 요소를 넣어주는 작업도 이어진다. 그는 “급간의 개수를 넣고 배점을 맞추고 다시 조정하는 작업이 번거로워 주변에서 많이들 안 쓴다”며 “평가 전문성이 있는 분들은 AI가 총 소요 시간을 줄여준다고 생각하지 않는다”고 했다.
생활기록부 작성에 AI를 활용하는 경우도 많다. 생기부는 대학 입시에 영향을 미치는 자료로, 교사들의 업무 부담도 크다. AI로 생기부 초안을 만든 뒤 교사가 최종 검토하는 식으로 활용하는 경우도 있다. 유료 서비스를 사용해본 중학교 영어 담당 C교사는 “무에서 유를 창조할 때보다 힘이 훨씬 덜 들었다”며 “반복되는 표현을 사용하지 않기 위해 작은 표현 하나 고민하는 시간이 줄고 생각할 수 있는 한계치가 확장되는 느낌이었다”고 했다.
교사 ‘업무 경감’ 내세운 AI생기부·서논술형 평가에 활용“사용하든 말든 노동량 동일”
AI 채점 일치도 높아지면교직의 평가권 빼앗길 우려“보조 범위 구체적 합의해야”
먹일 때마다 점수가 달라요
평가의 보조 도구로 AI를 활용하는 경우는 많지만, AI를 신뢰하는 교사는 많지 않았다. 하이러닝이나 유료 AI 도구를 몇번 사용해본 뒤 “평가에는 쓰지 못하겠다”고 말한 교사가 여럿 있었다. 고교 16년차 D교사는 “같은 학생의 답안을, 동일 채점 요소를 넣고 돌려도 돌릴 때마다 점수가 다르게 나온다”고 했다.
D교사가 사용한 유료 서비스는 경기교육청 하이러닝에 도입된 E사 모델로, 언어모델의 생성형 AI를 기반으로 한다. AI가 학생 답안을 이해하고 채점하는 것이 아니라, 답안 내용이나 구조가 채점 기준과 유사하다면 확률상 그럴듯한 평가를 하는 식이다. 하이러닝에서 같은 답안을 먹여 채점해봐도 차이가 났다. 고교 국어 교사 중에는 E사 서비스에 대해 “상·하위권 학생 채점은 비교적 정확하지만 중위권 학생 평가 정확도가 떨어져 평가 설계가 고민된다”고 한 이들도 있었다.
이 때문에 AI 도구를 쓸 때 교사 개인이 평가할 때보다 채점 기준이 훨씬 구체적이고 명확해야 했고, ‘AI가 인식할 수 있는가’를 늘 염두에 둬야 했다. 가령 AI에게 ‘다양한 접속사 표현을 적절하게 사용했는지’ 평가하게 하려면 교사가 생각하는 ‘다양함’과 ‘적절함’을 어떻게 정량적으로 수치화해 제시할지 정해야 하는 식이다. 단순히 ‘결론적으로’라는 표현이 들어간다고 해서 AI 평가 도구가 ‘결론을 충실히 작성했다’고 판단하지 않도록 세심한 평가 설계도 필요했다.
AI 평가 도구를 써본 교사들은 장단점을 분류하기 시작했다. 이들은 AI 채점을 믿을 수 있는 영역과 그렇지 않은 부분으로 나눴다. 국어에선 AI가 채점 요소에 기재된 키워드를 학생의 문장·문단에서 찾아내는 것은 잘했지만, 글을 총체적으로 읽고 평가하는 것은 맞지 않다고 했다.
수학은 아직 AI 채점 도입이 어렵다. 제곱을 표기한 손글씨도 인식하지 못한다. 영어는 AI가 어법을 엄격하게 채점하지만 문장 표현이나 부사 활용 등은 너그럽게 채점한다는 평가를 받는다.
AI가 교사의 평가권을 먹어버릴까?
지난달 경기교육청의 하이러닝 AI 평가 홍보 영상은 ‘교사 조롱’이 담겼다는 비판 속에 논란이 됐다. 영상 속 교사는 “AI가 채점 도와준 거니까 너희들 할 말 없지?”라고 했다. AI 채점에는 이의 제기할 필요가 없다는 의미가 담겼다.
교육당국은 AI 평가 도구가 ‘주관이 배제돼 있으며 공정하고 일관성을 유지한다’(경기교육청 하이러닝 사업계획서)고 주장한다. 학생에 대한 교사의 주관적 평가나, 채점 순서에 따른 유불리가 배제되기 때문에 더 객관적일 수 있다는 것이다.
문제는 ‘AI가 더 믿을 만하다’는 전제가 깔리는 순간 교사의 평가와 AI의 평가 간 구분이 모호해진다는 점이다. ‘AI의 채점 일치도가 향상된다면’ 향후 교사의 평가권이 AI에 먹힐 수도 있지 않을까 하는 우려가 나왔다. 경기도 고교 17년차 국어 담당 F교사는 “이미 평가권이 어느 정도 침범됐다고 체감한다”고 했다. F교사는 “절대평가 과목이거나 교사가 세운 평가 기준과 맞다는 신뢰도가 쌓인다면 AI 도구로 (교사의 평가를) 대체하는 경향이 충분히 생길 것”이라며 “AI 도구는 ‘양날의 검’”이라고 했다. 업무 부담을 나눌 수 있는 보조 도구가 생기는 것은 반길 일이지만, 교사의 평가 권한이 점점 줄어든다고 느껴질 때는 조심스럽다는 것이다.
교육당국은 ‘AI는 어디까지나 교사의 보조 수단’이라고 했다. 서울교육청 관계자는 “AI가 발전해서 인간처럼 채점해준다고 하더라도 교사마다, 수업마다 기준이 있기 때문에 교사가 기준을 변경해갈 수 있을 것”이라며 최종 평가권은 교사에게 있다고 했다. 실제 경기·서울 교육청의 AI 평가 도구 모두 교사가 최종 확인해야만 넘어가는 식으로 기능이 구현됐다.
현장에선 ‘AI 보조’의 의미나, 어디까지 ‘AI가 보조할 수 있는지’ 정의가 교사마다 달랐다. 충남의 초등학교 송근상 교사는 AI 채점은 나이스(교육행정정보시스템)에 기재되지 않는 수행평가에만 참고용으로 쓴다고 했다. 반면 경기도 초등학교 G교사는 AI 평가 점수를 활용할뿐더러 AI의 피드백 내용을 그대로 복사해 학생과 학부모에게 제공한다고 했다. 송 교사는 “AI의 평가를 참고해 쓴다는 것의 기준이 사회적으로 합의되지 않은 모호한 부분”이라며 “교육부가 AI 교육을 얘기하지만 어떤 주체와 어떤 식으로 협의된 내용인지는 알 수 없다”고 했다.
합의되지 않은 것은 AI의 보조 범위만이 아니다. 교사들은 AI를 활용하는 방법부터 윤리, 정보보호, 책임 소재까지 모두 앞으로 정해가야 할 쟁점이라고 했다. 올해 하반기 서울의 한 고교에선 한 교사가 지필고사 문항을 사설 AI 평가 도구를 이용해 검토한 것이 알려졌다. 시험 문제를 촬영해 사설 AI 평가 도구에 넣어 문제 유출 우려가 제기됐다. AI 도구를 이용했는데 문제가 시험 전에 새어나간다면 누구 책임일까. 새로운 도구의 등장에 교사들의 활용 수준과 철학을 시험에 들게 할 예외적 상황은 언제든 발생할 수 있다.
<시리즈 끝>
<김송이·김원진 기자 songyi@kyunghyang.com
외국보다 평균 39% 비싸게 팔아일부 업체 과점 구조 지적 목소리여성단체“제도 논의 시작돼야”
이재명 대통령이 ‘생리대 가격’을 언급한 것을 계기로 공공재 논의로 확장되고 있다. 여성의 일상과 건강에 필수적인 생리용품을 개인 소비 영역에만 둘 것이 아니라, 보편적 인권 보장을 위한 필수재로 봐야 한다는 것이다.
이 대통령은 지난 19일 공정거래위원회와 성평등가족부 업무보고에서 “생리대 가격이 유독 비싸다”며 실태 파악을 주문했다. 이후 SNS에서 ‘여성이 평생 생리용품에 쓰는 비용이 660여만원에 달한다’는 게시물이 많은 공감을 받았다.
한국의 생리대 가격은 경제협력개발기구(OECD) 국가 중 최고 수준이다. 여성환경연대가 국내 생리대 513종과 일본·싱가포르·영국·프랑스·독일·이탈리아·스페인·네덜란드·캐나다·호주·미국의 생리대 69종을 조사한 결과, 국내 생리대 개당 평균 가격은 해외보다 39.55%(195.56원) 비싼 것으로 나타났다.
먼저 과점 구조가 지목된다. 국내 생리용품 시장은 유한킴벌리와 LG유니참이 양분하고 있다. 이 구조에서 업체들은 광고비와 각종 인증마크 획득에 투입한 비용을 가격에 반영한다. 2017년 ‘일회용 생리대 부작용’ 논란 이후 안전성에 대한 소비자 요구가 높아지며 상대적으로 비싼 ‘유기농 생리대’ 시장이 크게 성장한 것도 영향을 미쳤다.
A씨(28)는 “일본 여행을 갔다가 생리대 가격이 너무 저렴해 충격을 받았다”며 “일본 브랜드 중형 생리대는 장당 159원인데, 국내 브랜드는 378원 수준이었다”고 말했다. 그는 “관세를 포함해도 국내보다 훨씬 싸 4년 넘게 직구를 하고 있다”고 했다. 박모씨(27)도 “한국 생리대가 너무 비싸 아이허브에서 외국 탐폰을 산 지 10년이 넘었다”고 했다.
생리대 가격은 빈곤·소외계층에 큰 부담이 된다. 정부가 9~24세 저소득층 여성에게 월 1만4000원의 생리대 바우처와 현물 지원을 하고 있지만, 대상과 금액이 제한적이다. 여성환경연대가 2021년 11~24세 여성 1234명을 조사한 결과, 76.9%는 생리용품 가격이 “매우 비싸다”고 했다. “친구에게 빌리거나”(23.4%), “휴지·수건으로 대체한”(12%) 사람도 많았다. 안현진 여성환경연대 여성건강팀장은 “가격 안정과 무상 제공 확대, 월경권 보장을 위한 제도적 논의가 본격화돼야 한다”며 “대형 제조사 몇곳이 시장 대부분을 차지하는 독과점 구조에 대한 공적 개입과 안전성 기준 강화가 필요하다”고 했다.
더불어민주당이 22일 ‘정치권의 통일교 금품수수 의혹 특별검사’ 설치에 찬성 의견을 밝히면서 이 사건을 수사해오던 경찰의 발등에 불이 떨어졌다. 경찰은 수사력을 입증하기 위해 총력전에 나선 분위기다. 다만 전재수 민주당 의원(전 해양수산부 장관·사진) 등 일부 피의자의 범죄 혐의 공소시효가 임박한 데다, 물적 증거가 명확하지 않고 진술증거가 대부분이라 성과를 내기가 쉽지 않을 수 있다는 전망도 나온다.
경찰청 국가수사본부 특별전담수사팀은 이번 사건에 사활을 걸고 총력 수사를 펴고 있다. 박성주 국가수사본부장은 이날 정례기자회견에서 “공소시효가 있어 사건을 받은 후 하루도 쉬지 않고 수사 중”이라며 “최대한 신속하게 수사를 하고 있다”고 밝혔다.
경찰에선 이번 수사가 내년 검찰개혁 시행을 앞두고 경찰의 수사력을 입증할 기회로 인식하는 분위기가 읽힌다. 12·3 불법계엄 이후 경찰 수장이 탄핵되는 등 조직이 상처를 입었고, 검찰과 고위공직자범죄수사처, 3대 특검에 밀려 주요 사건에서 이렇다 할 성과를 내지 못했기 때문이다. 경찰은 민중기 특별검사로부터 사건을 이첩받아 지난 10일 수사팀을 출범시킨 뒤 전 의원을 비롯해 피의자와 참고인 등 8명을 조사했다. 전방위 압수수색도 했다. 국수본 중대범죄수사과가 중심이 돼 꾸린 전담팀 규모도 기존 23명에서 30명으로 확대했다.
문제는 이날 정치권에서 특검 출범 가능성이 커지면서 시간이 촉박해졌다는 점이다. 특검 출범까지 통상 한두 달 걸린다는 점을 고려하면 경찰에 남은 시간은 내년 초까지다. 앞서 3대 특검은 국회에서 특검법안이 통과된 뒤 2주 안팎 이후 수사를 개시했다.
무엇보다 전 의원 등 일부 피의자의 공소시효가 얼마 남지 않은 점이 최대 난관이다. 전 의원은 2018년 8월쯤 통일교로부터 2000만원의 현금과 1000만원 상당의 시계 1점을 받은 혐의로 입건돼 있다. 그의 혐의 중 정치자금법 위반 공소시효는 범죄행위가 종료된 날로부터 7년이다. 이 때문에 이미 공소시효가 만료된 것 아니냐는 지적이 나온다. 다만 직무상 대가성이 있는 3000만원 이상 금품을 받았다면 뇌물 혐의가 적용돼 시효는 최대 15년으로 길어진다. 2018년 이후의 범행이 밝혀지면 공소시효의 기산점이 달라질 수 있다. 결국 금품 전달이 사실이라면 언제, 얼마나 전달됐고 직무 대가성이 있는지를 밝혀내는 게 관건이다.
물적 증거보다는 윤영호 전 통일교 세계본부장의 폭로와 진술 등에 의존해 수사하는 점도 어려움을 더한다. 시간이 오래돼 물증이 명확지 않은 데다 전 의원 등 금품을 받았다는 사람들도 완강하게 부인하고 윤 전 본부장 진술도 오락가락하면서 수사가 쉽지 않을 것이라는 전망이 나온다. 경찰 내에는 ‘특검에 줄 때 주더라도 최대한 밝혀내야 한다’는 분위기가 강하다.