법학 교수들이 AI 답변을 더 자주 고른 이유

법학 교수들이 AI 답변을 더 자주 고른 이유

AI 뉴스 썸네일

법학 교육처럼 정답 하나로 끝나지 않는 분야에서도 LLM 기반 AI 답변 품질을 다시 봐야 할 연구가 나왔어요. Stanford Law School 연구진은 미국 로스쿨 교수 16명이 만든 계약법 질문과 답변을 바탕으로 블라인드 평가를 진행했어요. 교수들은 동료 교수 답변보다 AI 답변을 더 자주 골랐고, 학생에게 해로울 수 있다고 표시한 비율도 AI 모델 쪽이 더 낮았어요.

핵심 요약

구분	핵심	왜 볼 만한가요
연구 방식	법학 교수 16명이 계약법 질문 40개와 직접 답변을 만들고, 출처를 모르는 상태에서 AI 답변과 비교했어요	단순 벤치마크가 아니라 실제 교육 현장에서 나올 법한 질문을 썼어요
결과	약 3,000건 비교에서 AI 답변은 교수 답변과의 맞대결에서 75% 승률을 기록했어요	AI가 객관식 문제를 잘 푼다는 이야기를 넘어 설명형 튜터 역할까지 다뤘어요
위험 평가	교수들은 AI 답변을 교육적으로 해롭다고 표시한 비율을 3.5%로 봤고, 동료 교수 답변은 12%였어요	AI 도입 논의에서 품질과 위험을 같이 볼 수 있는 숫자가 생겼어요
한계	연구진은 AI 튜터 전면 도입을 주장하지 않아요	학생 학습 효과, 과의존, 환각 대응 같은 운영 설계는 아직 따로 검증해야 해요

1. 법학 교수들이 AI 답변을 더 자주 골랐어요

Stanford Law School의 Julian Nyarko 교수가 이끈 연구는 AI가 계약법 수업에서 학생 질문에 답하는 튜터 역할을 할 수 있는지 봤어요. 참가 교수 16명은 학생이 수업 뒤나 오피스아워에서 물을 만한 질문 40개를 만들고 직접 답변했어요. 이후 답변 출처를 숨긴 상태에서 AI 답변과 다른 교수의 답변을 비교했어요. 그 결과 AI 답변은 약 3,000건의 익명 비교에서 75% 승률을 보였어요. Stanford Law 발표는 이 결과를 법학 교육에서 AI 보조 도구를 다시 논의할 근거로 소개했어요.

이번 결과가 흥미로운 이유는 법학 문제가 단순 암기형 시험과 다르기 때문이에요. 법률 쟁점에는 서로 다른 주장이 동시에 설득력을 가질 때가 많아요. 답변자는 조항을 외우는 데서 끝나지 않고, 사실관계에 법리를 적용하고 학생이 어디서 헷갈릴지 설명해야 해요. 연구진은 그래서 법학을 골랐다고 설명해요. 판단, 모호성, 논증 구조가 필요한 영역에서 AI 답변이 어느 정도 받아들여지는지 보려 한 거예요. 연구 페이지도 논문 제목을 "Law Professors Prefer AI Over Peer Answers"로 두고, 동료 답변과의 직접 비교를 핵심 설계로 잡았어요.

교수들이 AI 답변을 더 안전하게 본 점도 눈에 띄어요. AI 답변을 교육적으로 해롭다고 표시한 비율은 3.5%였고, 동료 교수 답변은 12%였어요. 이 숫자만으로 AI가 늘 더 좋은 교사라고 말할 수는 없어요. 다만 교수들이 실제로 비교했을 때, AI 답변이 학생을 혼란스럽게 만들 위험이 더 낮다고 본 사례가 적지 않았다는 뜻이에요. 연구진은 답변 길이와 구조를 인간 답변에 맞추고 여러 평가 방식을 썼다고 밝혔어요. GeekNews 요약도 이 지점을 핵심 결과로 짚었어요.

왜 중요한가요

이 연구는 AI 교육 도구 논의를 "쓸 수 있는지 아닌지"보다 "어떤 조건에서 쓰면 도움이 되나" 쪽으로 옮겨요. 법학 수업은 학생이 스스로 논리를 세우는 과정이 중요해요. 그래서 AI 답변이 깔끔하다는 이유만으로 바로 튜터를 맡기기는 어려워요. 반대로 교실 밖 질문에 빠르게 초안을 주고, 교수나 조교가 검토할 수 있는 보조 레이어로 쓰는 방식은 더 현실적으로 보여요. Stanford Law 발표도 AI 튜터를 전면 도입하자는 결론이 아니라, 책임 있게 배치하는 방법을 논의해야 한다는 쪽에 가까워요. Stanford Law 발표

AI 제품을 만드는 팀에도 메시지가 있어요. 범용 챗봇을 그대로 붙이는 것보다 과목, 질문 유형, 답변 길이, 근거 제시 방식, 위험 표시 기준을 좁혀야 해요. 이번 연구는 계약법이라는 범위를 정하고, 교수들이 만든 질문으로 답변을 비교했어요. 제품으로 옮기려면 학생이 AI 답변을 그대로 믿지 않도록 출처, 반례, 추가 질문 경로를 함께 설계해야 해요. 특히 법률과 의료처럼 판단 비용이 큰 분야에서는 "답변이 그럴듯한가"보다 "잘못 이해했을 때 누가 잡아내나"가 더 중요해요. 이 차이를 설계에 반영해야 실제 교육 도구로 남을 수 있어요. 연구 페이지

교수와 학교로서는 금지와 방치 사이의 선택지가 넓어졌어요. AI 사용을 전부 막으면 학생들은 바깥 도구를 몰래 쓸 수 있어요. 아무 기준 없이 허용하면 과의존과 환각 문제가 커져요. 이번 연구처럼 질문 유형과 평가 기준을 나누면, 어디까지는 AI가 도와도 되고 어디부터는 사람이 개입해야 하는지 더 구체적으로 정할 수 있어요. 법학 교육뿐 아니라 컨설팅, 회계, 정책 교육처럼 설명과 판단이 섞인 분야에도 비슷한 실험이 이어질 수 있어요.

참고 자료

1. Stanford Law 연구에서 AI가 법학 교수보다 더 나은 성과를 보임 — GeekNews
2. AI Outperforms Law Professors in Stanford Law Study — Stanford Law School
3. Law Professors Prefer AI Over Peer Answers — Stanford Law School