대학을 위한 확장 가능한 구술시험 플랫폼
AI가 흉내 낼 수 없는 평가 방식인 짧고 구조화된 구술시험(viva)을 학과 단위로 대규모 운영할 수 있게 해주는 소프트웨어와 워크플로입니다.
Claude Code, Cursor 등 코딩 에이전트에 바로 붙여 넣을 수 있는 브리프(영어)입니다.
종합6.6/10
고통7
지불 의향6
타이밍8
시장 공백7
해자6
실현 가능성6
찬성
- 누가 돈을 내나
- STEM 프로그램 규모가 큰 대학의 학과장과 교수학습센터로, 학과당 연 15,000~60,000달러를 학사 공정성 또는 교육 예산에서 지출합니다.
- 사람들이 한 말 · 4
- 과제 점수는 0으로 처리하고, 서면 작업 부정행위가 너무 쉬워졌으므로 시험과 구술시험으로 숙련도를 검증해야 한다고 주장합니다. 댓글 읽기 ↗
- 교사가 무작위로 학생을 지목해 제출한 과제를 학급 앞에서 설명하거나 재현하게 하여, 과제를 직접 하지 않은 학생을 가려내도록 제안합니다. 댓글 읽기 ↗
- 신뢰할 수 있는 평가 수단으로 교실 내 서면 또는 구술 시험으로 돌아가는 것을 권장합니다. 댓글 읽기 ↗
- 겸임교수는 지금 가르친다면 대면 시험과 어쩌면 면접만으로 채점하겠다고 말하며, AI가 점수를 부풀릴 여지를 남기지 않겠다고 밝혔습니다. 댓글 읽기 ↗
토론 내용을 요약한 것입니다. 원래 댓글은 링크에서 볼 수 있습니다.
- 경쟁사와 빈틈
이 논의에서 AI에 강한 평가 방식으로 꼽히는 구술시험을 대규모로 운영할 제품이 아직 없습니다. 수백 명의 10분짜리 구술시험 일정 관리, 학생별 과제 기반 질문 변형 생성, 녹화, 루브릭 채점, 제출한 과제와 구술 답변 사이의 불일치 탐지가 필요하지만, 기존 솔루션은 모두 서면 제출물에 초점을 맞추고 있습니다.
- 왜 지금인가
- 최근 12개월 사이 최신 모델이 등장하면서 take-home 서면 평가는 검증이 어려워졌습니다. 필즈상 수상자가 과제 채점을 공개적으로 포기한 것이 그 신호입니다. 기사에 따르면 대학들은 Turnitin, Rumi 같은 탐지 도구가 불충분하다는 것을 확인했고, 이제 탐지가 아닌 구조적 대안이 필요합니다.
- 해자 · 6/10
- 과목별 루브릭과 질문 변형 뱅크는 시간이 지나며 쌓이고, 녹화 데이터는 채점 일관성 데이터가 됩니다. LMS 및 교무처 시스템과의 연동은 전환 비용을 만들고, 기관 영업을 통해 쌓인 레퍼런스도 진입장벽이 됩니다.
반대
- 레드팀
- 대학들이 AI 대응 평가로 수렴하고 있는 방식이 바로 구술시험이며, 현재 이를 대규모로 운영하는 제품(일정 관리, 질문 변형 생성, 채점)은 기존 업체에 없습니다. 기관 영업 주기는 매우 길지만 구조적 공백은 실재합니다.
- 실패한다면 그 이유
- 대학은 예산 제약이 크고 의사결정이 느린 고객입니다. 기사에서도 시스템이 고장 나 있어도 수년간 바뀌지 않을 수 있다고 언급합니다.
시작
- 첫 세 단계
- 과목의 과제 세트를 학생별 구술 후속 질문으로 바꾸는 구술시험 일정 관리 및 질문 생성기를 만들고, 녹화와 루브릭 채점 기능을 포함합니다.
- 한 수학 또는 CS 학과(학생 50~200명)와 유료 파일럿을 진행하여, 10분짜리 녹화 구술시험을 과목 성적의 20%로 반영합니다.
- 학생의 서면 제출물과 구술 답변을 비교해 AI 의존 가능성이 있는 제출물을 표시하는 불일치 리포트 기능을 추가합니다.
- 원래 토론
- AI use leads UC Berkeley math professor to see 'no point' in grading homework ↗ 231포인트댓글 327개댓글에서링크된 기사
영어에서 번역했습니다. 원문 읽기