Piattaforma scalabile per esami orali universitari
Software e flussi di lavoro che permettono ai dipartimenti di svolgere esami orali brevi e strutturati (discussioni orali) su larga scala, l'unico formato di valutazione che l'IA non può falsificare.
Un brief pronto da incollare in Claude Code, Cursor o qualsiasi agente di programmazione (in inglese).
A favore
- Chi paga
- Presidenti di dipartimento e centri per la didattica nelle università con ampi programmi STEM, disposti a pagare da 15.000 a 60.000 dollari l'anno per dipartimento dai budget per l'integrità accademica e la didattica.
- Cosa ha detto la gente · 4
- Sostiene che i compiti a casa non dovrebbero contare nulla e che la padronanza andrebbe verificata con esami più una discussione orale, dato che barare sui lavori scritti è ormai troppo facile. Leggi il commento ↗
- Suggerisce che gli insegnanti scelgano a caso gli studenti perché spieghino o riproducano davanti alla classe il lavoro consegnato, per individuare chi non l'ha svolto. Leggi il commento ↗
- Raccomanda di tornare a esami scritti o orali in aula come unico modo affidabile di valutare. Leggi il commento ↗
- Un professore a contratto afferma che, se insegnasse oggi, valuterebbe solo esami in presenza e forse un colloquio, senza spazio per l'IA che gonfia i voti. Leggi il commento ↗
Parafrasato dalla discussione. Segui i link per i commenti originali.
- Concorrenti e lacuna
La prova orale è il formato considerato a prova di IA nella discussione, ma non esiste un prodotto per gestirla su larga scala: pianificare centinaia di discussioni orali da 10 minuti, generare varianti di domande per ogni studente a partire dai compiti reali, registrare, valutare con rubriche e segnalare incongruenze tra il lavoro consegnato e le risposte orali. Le soluzioni esistenti si rivolgono tutte agli elaborati scritti.
- Perché ora
- Negli ultimi 12 mesi i modelli di frontiera hanno reso non verificabile la valutazione scritta svolta a casa: il caso di un medaglia Fields che abbandona pubblicamente la correzione dei compiti è il segnale. Secondo l'articolo, le università hanno provato i rilevatori di Turnitin e Rumi e li hanno trovati inadeguati, quindi cercano un'alternativa strutturale, non il rilevamento.
- Fossato · 6/10
- Le banche dati di rubriche e varianti di domande per corso si accumulano nel tempo, le registrazioni producono dati sulla coerenza della valutazione, e l'integrazione con i sistemi LMS e della segreteria studenti crea costi di cambio elevati; le vendite istituzionali generano un effetto referenza.
Contro
- Red team
- Gli esami orali sono il formato verso cui le università stanno effettivamente convergendo come valutazione a prova di IA, e nessun prodotto esistente gestisce pianificazione, generazione di varianti e valutazione su larga scala. I cicli di vendita istituzionali sono difficili, ma il vuoto strutturale è reale.
- Cosa la farebbe fallire
- Le università sono acquirenti lenti, con budget limitati e grande inerzia istituzionale: l'articolo stesso osserva che il sistema potrebbe non cambiare per anni anche se è rotto.
Partire
- I primi tre passi
- Realizzare un pianificatore di discussioni orali e un generatore di domande che trasforma il set di compiti di un corso in domande di approfondimento orali per ogni studente, con registrazione e valutazione tramite rubrica.
- Avviare un pilota a pagamento con un dipartimento di matematica o informatica (50–200 studenti), con discussioni orali registrate da 10 minuti che valgono il 20% del voto del corso.
- Aggiungere un report di incongruenze che confronta il lavoro scritto consegnato da ciascuno studente con le sue risposte orali, per segnalare consegne probabilmente dipendenti dall'IA.
- Discussione originale
- AI use leads UC Berkeley math professor to see 'no point' in grading homework ↗ 231 punti327 commentiDai commentiArticolo collegato
Tradotto dall'inglese. Leggi l'originale