Deel openbare / deel geheime testen 🕵️

[DieterPi]

Vandaag had ik een gesprek met een collega over de 'automatische testen' bij Dodona en hoe dat een luxe is. (zodat je niet na elke les honderden stukken code dient na te kijken)

Maar er schuilt ook een nadeel in. Leerlingen moeten niet meer zelf testcases gaan verzinnen, terwijl dat eigenlijk ook bij het codeerproces hoort. Dan gaat het over de vragen: "Werkt mijn algoritme wel?" "Levert het algoritme het te verwachten resultaat?" (ook in grensgevallen)

Vandaar ik dacht dat het misschien zinvol zou zijn om (net zoals bij programmeerwedstrijden) te werken met een 'openbare' testcases en 'geheime' testcases. Van de openbare testcases zien leerlingen voor welke invoer/argumenten het fout loopt. Bij de 'geheime' testcases zien leerlingen enkel dat hun code niet geaccepteerd werd doordat x aantal testen niet succesvol waren. Vervolgens moeten ze zelf op zoek naar grensgevallen, of zelf testcases bedenken en controleren of het agoritme wel degelijk klopt.

En dan nu de vraag

Is zoiets mogelijk in Dodona (met de TESTed judge)? Indien ja, hoe pak ik dat aan? Zijn er eventuele best practices?

[pdawyndt]

@DieterPi Dodona ondersteunt wel degelijk verborgen testgevallen (zichtbaar voor lesgever maar niet voor student). TESTed ondersteunt dit evenwel nog niet. We hebben dit echter wel op de roadmap staan (zie dodona-edu/universal-judge#559; derde laatste puntje).