Performantie geprogrammeerde evaluatie

[niknetniko]

Hier zijn twee ideeën voor:

• Gebruikt jupyter kernels. Dit heb ik momenteel opgenomen als future work in de tekst.
• Voorzie speciale ondersteuning voor Python door de custom evaluator rechtstreeks uit te voeren, zoals bv. de Python-judge dat doet.
  • Hier kan zelfs verder in gegaan worden: we zouden kunnen zeggen dat geprogrammeerde evaluatie enkel in Python mogelijk is. Dit heeft bijkomende voordelen:
    • De geprogrammeerde evaluatie moet niet in de programmeertaal geïmplementeerd worden (ik kijk er sowieso voor om dit optioneel te maken)
    • We zijn niet meer gebonden aan de serialisatie voor de communicatie custom evaluator <-> judge. Het meegeven van bv. de context uit het testplan aan de evaluator is dan perfect mogelijk.
    • Implementatie TESTed wordt eenvoudiger.

[pdawyndt]

@niknetniko Is het de bedoeling dat je onptie 2 nog probeert te implementeren in de context van je thesis?

[pdawyndt]

Aangezien TESTed in Python geschreven is, lijkt het me inderdaad perfect aannemelijk om de tweede optie te voorzien (uit standaardoverwegingen), met doorslag naar externe evaluator indien die in een andere programmeertaal geschreven is.

[chvp]

Ik denk dat we inderdaad dat we de mogelijkheid van externe beoordeling in een andere programmeertaal niet willen verliezen.

[niknetniko]

Het plan is inderdaad om dat nog te implementeren. Ik zal de ondersteuning voor andere programmeertalen er in laten.

[niknetniko]

Done in 1890014.