-
Notifications
You must be signed in to change notification settings - Fork 0
User Test Footage
Onze User Tests worden aan het einde van een sprint afgelegd. Wij kiezen hierbij of we de game in het algemeen of één specifieke feature willen laten testen. We vragen aan de tester of hij hardop na wil denken en toestemming geeft om op camera te staan. Ook stellen we de tester achteraf een aantal vragen over zijn ervaring en indruk van de game. We maken een schermopname van de gameplay, met beeld én geluid zodat we de (non)verbale feedback van de tester op het moment van het spelen erbij hebben.
De vragen die we achteraf aan de tester kunnen stellen, afhankelijk van of de tester dit al wel of niet veel heeft toegelicht, zijn als volgt:
Wat was je algemene indruk van de game?
Was er iets wat je verbaasde of opgevallen was aan het spel?
Was er iets onduidelijk of (te) moeilijk?
Als je wat zou veranderen, wat zou dat dan zijn?
De video's van de User Tests worden geüpload op YouTube. Ze worden op "Unlisted" gezet zodat alleen mensen met een link ernaartoe ze kunnen bekijken. Ze staan ingedeeld in afspeellijsten zodat de User Tests per sprint goed terug te vinden zijn.
2:00 "Uhm, oh, hier onderin heb je nu tekst": de tekst staat niet duidelijk genoeg in het beeld. Bij de eerste keer spelen was het namelijk helemaal niet opgevallen, en bij de tweede keer wel. Om dat te verbeteren zullen we het iets duidelijker op het scherm zetten. To-Do
4:00 Er stond een kruisje op het scherm, maar die viel niet op. Deze gaan we op een betere plek op het scherm zetten. To-Do
4:10 "Is er een collectable?": Het was niet helemaal duidelijk dat er een collectable te krijgen was. In de toekomst zullen we ergens neerzetten dat je een collectable kan krijgen.
3:37 "Ik zag dat het kruisje je was opgevallen, wat was het plan daar achter?": De speler was op zoek naar meer informatie, door de quiz te sluiten en rond te gaan kijken. Ik vermoed dat het in de toekomst duidelijker wordt wanneer de speler eerst de uitleg krijgt te lezen die hij nodig heeft om de quiz te kunnen beantwoorden.
4:55 "Ik zou er zelf een beetje meer kleur aan toevoegen": De collectable is momenteel alleen een placeholder, dus dit komt goed. To-Do
1:40 "Ik zou verwachten dat het (oppakken van de collectable) misschien niet voor iedereen zo logisch zou zijn": Er moet een soort van outline of melding komen op het scherm voor de gebruiker dat het nog duidelijker is dat ze op de collectable kunnen tikken om hem in ontvangst te nemen. To-Do
0:15 "Ik vind de JPEG van de map al een beetje pixelig": De map die op het moment van testen in de game zit is een placeholder screenshot van google maps, zie hier de to-do voor art voor de map.
1:05 "Oh Next, die zag ik niet": Knoppen moeten groter en duidelijker op het scherm, zie deze to-do.
2:33 "Misschien is het ook handig om iets van een pijl te hebben in het scherm": Dit is een goed idee, maar wij zullen er voor nu i.v.m. de tijd die we hebben niks mee doen.
3:07 "Gewoon erop tikken?...": Het is op dit moment niet duidelijk voor de speler dat ze de hint eerst moet sluiten en daarna pas weer iets nieuws aan kan tikken op de map. Dit wordt waarschijnlijk een stuk duidelijker wanneer je niet meer kan bewegen met menu's open (zie hier) en knoppen duidelijker op het scherm staan.
3:30 "Misschien is het dan ook handig als je de map niet goed, duidelijk ziet, anders krijg je het gevoel dat je gelijk moet lopen": Hier gaan we wat aan doen door een blur erachter te zetten (zie hier) en het zo te maken dat je niet meer kan lopen als menu's open staan.
4:18 De speler leest de vraag verkeerd, leest over "niet" heen waardoor het anders opgevat wordt. Ook heeft de speler de tekst niet goed gelezen, maar ze heeft het zelf door en geeft aan dat het komt omdat ze de User Test niet te lang wou maken. Ook geeft de speler aan dat de tekst met het effect waardoor het letter voor letter op het scherm komt, iets te snel gaat, waardoor ze misschien te snel probeert te lezen.
Een andere tester had aangegeven dat hij het fijner zou vinden als te tekst sneller op het beeld komt, omdat hij geneigd is om eerst te beginnen met lezen als het er volledig staat. We gaan dus het woordje "niet" in vragen in hoofdletters zetten, zodat het duidelijker is, en de tekst versnellen, zodat de speler ziet dat het alleen om het visuele effect gaat en niet probeert met dat tempo mee te lezen. Zie deze en deze To-Do's.
5:33 "Is er nog een andere knop? Er staat geen kruisje ofzo": Het is voor de speler niet duidelijk hoe je een collectable moet sluiten. We gaan zorgen dat de methode voor het sluiten van een collectable consistent is met de methode voor het sluiten van een hint, namelijk dat je bij beide op het kruisje moet tikken. Zie hier.
8:05 "De character gaat een beetje uit het scherm": We gaan Pieter Paaltje beter op het scherm zetten, zie hier.
9:22 De speler geeft het idee om de camera mee te bewegen in de richting waarin je moet lopen. Hier gaan we voor nu niks mee doen, i.v.m. de tijd die we hebben.
0:51 "Teveel tekst": De speler vond het teveel tekst, maar wij denken dat als mensen in het echt spelen, ze meer behoefte aan de informatie zullen hebben en het niet teveel zullen vinden. Hier gaan we dus voor nu niks mee doen.
1:28 Het is onduidelijk hoe de collectable van het scherm af gaat: Dit gaan we, zoals eerder genoemd, aanpakken door het lopen met menu's op het scherm uit te zetten, het sluiten van dingen consistent te maken en knoppen duidelijker op het scherm te zetten.
2:08 Het is onduidelijk voor de speler hoe de hint van het scherm af gaat: Hiervoor geldt hetzelfde als hierboven.
4:40 Het is onduidelijk voor de speler hoe je het collectablemenu sluit: Dit komt omdat het met de animatie lijkt alsof het menu niet sluit. Hier gaan we voor nu niks aan doen.
6:33 De speler suggereert dat het leuk zou zijn om aan het einde te kunnen zien hoe goed je de quiz hebt beantwoord: We gaan hier nog niks mee doen, aangezien de quiz altijd uiteindelijk goed beantwoord gaat worden, en het lijkt een beetje vreemd om dan alleen te zeggen "foute antwoorden: ..." aangezien juiste antwoorden uiteindelijk altijd dezelfde hoeveelheid is.
1:00 De speler had niet door dat er tekst verscheen: Dit gaan we oplossen door de tekst duidelijker en op een betere locatie op het scherm te zetten. Zie hier de To-Do.
1:27 De speler vraagt zich af wat hij aan het doen is: Hier gaan we meer duidelijkheid in brengen met behulp van een tutorial op het begin. Zie hier de User Story.
1:50 "Dat komt ook omdat ik niet op de knopjes druk...": De speler zag de knopjes niet duidelijk. Daar hebben we een To-Do voor, zoals eerder benoemd.
3:23 "De tekst gaat door je knoppen heen": Hier is een To-Do voor gemaakt.
5:07 "Ik moest even zoeken, ik denk dat je in de intro iets meer moet wijzen op wat het doel is.": Hiervoor gaan we de eerder genoemde tutorial toevoegen.
0:43 De introtekst is vervangen, een fout bij het mergen: Dit gaan we weer goedzetten. Zie hier.
Ook staat de plane achter de camera niet helemaal over het scherm heen, en de camera nogsteeds iets te ver van de speler. Dat gaan we allemaal beter neerzetten.
1:14 "Ik kijk waar ik naartoe moet, ik moet al die dingen pakken denk ik.": De speler snapte niet gelijk wat de bedoeling was, maar dat kwam waarschijnlijk door het feit dat de intro mist. Intro opnieuw in de game zetten, intro herschrijven.
3:05 "Waar ga ik naar opzoek?": De speler snapt niet gelijk dat het model op het scherm hetgene is waar hij in het echt naar moet zoeken. Dit wordt duidelijk als we de introtekst iets aanpassen (en uiteraard weer goed erin zetten). Intro herschrijven.
3:30 "Waar ben ik naar opzoek?": De speler is vergeten waar hij naar opzoek was, en het was niet duidelijk dat je een knop hebt om je meest recent verkregen hint opnieuw te zien. Dit gaat opgelost worden wanneer de art voor de knoppen in de game zit. Zie hier.
3:53 "Loop weg van het water, houd de engel aan je linkerzijde, dat zou ook daar kunnen zijn...": Deze hint is niet duidelijk genoeg, dat gaan we herschrijven. Ongeveer iets als: "Loop langs het gemeentehuis, en houd de engel aan je linkerzijde. Ga rechtdoor totdat je dit tegenkomt". Zie hier.
Ik geef later een aanwijzing dat de speler in het echt moet gaan zoeken naar de aanwijzing die je krijgt, dat moet ook duidelijker in de intro komen te staan. intro herschrijven.
6:51 "Ik denk dat ik de truc door heb": De speler snapte na het eerste punt heel snel hoe het werkte, dus als de intro goed duidelijk is, zal de game makkelijk te leren zijn. intro herschrijven.
8:45 Pieter paaltje staat nog in het scherm na het wegvliegen: Dit gaan we fixen. Zie hier.
12:20 "Oh dat is hier!": De speler heeft het volgende punt gevonden, maar omdat er in de hint nog stond "Hier sla je rechtsaf", ging hij rechtsaf en liep verder. Hij had eigenlijk de hint moeten sluiten. Dit gaan we duidelijker maken door het "Hier sla je rechtsaf"-gedeelte uit de hint weg te halen. Zie hier.
14:51 "Dit ziet er uit als een schoolpleintje" & "Ik zie geen school": Dit was een volkstuintje waar Jungle ook mee bezig was, er hing een bordje waar op stond "Steentje eruit, plantje erin" en er stonden een paar plantjes. De school zat aan de overkant van de straat, maar het was de speler helemaal niet opgevallen dat er een school zat. Dit gaan we fixen door de hint duidelijker te maken. Zie hier.
Uiteindelijk liep de speler helemaal door naar de Dappermarkt en gaf aan dat hij de school niet had gezien. De hint moet duidelijker geschreven worden, iets in de richting van: "Je ziet links van de straat een basisschool, loop hier langs en ga linksaf". Zie hier.
16:44 De speler opent het verkeerde punt: dit gaan we fixen door de punten op de juiste volgorde één voor één zichtbaar te maken, zodat hij alleen het eerstvolgende punt kan zien. Ook gaan we ervoor zorgen dat punten alleen zichtbaar worden als je binnen een bepaalde afstand staat. Punten één voor één zichtbaar maken, punten pas dichtbij zichtbaar maken.
17:44 Speler loopt niet door tot hij de hint in het echt heeft gevonden: verbeteren door in de intro duidelijk te maken dat je ECHT moet zoeken naar het object in de hint. Zie hier.
20:50 Collectables hebben verschillende groottes op het scherm: Dit moeten we fixen door de collectables naar de juiste grootte te scalen bij het inspawnen. Zie hier.
24:34 De speler tikt het verkeerde punt 2x aan: dit komt doordat hij afgeleid was door de facecam, en niet omdat het onduidelijk was in-game. De camera zal echter nog dichter bij de speler worden gezet, zodat er minder van de omliggende omgeving te zien is. Zie hier.
26:11 Tekst gaat over de knoppen heen: we verdelen het KIT tekstje over 2 delen. Zie hier.
27:57 "Ik denk dat het de bedoeling is dat ik die bocht naar rechts neem?...": De hint is erg verwarrend i.v.m. de bocht naar rechts die er aan de andere kant zit, we gaan hem duidelijker maken door iets te zeggen in de richting van: "steek over en sla rechtsaf". Zie hier.
29:21 De speler vindt de afstand tussen punten fijn. Dit omdat er een goede balans zit tussen de hoeveelheid lopen en de hoeveelheid actief zoeken naar punten.
30:00 "GPS bleef heel even achter": Hier kunnen we niks aan doen, want dit ligt niet aan onze code. Het zou iets te maken kunnen hebben met hoe Android GPS data binnen krijgt.
33:05 De hint heeft een foutje: dit gaan we aanpassen. Zie hier.
34:09 Wat vond de speler er tot nu toe van? De speler wist aan het begin niet dat je de hele tijd tussen hints en de kaart kan wisselen, dus dat moet even duidelijk in de intro gezet worden. Zie hier.
35:11 Tekst staat over de knopjes heen: we verdelen de tekst over 2 stukjes. Zie hier.
35:43 Wat vind de speler van hoe het spel er uitziet? De speler vindt dat het er heel mooi uit ziet en het scherm duidelijk is. Hij komt erop terug dat het wisselen tussen de hint en de map aan het begin niet duidelijk was. Zie hier.
16:47 "Even kijken...": De stenen van de Dapper Markt moeten duidelijker op de kaart staan, het is bijna niet te zien voor de speler momenteel. Zie hier.
38:36 "Waar ben je naar op zoek?": De speler was in de war wegens de aanwijzing van het gedichtgebouw, maar dat was nog niet de juiste art (het wordt een deel van het gedicht) dus als dat er in zit zal het duidelijk worden.
43:18 Insectenhotel staat niet helemaal op de goede plek: deze gaan we verplaatsen. Zie hier.
44:50 Wat zou je ervan vinden als je als gemeentemedewerker deze app zou moeten volgen? Hoe geschikt denk je dat het is voor verschillende kennisniveau's? De speler geeft aan dat hij het leuk zou vinden om zo een game uit te proberen en spelenderwijs dingen te ontdekken, ongeacht het kennisniveau.
46:32 De tekst gaat over de knoppen heen: Deze gaan we verdelen over twee stukjes. Zie hier.)
46:53 Het is niet helemaal duidelijk voor de speler wat "deze kant van het spoor" is: Dit gaan we anders verwoorden, zoals: "blijf aan de kant van het spoor waar je vandaan bent gekomen". Zie hier.
48:46 Bij "ga rechts bij een groot grijs gebouw" is het niet duidelijk of je voor of na het gebouw naar rechts moet. Dit gaan we veranderen naar "ga rechtsaf voor een groot grijs gebouw". Zie hier.
50:45 De collectable bij het Dapperplein is er niet. Dit gaan we fixen door de variabelen goed te zetten. Zie hier.
54:44 Speler kon De Bloem niet vinden: de speler wist niet dat het specifiek op het groenperkje stond. De hint is niet duidelijk genoeg, we gaan er in zetten: "ga opzoek naar dit kunstwerk op het groenperkje op het plein..." Zie hier.