Skip to content
New issue

Have a question about this project? Sign up for a free GitHub account to open an issue and contact its maintainers and the community.

By clicking “Sign up for GitHub”, you agree to our terms of service and privacy statement. We’ll occasionally send you account related emails.

Already on GitHub? Sign in to your account

Page with important stats for Jury #333

Open
tonowak opened this issue Feb 23, 2024 · 15 comments · May be fixed by #359
Open

Page with important stats for Jury #333

tonowak opened this issue Feb 23, 2024 · 15 comments · May be fixed by #359
Assignees

Comments

@tonowak
Copy link

tonowak commented Feb 23, 2024

Interfejs admina contestu SIO2 jest aktualnie w kiepskim stanie. Pewne bardzo cenne informacje dla jury znajdują się w przeróżnych podstronach, typu "czy istnieje zgłoszenie, które ma błąd systemowy" wymaga wejścia w submissions i przefiltrowanie ich. Wierzę, że dałoby się znacząco usprawnić ten interfejs, ale to jest kupa roboty. To, co teraz zaproponuję, to trochę sklejanie taśmą problemu, ale jest proste do zrobienia i tak czy siak taki feature byłby mile widziany.

Chciałbym mieć jedną podstronę (tylko do wyświetlenia, bez możliwości edycji), która wyświetla wszystko, co Jury potrzebuje do upewnienia się, że contest jest w dobrym stanie:

  • na kiedy ustawione są rundy (podane czasem zarówno absolutnym, jak i relatywnym),
  • ile użytkowników widzi każdą rundę w aktualnym momencie czasu (jeżeli byśmy widzieli, że \infty, to byśmy wiedzieli, że jest ryzyko leak'a zadań),
  • ile jest zarejestrowanych uczestników, ile jest adminów, ile jest obserwujących, itd,
  • jak jest skonfigurowana każda runda i każde zadanie: jakie zgłoszenie się liczy do wyniku, jaki typ raportu widzą uczestnicy, czy są treści do zadań, jaki jest limit zgłoszeń, jaki jest limit uruchomień próbnych, jaki jest limit czasu/pamięci do zadania, itd,
  • ile jest nieodpowiedzianych pytań oraz jak bardzo stare jest najstarsze nieodpowiedziane pytanie,
  • "pączki" dla każdego zadania - rozkład typów submitów na każdym zadaniu i ile jest z takim typem (a szczególnie ile jest system errorów). Jeżeli się da, to mile widziane są pączki dla każdego subtaska, bo mogłoby to pomóc z wykryciem problemu w subtasku,
  • rozmiar kolejki zgłoszeń / oczekiwany czas sprawdzenia rozwiązań dla uczestnika,
  • jakie pliki są widoczne przez uczestników w danej chwili oraz kiedy dany plik będzie widoczny,
  • jakie są przedłużenia zawodów dla zawodników i jaki jest max,
  • ile jest "podejrzanych" zgłoszeń.

Jeżeli udałoby się to wszystko zmieścić na jednym ekranie laptopa, to Jury mogłoby dodać autoodświeżanie i gapić się na tę stronę cały czas. Wierzę, że to znacząco zmniejszy czas reakcji Jury w razie pożarów. Posiadanie takiej podstrony już na najbliższy finał za ~miesiąc by bardzo pomogło.

@tonowak
Copy link
Author

tonowak commented Mar 1, 2024

Od najważniejszych do najmniej ważnych:

  1. Mechanizmy pokazujące organizatorom Olimpiady, że w danej chwili nie powinni upubliczniać jakichś materiałów, bo będą one (teraz lub wkrótce) widoczne dla uczestników. Patrz: na kiedy ustawione są rundy, ile użytkowników widzi każdą rundę, ile jest zarejestrowanych uczestników, jaki typ raportu widzą uczestnicy, jakie pliki są widoczne.
  2. Informacje sugerujące, że jest jakiś problem z zawodami podczas trwania zawodów. Patrz: "pączki" dla każdego zadania, oczekiwany czas sprawdzenia, czy istnieje zgłoszenie, które ma błąd systemowy.
  3. Informacje potwierdzające, że zawody są dobrze skonfigurowane. Patrz: jakie zgłoszenie się liczy do wyniku, czy są treści do zadań, jaki jest limit uruchomień próbnych.

@tonowak
Copy link
Author

tonowak commented Mar 1, 2024

@Markadiusz, czy takie priorytety są sensowne?

@Markadiusz
Copy link

Myślę, że tak.
W kwestii pączków, to błędne werdykty są ważniejsze od tych pozytywnych, bo mogą pokazać, że np. padł system lub jest błędna checkerka w zadaniu. Na drugim planie jest dopiero rozkład dodatnich wyników punktowych.

@tonowak
Copy link
Author

tonowak commented Mar 1, 2024

Poruszyłeś dobrą kwestię co do błędnej checkerki. Jeszcze o tym głębiej nie myślałem, ale myślę, że ważną statystyką byłaby informacja "jak często checkerka zwraca, że test przeszedł na X% punktów", gdzie 0 < X < 100 (zazwyczaj X=50).

@zggf-zggf zggf-zggf self-assigned this Mar 10, 2024
@SZonkil SZonkil self-assigned this Mar 13, 2024
@tonowak
Copy link
Author

tonowak commented Apr 5, 2024

Czy będzie coś na finał? @zggf-zggf @SZonkil

@zggf-zggf
Copy link
Contributor

Trochę zrobione jest, ale nie jest sprawdzone tak żeby mergować to kilka dni przed finałem.

@tonowak
Copy link
Author

tonowak commented Apr 6, 2024

A tak żeby zmergować wieczór przed finałem? :D

@SZonkil
Copy link
Contributor

SZonkil commented Apr 6, 2024

Na razie zrobione jest tyle:
obraz

Na ma jeszcze zrobionych żadnych testów.

@SZonkil SZonkil closed this as completed Apr 6, 2024
@SZonkil SZonkil reopened this Apr 6, 2024
@MasloMaslane
Copy link
Member

@tonowak jeśli chcesz to możemy zmergować to co na razie jest do naszego repo, a po finale cofniemy i poczekamy na merge tutaj

@tonowak
Copy link
Author

tonowak commented Apr 6, 2024

Wygląda wspaniale. Czy uda wam się coś jeszcze dodać/wytestować?

@zggf-zggf
Copy link
Contributor

Jutro mogę siąść i jeszcze coś dodać. @MasloMaslane kiedy najpóźniej pasuje Ci mergować?

@MasloMaslane
Copy link
Member

We wtorek rano najpóźniej

@tonowak
Copy link
Author

tonowak commented Apr 6, 2024

+1. Musimy to wytestować na próbnym, inaczej nie odważymy się tego użyć.

@MasloMaslane
Copy link
Member

@zggf-zggf jak tam? Kiedy będę mógł zmergowac do sio2.mimuw?

@zggf-zggf
Copy link
Contributor

Możesz mergować

@twalen twalen linked a pull request Apr 17, 2024 that will close this issue
Sign up for free to join this conversation on GitHub. Already have an account? Sign in to comment
Labels
None yet
Projects
None yet
Development

Successfully merging a pull request may close this issue.

5 participants