Emocje po TestingCup 2017 już opadły i przyszedł czas na podsumowania i refleksje. Była to już piąta edycja. Co roku staramy się, aby była ona jeszcze bardziej interesująca i emocjonującą. Mamy nadzieję, że w tym roku spełniła ona Wasze wymagania i dobrze się bawiliście.
W tym roku Mr Buggy okazał się bardzo trudnym przeciwnikiem. Już od początku wiedzieliśmy, że nie będziecie w stanie przetestować w pełni aplikacji oraz dokładnie przestudiować dokumentacji. Mimo wszystko daliście radę i nie daliście się pokonać Mr Buggiemu! W przeciągu 3 godzin zgłosiliście ogromną liczbę defektów – 1500! Co prawda wiemy, że wpływ na tą liczbę miała również w tym roku punktacja – jako Komisja zdecydowaliśmy się nie przyznawać punktów ujemnych za nie-defekty czy duplikaty. I jak spodziewaliśmy się, liczba nie-defektów była duża – prawie 500 zgłoszeń. Wiele nie-defektów wynikało ze zgłoszeń defektów specyfikacji lub testowania polskiej wersji językowej – były to obszary wyłączone z testowania.
W tej edycji po raz pierwszy udostępniliśmy Wam możliwość “wejścia w buty” komisji Sędziowskiej. Wielu z Was skorzystało z tej szansy i próbowaliście swoich sił oceniając siebie i innych uczestników. Wasze późniejsze komentarze były dla nas bardzo budujące: “o co chodzi w tym zgłoszeniu?”, “współczujemy”, “czy zdążycie ocenić to w tydzień?”.
Oceniając plany testów byliście dla nas ogromnie pomocni. Nasza ocena w większości przypadków pokrywała się z Waszymi ocenami. Tylko w nielicznych przypadkach oceny te się różniły. Wasza pomoc spowodowała, że ocena planów testów zajęła nam dużo mniej czasu niż planowaliśmy.
Kolejną niespodzianką Testing Cup 2017 były tzw. “challenge”. Mieliście okazję zakwestionować ocenę Komisji i jeszcze przed ogłoszeniem wyników poprosić o ponowne rozpatrzenie jakiegoś defektu lub decyzji odnośnie planu testów. W wielu przypadkach mogliście także porozmawiać z Komisją i przedstawić swoje racje. Niektóre zakwestionowane oceny zostały pozytywnie rozpatrzone na Waszą korzyść. Łącznie otrzymaliśmy od was 108 “challenge’y” z czego pozytywnie rozpatrzyliśmy prawie 30 %. Część z Was niestety nieroztropnie użyła przycisku “Akceptuj oceny komisji”, który automatycznie akceptował wszystkie oceny i uniemożliwiał dalsze kwestionowanie naszych decyzji.
Oprócz nagród głównych w tym roku rozdaliśmy też 4 nagrody dodatkowe: za najbardziej ciekawe i unikalne zgłoszenie błędu (dla zawodnika indywidualnego oraz drużyny) oraz za pomoc w ocenianiu zgłoszeń (również dla zawodnika indywidualnego oraz drużyny). Wyłonienie laureatów do nagrody za raport błędu nie było łatwym zadaniem. Jako Komisja wzięliśmy pod uwagę tylko unikalne zgłoszenia błędów. Nagrodę tę zdobył Damian Brzęczek (zawodnik indywidualny) oraz Zamkownicy Kacperka (drużyna z III LO w Gdyni). Nagrody za pomoc Komisji przy ocenianiu prac otrzymali: Karol Gierszewski oraz drużyna deBuggers.
Chcemy podkreślić, że analizujemy Wasze komentarze w ankietach i wyciągamy wnioski z naszych doświadczeń, aby następne edycje TestingCup były jeszcze lepsze. Już dzisiaj wiemy, że brak ujemnych punktów za nie-defekt, sugestię i duplikat było błędem. Spowodowało to ogromną ilość zgłoszeń, często nieczytelnych, a nawet nie zawierających żadnych konkretnych treści. Proces oceny (naszej i Waszej) był dosyć skomplikowany i nie poświęciliśmy wystarczającej ilości czasu aby go Wam wytłumaczyć. Sama aplikacja była niezwykle trudna w testowaniu (chociaż niektórym z Was bardzo się to podobało) i sprawiała wrażenie niedopracowanej. Przed zawodami znaliśmy 44 defekty, wam udało się znaleźć kolejne 89!. Jest to (niechlubny) rekord porównując do wszystkich poprzednich edycji. Wiemy, że defektów powinno być dużo mniej, a sama aplikacja powinna być bardziej stabilna i posiadać lepszą specyfikację.
Jako Komisja bardzo pozytywnie oceniamy tegoroczne Mistrzostwa. Oczywiście zawsze można zrobić coś lepiej. Nie uniknęliśmy drobnych wpadek, ale wydaje się nam, że efekt końcowy zaspokoił oczekiwania większości z Was. Z niecierpliwością czekamy na kolejne edycje, aby razem z Wami przeżywać te niezapomniane chwile.
Zawody TestingCup 2017 w liczbach
- 74 drużyny, 34 indywidualnych (w tym 1 indywidualny nieobecny) – tyle było drużyn i zawodników indywidualnych
- 371 – tyle ocen prac dokonali zawodnicy (w tym oceny kompletne i niekompletne oraz oceny własne i innych)
- 94 – tylu zawodników oceniło swoje prace (w tym 92 kompletnie, 2 niekompletnie, 93 oceny raportu, 1244 oceny defektów)
- 277 – tyle dokonano ocen innych zawodników (w tym 244 kompletne, 33 niekompletne, 261 oceny raportu, 3399 oceny defektów)
- 8 – tyle było najwięcej ocen uczestników na defekcie (1 własna oraz 7 innych)
- 32 zaakceptowanych, 76 odrzuconych – tyle było odwołań
Poniżej liczba zgłoszeń w poszczególnych kategoriach (po ocenie komisji):
- 89 sugestii (za 0 punktów)
- 60 duplikatów (za 0 punktów)
- 38 niezrozumiałych (za 0 punktów)
- 441 nie-defektów (za 0 punktów)
- 142 niereprodukowalnych (za 0 punktów)
- 178 literówek (za 1 punkt)
- 150 problemów językowych / użyteczności / UX (za 2 punkty)
- 62 defektów komunikatów błędów (za 3 punkty)
- 232 zgłoszeń bezpieczeństwa / defektów w mało krytycznym obszarze funkcjonalnym (za 5 punkty)
- 36 błędów funkcjonalnych (za 7 punkty)
- 26 defektów krytyczny błąd funkcjonalny
Materiały podsumowujące kwalifikacje oraz zawody znajdziecie pod adresem http://mrbuggy.pl/mrbuggy5/