Jak mają wyglądać kolejne edycje TestingCup?
Komisja sędziowska zawodów TestingCup ciągle poszukuje metod usprawniania oraz zwiększania transparentności procesu oceniania prac. Ponieważ w obszarze zawodów testerskich TestingCup jest samotnym liderem nie możemy czerpać z doświadczeń innych, ale to właśnie członkowie komisji jak i organizatorzy definiują reguły. Ciągle jednak szukamy usprawnień i optymalnej koncepcji przeprowadzenia zawodów.
Podczas tegorocznych kwalifikacji zawodnicy mieli okazje po raz pierwszy ocenić swoją pracę oraz uzyskać pełen wgląd w wystawioną ocenę. Dla Komisji nas jest to jedynie krok pośredni. Wychodząc z założenia, że w samych zawodach startuje 250 doświadczonych testerów to każdy z nich mógłby przyjąć na siebie przynajmniej część obowiązków sprawdzania i oceniania prac. O zdanie zapytaliśmy zawodników i przyjaciół TestingCup. Należało odpowiedzieć na dwa proste pytania oraz w pytaniu otwartym zasugerować jakie usprawnienia warto wprowadzić.
W ankiecie udział wzięło około 30% zawodników (70 ankiet) więc uznajemy, że jest to reprezentatywna próbka dla wszystkich osób.
Pierwsze pytanie brzmiało: Czy inni zawodnicy powinni mieć wpływ na ocenę moich zgłoszeń i opracowanego podczas zawodów dokumentu? I blisko 13% osób zgodziło się z tym pomysłem, a 84% było przeciw (3% nie miało zdania). Komisja interpretuje to jako nieufność co do bezstronności zawodników w swoich ocenach. Jest to również silne wskazanie, że to właśnie na barkach Komisji leży ocena prac.
Drugie pytanie brzmiało „Czy zawodnicy powinni mieć wpływ na punkty przyznane za krytyczność zgłoszeń?” Przy pełnym pokazaniu wyników najwięcej kontrowersji związanych jest z oceną krytyczności. Do tej pory była ona dokonywana jedynie przez Komisję i celem pytania było określenie czy powinno się to zmienić. Niestety nie udało się uzyskać jednoznacznej odpowiedzi ponieważ głosy rozłożyły się po prawie po równo. 49% było za, a 50% przeciw, a 1% wstrzymał się od głosu. Widać więc, że część osób chciałoby mieć większy wpływ na ocenę własnych zgłoszeń.
Najciekawsze okazały się jednak odpowiedzi tekstowe, które choć mocno rozstrzelone to pokazują ciekawe przemyślenia koncepcji zawodów oraz pomysły na usprawnienia. Można je skategoryzować kilka grup.
*pozwoliliśmy sobie na drobne redakcyjne poprawki w opiniach polegające głównie na usunięciu literówek lub skrócenie wypowiedzi.
1. Zawodnicy zadowoleni z tego jak jest i nie chcą zmian, szczególnie tych gdzie inni zawodnicy ocenialiby ich prace.
Opinie:
„Ponieważ są to zawody, prace powinny być oceniane przez niezależną komisję sędziowską. Przeniesienie odpowiedzialności sprawdzania prac na zawodników wpłynie bardzo negatywnie na akceptację wyników przez uczestników. Będą one kwestionowane z tego powodu, że oceniał Twój rywal, a więc osoba która z założenia chce z Tobą wygrać.”
„Moim zdaniem, konkurencja w zawodach nie może mieć wpływu ani możliwości oceny poczynań innych. Mogłoby to prowadzić do nadużyć.”
„Wg mnie wszystko do tej pory było bardzo dobrze prowadzone.”
„Nie mam zarzutów :)”
2. Zawodnicy, którzy doceniają edycję wrocławską i automatyczny proces oceny aplikacji. W opinii Komisji była to najmniej „testerska edycja”, ale równocześnie bardzo łatwa w sprawdzaniu przez silną automatyzację. Dla osób, które nie znają tamtej koncepcji przypominamy, że zadanie testerskie polegało na znalezieniu defektów w małych aplikacjach, w których posiany został jeden defekt.
Opinie:
„Automatyzacja całego procesu – jak najmniejszy wpływ subiektywnych ocen komisji sędziowskiej na rezultat zawodów. Edycja we Wrocławiu i mrBuggy3 były pod tym względem najlepszym i najbardziej sprawiedliwym rozwiązaniem.”
„Testować aplikację, która ma ukryte specjalnie przygotowane błędy, bardzo mi się podobała forma jaka była 2 lata temu (2015r)”
„Proces oceniania z 2015 roku był idealny!”
„Koncepcja z roku 2015 była jasna i precyzyjna co do oceny, mała aplikacja i konkretne zadania w których było mniejsze pole do „”dyskusji”” i ocena była bardziej precyzyjna.”
„Uważam, że obiektywny był system punktacji I rundy we Wrocławiu. Zadania (nie licząc niezałożonych przez komisję defektów) miały z góry przyznaną punktację.”
3. Zawodnicy poszukujący zmian. Konstruktywna krytyka oraz akceptacja dotychczasowej pracy.
„Punkty przyznane w eliminacjach za krytyczność były w kilku przypadkach bardzo kontrowersyjne. Myślę, że ocenianie prac przez samych zawodników to dobry pomysł (uśrednienie opinii i mniejsze ryzyko kontrowersyjnych ocen).”
Jest również kilka usprawnień, których wdrożenie nie jest żadnym problemem i nad którymi pochyli się Komisja.
„Wstawiłabym przykład formatki do opisywania bugów – nie było wiadomo czy należy podawać kroki reprodukcji itp.”
„Należy wyłaniać zwycięzców robiąc kwalifikacje drużynowe w grupach tzn. tak jak wyłaniani są liderzy grup w zawodach piłkarskich, gdzie awansują do kolejnego etapu np. dwie najlepsze drużyny”
„Podczas wyników powinna być podawana ilość punktów za poszczególne części pracy (zgłoszenia, raport)”
„Uszczegółowić wysokość punktów za zgłoszenia dodatkowe (te błędy, które nie są znane komisji), im bardziej szczegółowa skala tym mniej miejsca na niejasności”
„Do testowania powinno być więcej mniejszych części/fragmentów/funkcjonalności, ponieważ wtedy teoretycznie będzie mniej błędów o których komisja sędziowska nie będzie wiedzieć”
„Większy limit znaków na raport”
„Dodatkowe punkty za dobrze [red. przygotowany] raporty.
„Określcie możliwie najdokładniej i szczegółowo, jakiego rodzaju defekty są dla Was krytyczne, a które mniej, bo to bardzo zależy od kontekstu: z punktu widzenia klienta, użytkownika aplikacji, testera któremu coś testy blokuj, dewelopera który zna effort potrzebny na naprawę, itp. ocena krytyczności jest inna.”
„Prośba o zwiększenie kompetencji w zakresie priorytetyzacji krytyczności defektów”
„Bardzo podoba mi się pomysł na umożliwienie dyskusji związanej z oceną.”
„Rozróżnienie na błędy UI/UX, funkcjonalne, integracyjne…”
„Ocena krytyczności defektów jest zawsze sprawą subiektywną. Cieszy mnie fakt, że komisja wzięła pod uwagę dyskusję odnośnie krytyczności jednego z defektów podczas kwalifikacji i zmieniła jego punktację. Myślę, że powiększenie wpływu zawodników na punkty przyznawane za krytyczność zgłoszeń byłoby dobrym pomysłem.”
„Nie zmieniałbym wcześniej ustalonej punktacji w trakcie oceny prac po głosach niezadowolenia na facebooku”
„Zdefiniowanie jasnych kryteriów oceny PRZED i podanie ich do wiadomości PO zawodach”
„Warto byłoby w niej dopracować jakąś skale punktów za zgłoszenia „”dodatkowe”” nie wynikające z celowego wprowadzenia błędów (precyzyjna skala doprecyzowałaby cały proces oceny i rozwiałaby wszelkie wątpliwości).”
„Nie powinno być sytuacji w której tester myśli sobie „”to zawody, nie będzie punktów”” w sytuacji, gdy znalazł coś nieprawidłowego. Każde zgłoszenie, które w real-life scenario byłoby wartościowym zgłoszeniem – powinno być uwzględnione w punktacji. Inaczej to trochę „”turniej w wygrywanie turniejów testowania”” a nie po prostu „”turniej testowania””.”
„Niech rola komisji będzie bardziej jak w skokach narciarskich (subiektywna ocena to tylko część oceny, a liczy się głownie obiektywny rezultat), a nie jak jury w jeździe figurowej – bo niestety z tym kojarzy mi się zeszłoroczna ocena raportów z testów.”
„Można by zrobić autosprawdzenie, jak w kwalifikacjach i przyznać jakiś dodatkowy punkt za w pełni poprawne z komisyjną ocenę swoich defektów.”
„Wprowadzić jak najmniej poziomów krytyczności, np. mały (2 pkt), średni (4 pkt), duży (8 pkt)”
„Dokładna punktacja za co i ile.”
„Większa grupa osób decydująca o krytyczności defektów, osoby pracujące na co dzień w różnych firmach, z rożnym poziomem doświadczenia (testerzy)”
„Dodałabym krótkie uzasadnienie, dlaczego punktacja taka a nie inne. Poza tym nie mam zastrzeżeń co do kwalifikacji, nawet, jeśli nie ze wszystkim się zgadzam, Uważam, że wszystko było przeprowadzone bardzo sprawnie i jasno.”
„Trzymajcie dalej nacisk na obiektywizm i będzie git. Ja nie potrzebuję mieć wiedzy jak każdy zgłoszony defekt został oceniony punktowo, a które z nich to w ogóle zaminusowały. Natomiast cały czas dość niejasne jest jakie są oczekiwania wobec raportów – z grubsza wiadomo co powinno tam się znaleźć ale jakoś ciężko spełnić wszystkie punktowane kryteria. Z drugiej strony na plus że ciężko z przygotowanym wcześniej szablonem się wstrzelić bo ostatnio to dość nagminne było i kreatywności już niewiele pozostawało.”
Bardzo dziękujemy za informację zwrotną z ankiet. Mamy dużo materiału do opracowania i przemyślenia. Nie wszystko da się wdrożyć na edycję 2017, ale na pewno będziemy próbowali.