Mr Buggy IV – FAQ

Odpowiadamy na Wasze pytania dotyczące przebiegu zawodów i IV odsłony aplikacji Mr Buggy.

Przypominamy, że Regulamin Mistrzostw znajduje się tutaj.

  • Czy jest wybrana już technologia dla Mr Buggy, która będzie użyta podczas zawodów (Web/Dektop)? Kiedy ta informacja będzie dostępna dla uczestników?

Planowaną technologią jest Desktop.

  • Czy uczestnicy będą mieć dostęp do internetu, czy będzie to dozwolone? Co z połączeniem lokalnym w ramach drużyny?

Nie będzie gwarancji dostępu do Internetu, a wszystko co nie jest zakazane jest dozwolone. Połączenie lokalne jest dozwolone, ale przy przestrzeganiu innych reguł.

  • Czy uczestnicy będą mieć dostęp do zasilania?

Tak, gwarantujemy zasilanie.

  • Czy oprogramowanie do automatyzacji będzie dozwolone (regulamin zawiera wyłączenia dla debuggerów i dekompilatorów)?

Automatyzacja jest szerokim pojęciem tak więc jedyna odpowiedź to: „co nie jest zakazane jest dozwolone”.

  • Na stronie internetowej http://testingcup.pl/mr-buggy-4-informacje-dla-zawodnikow/, strona prezentacji 23/33 jest następujący punkt: „Za raportowanie defektu lub sugestii, który nie dotyczy funkcjonalności nowej dla wersji MrBuggy na zawodach (ten defekt występuje także na wersji udostępnionej przed zawodami) dostaje się punkty ujemne(- 5 punktów)”.
  1. Czy w wersji 4.2 zostaną dodane nowe funkcjonalności i tylko te podglegają testowaniu?

W wersji 4_2 zostaną dodane nowe funkcje, a zakres testów zostanie opisany w dostarczonym razem z aplikacją dokumencie.

  1. Czy w tym przypadku nie należy zgłaszać błędów znalezionych na wersji 4.1 mimo, że błędy nie zostały poprawione w wersji 4.2? (Czy jeżeli taki błąd zostanie zgłoszony to otrzymam punkty ujemne?)

Zakładamy, że część defektów z wersji 4_1 będzie naprawionych i powinny one  być poddane retestom, część defektów będzie „zaakceptowanych” (i nie powinny być raportowane ponownie). Część defektów będzie w obszarze wyłączonym z testów i nie powinny być one raportowane. Całość będzie opisana w dostarczonym razem z wersją 4_2 dokumencie.

  1. Co w przypadku kiedy nowa funkcjonalność wprowadza regresję w starej funkcjonalności i tam znajdę błąd? Czy tego typu zgłoszenia są zasadne?

Defekty regresji powinny zostać zaraportowane, jeśli dołączony dokument nie mówi inaczej np. proszę nie testować i nie raportować defektów funkcji X.

  1. Co w przypadku, kiedy znajdę nowy błąd (do starej funkcjonalności), który wcześniej nie został zgłoszony na mantisie i występuje zarówno w wersji 4.1 jak i wersji finalnej (4.2)?

Co raportować oraz czego nie raportować będzie opisane w dostarczonym z wersją 4_2 dokumencie.

  • Mam problem z uruchomieniem aplikacji z powodu „Problem z połączeniem do serwera”, co robić?

Mr Buggy 4_1 przy każdym uruchomieniu odpytuje serwer licencji o prawo do uruchomienia. Jeśli aplikacja nie ma dostępu do sieci albo istnieje jakieś jawne lub niejawne proxy w komunikacji z serwerem może nastąpić problem w komunikacji. Należy wtedy zainstalować serwer lokalny i zasymulować serwer licencji na swoim komputerze.

Instrukcja:

– wejdź na stronę https://www.apachefriends.org/pl/download.html [^] i pobierz najnowszą wersję programu;
– w czasie instalacji Xamppa przy kroku select components, zaznacz tylko opcję Apache, PHP
– wejdź do folderu, w którym został zainstalowany program, a następnie do katalogu „htdocs” (przy domyślnej instalacji będzie to: C:\xampp\htdocs);
– usuń wszystko z tego katalogu;
– utwórz plik api.php z zawartością:
<?php
if (array_key_exists(’version’, $_GET))
{
echo 'CURRENT’;
exit();
}
elseif (array_key_exists(’license’, $_GET))
{
echo 'FULL’;
exit();
}
echo 'ERROR’;
– zapisz plik w katalogu „htdocs”
– skopiuj plik C:\Windows\System32\drivers\etc\hosts na pulpit;
– na końcu pliku hosts dopisz linijkę: 127.0.0.1 api.automagictest.com
– zapisz plik i skopiuj go z pulpitu do katalogu C:\Windows\System32\drivers\etc zastępując plik;
– uruchom program xampp;
– uruchom serwer Apache
– uruchom aplikację Mr Buggy 4_1

 

  • Jakie są wymagania na uruchomienie Mr Buggy podczas zawodów?

Wymagania do uruchomienia Mr Buggy podczas imprezy:

– wymagana est biblioteka Microsoft .NET framework 4.5, która działa na systemach:

Windows 10, Windows 8.1, Windows 8, Windows 7 z dodatkiem SP1, Windows Vista z dodatkiem SP2

  • Defekty znalezione na MrBuggy 4_2 występujące również na wcześniejszej wersji MrBuggy 4_1 – defekty wykryte podczas regresji i retestów a punkty ujemneUdostępniona przez Organizatorów prezentacja (http://www.slideshare.net/testerzy/testingcup-2016?ref=http://testingcup.pl/mr-buggy-4-informacje-dla-zawodnikow/), opisująca zasady konkursu i podstawowe reguły, zawiera również informacje o punktacji podczas zawodów. Możemy w niej znaleźć taki punkt (slajd 23, ostatni punkt):„Za raportowanie defektu lub sugestii, który nie dotyczy funkcjonalności nowej dla wersji MrBuggy na zawodach (ten defekt występuje także na wersji udostępnionej przed zawodami) dostaje się punkty ujemne (-5 punktów)” Z drugiej jednak strony w mailu przesłanym przez Organizatorów (mail wysłany 22 kwietnia o tytule ‘Mr Buggy 4 – informacje dla zawodników’) możemy przeczytać: „Podczas samych zawodów otrzymacie aplikację Mr Buggy 4_2, którą trzeba będzie przetestować pod kątem nowych funkcji, regresji funkcjonalności z wersji 4_1 oraz wykonać retesty dla poprawek.” Nasze pytanie: Jak zatem należy raportować defekty znalezione podczas regresji fukcjonalności z wersji 4_1 oraz retestów poprawek do MrBuggy 4_1, jeśli zgodnie z regulaminem za taki raport defektu występującego na starszej wersji grożą nam punkty ujemne? Czy dobrze rozumiem, że w ramach defektów regresyjnych można raportować tylko to, co działa poprawnie na wersji 4_1, a przestało działać na wersji 4_2? A co z retestami ewentualnych poprawek (sytuacja gdy nie działało na wersji 4_1 i nadal nie działa na wersji 4_2)?

Za retesty defektów z wersji 4_1, które oznaczone są jako naprawione (a nie zostały naprawione) nie będzie punktów ujemnych. Podczas testowanie regresywnego jeśli znajdzie się defekt we wcześniej poprawnie działającej funkcji dostaje się punkty jak za każde dobre zgłoszenie (punkty dodatnie). Najważniejszą wyrocznią będzie dokument otrzymany podczas samych zawodów. Będzie tam opisane co należy robić, a czego nie robić.

  • Oczekiwana zawartość pendrive-ów otrzymanych od Organizatorów po II rundzie zawodów. W materiałach dostarczonych przez Organizatorów (slajd 28 w prezentacji opisanej we wcześniejszym punkcie) możemy przeczytać:„Po zakończeniu testowania raport z testów należy nagrać na pendrive”. Nasze pytanie: W jakiej formie powinien być wrzucony na pendrive-a raport z testów po rundzie II? Czy prosty plik zawierający skopiowaną treść raportu przesłaną przez TestingCupReport będzie odpowiedni? Jaki format pliku jest oczekiwany? Czy plik doc lub txt będzie odpowiedni?

Raport będzie automatycznie generowany w narzędziu do raportowania i ma format IDENTYFIKATOR-DRUZYNY.tcr
Należy pamiętać, że raport będzie miał formę tekstową.

  • Używanie pendrive-ów otrzymanych od Organizatorów do celów komunikacyjnych wewnątrz zespołu. Zgodnie z regulaminem imprezy:

20.2. Członkowie jednej drużyny mogą komunikować się ze sobą,

  1. W czasie trwania Rundy Pierwszej i Drugiej defektów bezwzględnie zabronione jest:

(…)

23.2. Korzystanie ze sprzętów elektronicznych, na przykład: telefony komórkowe i tablety do celów innych niż komunikacja w zespole

23.3. Korzystanie z innych urządzeń niż niewymienione w § 3.23.2 (podłączonych przewodowo lub bezprzewodowo), w tym pendrive’ów (z wyjątkiem tych dostarczonych przez Organizatora).

(…)”

W celu przyspieszenia procesu zgłaszania defektów chcielibyśmy, aby członkowie naszego zespołu pisali zgłoszenia znalezionych defektów na swoich laptopach, a później takie gotowe zgłoszenia (w formie np. plików txt) przekazywali na pendrive-ie kapitanowi, który będzie kopiował treść zgłoszeń z pendrive-a do narzędzia raportowania TestingCupReport.

Nasze pytanie:Czy pendrive-y od Organizatorów zostaną rozdane uczestnikom już przed I rundą zawodów? Jeśli tak to czy możemy używać tych pendrive-ów podczas I rundy do celów komunikacji wewnątrz zespołu, jak opisałem powyżej (przenoszenie gotowych treści raportów defektów od członków zespołu do kapitana)?

Pendrive jest dostarczany przed zawodami i może służyć do przenoszenia raportów między komputerami zawodników. Proszę pamiętać, że i tak każdy defekt musi być zreprodukowany na komputerze kapitana.

  • Dodatkowe materiały w formie papierowej przyniesione przez uczestników. Czy podczas zawodów dozwolone jest korzystanie przez uczestników z materiałów w formie papierowej przyniesionych ze sobą z zewnątrz (np. przygotowane wcześniej check-listy, szablony raportów, wydrukowane przypadki testowe)?

Nie jest to zabronione regulaminem.

  • Własna myszka i klawiatura. Zewnętrzna klawiatura oraz myszka może usprawnić i przyspieszyć pracę na laptopie. Czy podczas zawodów uczestniczy będą mogli korzystać z własnych, zewnętrznych myszek i klawiatur podpiętych do swoich laptopów?

Jeśli urządzenie zewnętrzne służy do usprawnienia posługiwania się laptopem (myszka / klawiatura) to jest ono dozwolona.

  • Według FAQ, mamy zrobić RETEST bugów z mantisa, oznaczonych jako „Naprawione”. Gdy taki Bug nadal występuje w wersji 4.2 to MAMY zaraportować na niego nowego buga. Natomiast bugi z Mantisa oznaczone jako „zaakceptowane” mają być NIE raportowane. Co z innymi statusami bugów?

Nie ma w FAQ zapisu, że retestom będą podlegać zgłoszenia z Mantisa. Jest za to zdanie: „Co raportować oraz czego nie raportować będzie opisane w dostarczonym z wersją 4_2 dokumencie.” Co należy testować i raportować będzie w dokumencie.

  • Czy będziemy mieli dostęp do Mantisa podczas zawodów? Lub czy lista „naprawionych” bugów zostanie podana w specyfikacji?

Dostępu do mantisa najpewniej nie będzie. Lista defektów będzie w dostarczonym dokumencie.

  • Czy raport ma zawierać informacje na temat wykonanej regresji oraz funkcjonalności nowych dla wersji 4.2 czy ma być to OGÓLNY raport na temat stanu jakości programu jako takiego (i zawierać podsumowanie na temat bugów z Mantisa ze statusem „zaakceptowany” z wersji 4.1?)

Ma to być ogólny raport z testów z uwzględnieniem regresji. Do Mantisa się nie powinien odnosić.

  • Chciałam zapytac jaki jest głowny cel biznesowy aplikacji? Nie do końca rozmiem co tak naprawde ta aplikacja powinna robić i jakie daje możliwośći (oprócz analizowania poprawności linków) i jak działa. Specyfikacja niestety tego nie wyjaśnia. Co wyświetla się na głownej zakładce w raporcie „Strony”? To jest mapa strony? Czy jeśli mam kilka odnośników na stronie do tej samej podstrnoy to powinny zostać wyświetlone kilka razy Jak analizuję podstronę i jest na niej link do strony głównej to cała głowna strona zostanie również przeanalizowana?

Aplikacja bazuje na http://automagictest.com

Aplikacja daje skumulowane statystyki jakości oprogramowania, które na potrzeby zawodów zostały zredukowane do automatycznej:

– analizy kodów odpowiedzi http

– analizy znaczników html

– analizy formularzy

– analizy elementów strony.

– budowania struktury (czegoś na kształt mapy strony – główna zakładka), gdzie każda strona uwzględniana jest jednokrotnie.

Jest to wspierane możliwością komentowania i manualnego ustawiania statusów dla poszczególnych stron.

Celem biznesowym jest uzyskanie automatycznie możliwie najwięcej informacji na temat jakości aplikacji webowej.

  • W drugiej rundzie zawodów konieczne będzie dostarczenie raportu z błędów. Podczas prezentacji (https://www.youtube.com/watch?v=ZAcqksl_vYQ) Radosław wspomina o 12 punktach kontrolnych dla raportów. Czy przed przygotowanie raportu dostarczona do uczestników zostanie specyfikacja raportu? Co powinien on zawierać (wspomniane 12 punktów)?

Wytyczne na stworzenie raportów nie będzie dostarczone. Raport będzie odrobinę różny niż w zeszłych latach ze względu na rozszerzone zadanie w części drugiej zawodów, ale standard dobrego raportowania jest niezmienny od lat.

  • Kiedy zostanie zablokowany mantis? Czy w poniedzialek rano tez mam sprawdzac czy ktos dodal nowe bugi

Zakładamy jego zablokowanie w piątek. Znajomość zgłoszeń z Mantis.mrbuggy.pl na pamięć nie będzie warunkiem koniecznym do wygrania podczas Mistrzostw.

  • Czy na zawodach będzie podana konkretna strona, którą będziemy mieli przeanalizować przy użyciu MrBuggy? Czy wybór strony do analizy należy do nas?

Zadanie na zawodach nie będzie wymagało wykonania analizy stron.

  • Czy wszyscy członkowie drużyny mogą raportować?

NIE. Raportuje tylko i wyłącznie kapitan drużyny i aby nie było kłopotów tylko on powinien mieć uruchomioną aplikację do raportowania.

  • Mam problemy z uruchomieniem aplikacji Reporter i Mr Buggy co zrobić?

Przede wszystkim proszę się upewnić, że ma Pan / Pani zainstalowaną najnowszą wersję Microsoft .Net Framework (wymagana jest wersja 4.5 lub nowsza).
Niektóre aplikacje antywirusowe mogą blokować uruchomienie aplikacji pochodzące z niezaufanego przez Microsoft źródła (np. Avast). Prosimy o ograniczenie ich działania w trakcie zawodów.

  • Czy można mieć lokalnie własne serwery na localhost z przykładowymi stronami?

Co nie jest zakazane regulaminem jest dozwolone. Nie będzie to jednak potrzebne do testowania nowej wersji MrBuggy.

  • Co to znaczy ze defekt ma być zreprodukowany u kapitana/uczestnika? Chodzi o to że ma być reprodukowalny?

Każdy defekt ma zostać przynajmniej raz uruchomiony na komputerze Kapitana.

  • Czy można mieć poprzednią wersję MrBuggy zainstalowaną na swoim laptopie?

Co nie jest zakazane regulaminem jest dozwolone.

Prosimy nie sugerować się opisami krytyczności z Mantisa. Za defekt drobny planujemy dawać 0pkt.