Mr Buggy FAQ [aktualizacja]

Już tylko niespełna miesiąc dzieli nas od Mistrzostw Polski w Testowaniu Oprogramowania TestingCup 2014!

Coraz częściej piszecie do nas z pytaniami dotyczącymi Mr Buggy 2. Postanowiliśmy zebrać je w jednym miejscu i opublikować wraz z odpowiedziami.

Mr Buggy FAQ

• Jaki jest przewidziany język testowanej aplikacji (polski/angielski)?

Język polski.

• Co rozumieć przez raport końcowy? Jaką ma on mieć formę, co ma zawierać? Za pomocą jakich narzędzi ma być tworzony?

Raport końcowy jest raportem podsumowującym testowanie. Forma nie jest narzucona, ale powinien odpowiadać na potrzeby każdego zamawiającego testy w tym na potrzeby Zamawiającego opisane w http://testingcup.pl/projekt-mr-buggy-2/ Raport ma być wytworzony za pomocą edytora tekstu.

• Czy jest jakaś norma, którą należy sugerować się podczas zgłaszania defektów?

Nie.

• W jakim narzędziu będą raportowane defekty?

W edytorze tekstu. Chcemy uniknąć faworyzowania przy raportowaniu (ktoś ma doświadczenie z danym narzędziem) i jednocześnie chcemy zapewnić by raportowanie odbywało się lokalnie bez możliwości dostępu do defektów innych drużyn i zawodników.

• Co rozumiane jest jako duplikat defektu? np:

1) brak walidacji dla różnych pól tekstowych rozumiany będzie jako jeden defekt, czy jako osobne niezduplikowane defekty?
pole tekstowe email o wymaganym formacie (xxx@xxx.xxx) i pole tekstowe dla nazwiska? – duplikaty o ewentualnie różnym poziomie krytyczności, czy niezależne defekty?

Odp.: Nie jest to duplikat.

2) niepoprawne wyświetlanie zawartości graficznej w różnych miejscach aplikacji – duplikaty o ewentualnie różnym poziomie krytyczności, czy niezależne defekty?

Odp.: Niepoprawne wyświetlanie tego samego elementu w różnych miejscach aplikacji jest duplikatem.

• Czy raport błędów może zawierać załączniki? (w poprzednim roku raport błędów był w pliku txt, stąd pytanie czy dodatkowo można dołączać logi, zrzuty ekranu).

Raport może zawierać załączniki jako zewnętrzne pliki (jednoznacznie opisane w pliku tekstowym).

• Jak wygląda sprawa określenia warunków koniecznych (precondition)? Czy powinny być one szczegółowo opisywane, czy przy ich określeniu można użyć odwołania do kroków z innego zgłoszenia? Czy może wystarczy krótki, ogólny opis tego co jest konieczne przed wykonaniem kroków opisanych w zgłoszeniu?

Raport ma jednoznacznie wskazywać jak zreprodukować defekt.

• Czy dostępne podczas testów będą: myszka, klawiatura?

Tak. Klawiatura laptopa i zewnętrzna myszka.

• Czy można posiadać swoje materiały piśmiennicze (kartka, długopis, ewentualnie notatki)

Co nie jest zakazane w regulaminie Mistrzostw jest dozwolone.

• Czy będzie możliwy dostęp do sieci? (czy będzie możliwość podglądu do defektów zgłaszanych przez innego członka zespołu?)

Co nie jest zakazane w regulaminie Mistrzostw jest dozwolone.

• Jaki jest przewidziany sposób komunikacji pomiędzy uczestnikami zespołu oprócz werbalnego (jakiś komunikator)?

Co nie jest zakazane w regulaminie Mistrzostw jest dozwolone.

• Czy wymagania odnośnie testowanej aplikacji będą dostępne do wglądu wcześniej (przed zawodami)?

Nie. Informacja ta zostanie ujawniona w dniu Mistrzostw.

• Czy czas przeznaczony na rywalizację obejmuje już czas potrzebny na zapoznanie się z dokumentacją, instalację aplikacji, itd. Czy może na te czynności będzie przewidziany dodatkowy czas?

3 godziny to czas na pełne przygotowanie i przeprowadzenie testów.

• Jaka będzie forma przedstawionych wymagań (SIWZ, diagram UML etc.)?

Informacja ta zostanie ujawniona w dniu Mistrzostw.

• Co w sytuacji, gdy defekt doprowadzi do braku stabilności aplikacji lub jej dalszego błędnego działania? Czy w związku z taką sytuacją jest możliwość szybkiego przeinstalowania/reinicjalizacji aplikacji?

Tak. Zrobimy co w naszej mocy aby zapewnić stabilność środowiska, ale nie przewidzimy każdego scenariusza.

• Czy w czasie zawodów będzie możliwość zadawania pytań osobie prowadzącej?

Odpowiedź na to pytanie znajdziecie w regulaminie. Osoby na Sali będą pomagać w krytycznych przypadkach uszkodzenia hardware-u.

• Jakie są szczegółowe kryteria ocen?

Określa je regulamin Mistrzostw.

• Jakie miary / algorytmy są stosowane przy punktowaniu zgłoszonych błędów?

Określa je regulamin Mistrzostw. 

• W szczególności jakie elementy są obowiązkowe (brak jakich) powoduje obniżenie punktacji?

Ta informacja nie będzie podana. Chodzi o użycie elementów, które są wystarczające do reprodukcji i określenia krytyczności.

• Czy są narzucone jakieś standardy (np. określona lista typów „ważności” i „priorytetów” z których należy wybierać?) zgłaszania błędu?

Nie.

• Jakie miary / algorytmy są stosowane przy punktowaniu raportu z testów?

Ta informacja nie będzie podana. Chodzi o użycie elementów, które są wystarczające do reprodukcji i określenia krytyczności.

• W szczególności jakie elementy są obowiązkowe (brak jakich) powoduje obniżenie punktacji?

Ta informacja nie będzie podana.

• Czy każdy błąd powinien być (może być) opisany w osobnym pliku?

Nie. W jednym raporcie.

• Czy są jakieś wymagania odnośnie nazywania plików?

Nie będzie podane przed Mistrzostwami.

• Jak wygląda proces zdania raportu z listą błędów? (zostawiamy na komputerze / przesyłamy gdzieś / zgrywamy na pendrive / inne )

Kopia raportu musi być pozostawiona na komputerze. Udostępniony zostanie pendrive do zgrania raportu.

• Jak wygląda proces wymiany plików pomiędzy drużyną? Skoro pendrive są zakazane to jak należy to robić?

Co nie jest zakazane w regulaminie Mistrzostw jest dozwolone.

• Czy będzie dostęp do Internetu w czasie Mistrzostw (dla drużyny)?

Nie gwarantujemy dostępu do Internetu.

• Jaki system operacyjny będzie zainstalowany na komputerach?

Windows.

• Jakie narzędzia dostarcza organizator?

Aplikację Mr Buggy. Preferowane edytory tekstu.

• Czy programy / systemy wpierające testowanie (online) są liczone jako „własne oprogramowanie”?

Nie, ale ostatecznie definiuje to regulamin Mistrzostw.

• Czy doinstalowanie pluginów do przeglądarki liczy się jako „własne narzędzia”?

Tak.

• Czy można na konkurs przynieść jakieś materiały pomocnicze w formie papierowej?

Co nie jest zakazane w regulaminie Mistrzostw jest dozwolone.

• Skoro Mr Buggy 2 jest aplikacją webową to jakie oprogramowanie zostanie nam udostępnione przez organizatorów? W regulaminie nie ma tego wyszczególnionego. Chodzi mi przede wszystkim o przeglądarki oraz wtyczki do nich.

Środowiska testowe będą zawierały przeglądarkę na jakiej należy testować aplikację. Będzie to podstawowa instalacja bez wtyczek.

• Czy jest wiedza odnośnie narzędzi czy środowisk jaką należy posiadać, a która może pomóc w testowaniu?

Organizatorzy zakładają absolutną prostotę środowiska. Podstawowa znajomość systemu operacyjnego Windows, systemu operacyjnego Ubuntu, aplikacji Oracle VM VirtualBox na pewno nie zaszkodzi. Podstawowe umiejętności jak wykonywanie i edytowanie zrzutów ekranu, umiejętność posługiwania się edytorem tekstu, umiejętność kopiowania tekstu w maszynie wirtualnej i wklejania w maszynie rzeczywistej na pewno będą działały na korzyść uczestników.

 

Jak Organizatorzy podchodzą do Mistrzostw?

1. PRAWO. Co nie jest zakazane regulaminem jest dozwolone. Prosimy o zapoznanie się z nim przed Mistrzostwami.

2. UNIFIKACJA i PROSTOTA. Narzędzia jakie dostarczamy stanowią absolutne podstawy środowiska testowego. Wszyscy mają ten sam punkt startowy. Nikt (ze względu na swoje doświadczenia) nie jest faworyzowany. Nie narzędzia testują, a testerzy.

3. RYZYKO. Nasze działania próbują kompensować wszelkiego rodzaju ryzyka jakie mogą zakłócić przebieg Mistrzostw. Udało nam się to w zeszłym roku. Mamy nadzieję, że uda się w tym.

4. PRZYGOTOWANIE. Zachęcamy do przygotowania się. To co wyróżnia Mistrzów to zebranie informacji i ich wykorzystanie. Wiecie jak wyglądało testowanie w 2013 roku i bardzo podobnych warunków możecie spodziewać się w 2014.