A használat közbeni szoftvertermékek minőség mérése eltérő használói csoportokban

Az előadások a következő témára: "Networkshop 2011, Kaposvár A használat közbeni szoftvertermék minőség mérése eltérő használói csoportokban Eszenyiné dr. Borbély Mária borbely.maria@inf.unideb.hu." Dia 1
Networkshop 2011, Kaposvár A használat közbeni szoftvertermék minőség mérése eltérő használói csoportokban Eszenyiné dr. Borbély Mária
borbely.maria@inf.unideb.hu DE Informatikai Kar Könyvtárinformatikai Tanszék
Dia 2
Networkshop 2011, Kaposvár A használat közbeni szoftvertermék minőség fogalma A használat közbeni szoftvertermék minőség jelentése Nigel Bevan szerint a szoftvertermék minőségének használói nézete, a szoftverminőség jellemzőknek a felhasználókra gyakorolt kombinált hatása. Ez a hatás az adott használói környezetben mérhető a használói hatékonysággal, termelékenységgel és elégedettséggel, melyek méréséhez az ISO/IEC 9126-4 szabvány biztosít mérőszámokat.
Dia 3
Networkshop 2011, Kaposvár A kutatás célja Elsősorban arra kerestük a választ, hogy egyetemi könyvtári környezetben a használók a könyvtári katalógus használatakor mennyire tudnak hatékony, teljes és eredményes kereséseket lebonyolítani, és ezek a tényezők milyen mértékben befolyásolják a kereséshez felhasznált szoftvertermékkel kapcsolatos elégedettségüket. A kutatatás további célja volt annak kimutatása, hogy a különböző szempontok szerint definiálható használói csoportok eredményei között van-e lényeges, kimutatható különbség a keresések hatékonysága, teljessége, eredményessége és a szoftverrel kapcsolatos
elégedettségük vonatkozásában.
Dia 4
Networkshop 2011, Kaposvár Elméleti háttér és módszerek A nemzetközi szoftvertermék minőség szabványok közül napjainkra a legszélesebb körben ismert és alkalmazott az ISO/IEC 9126-os szabványcsalád. A szabványcsalád legfiatalabb tagja a 2004-ben kiadott ISO/IEC 9126-4 Quality in use metrics, mely jellemzőket definiál a szoftvertermék használókra gyakorolt hatásának kimutatására és mérőszámokat ad meg a jellemzők mérésére. Az ISO/IEC 9126-4 szabvány teljesen egyértelművé teszi, hogy a szoftvertermék használat közbeni minőségét nagymértékben befolyásolja az a környezet, amelyben felhasználásra kerül, és ez a környezet függ a használóktól és az elvégzendő feladattól. A szabvány arról is rendelkezik, hogy a szoftvertermék használat közbeni minőségének méréséhez felhasználható mérőszámokat tesztkörnyezetben ajánlatos mérni, amely jelentős mértékben nem térhet el a valós felhasználói környezettől. Lényeges módszertani elvárás, hogy a tesztkörnyezet felhasználóinak képességei hasonlóak legyenek a valós környezet használói képességeihez, mert csak így lehetséges a hatékonysági, eredményességi mérőszámokból reális következtetéseket levonni.
Dia 5
Networkshop 2011, Kaposvár Adatgyűjtés A Debreceni Egyetem Egyetemi és Nemzeti Könyvtárának Corvina OPAC-ja 4 önálló, csak a vizsgálatban résztvevők számára hozzáférhető URL címen történő eléréssel. Ezzel lehetővé vált, hogy a teszt használók kereséseinek naplófájljai a könyvtár valós használóiétól elkülönüljenek, így mérhető, értékelhető adatokat szolgáltassanak. További nagy előnye volt a zártkörű elérésnek, hogy a vizsgálatban résztvevő személyek tetszőleges helyről, és időben, a valós környezetnek maximálisan megfelelve, végezhették el keresi feladataikat a katalógusban. Azonosításukra csak az időpont és az OPAC száma szolgált, amely alapján egyértelművé vált, hogy melyik naplófájl, melyik típusba tartozó keresőhöz tartozik, illetve így lehetett a keresések
végén kitöltött szoftver-elégedettségi kérdőívet a naplófájlhoz kapcsolni. A tesztkörnyezet használói csoportját közel 100 fő alkotta, viszont a keresések naplófájljai és az elégedettségi kérdőívek átvizsgálása után már csak 58 teszthasználó munkája bizonyult teljes mértékben értékelhetőnek.
Dia 6
Networkshop 2011, Kaposvár Feladat Kedves Közreműködő! Köszönöm, hogy vállalta a részvételt a szoftvertermékek használati minőségének vizsgálatában. A feladata a következő: A megadott URL címen eléri a DE Egyetemi és Nemzeti Könyvtárának online olvasói katalógusát, az alábbi feladatokat ennek a használatával próbálja meg megoldani, az egyetemi könyvtár adatbázisában keresve. Kérem, tekintsen úgy a feladatokra, mintha saját munkájához, tanulmányaihoz, kedvteléséhez lenne szüksége azok megoldására! Mielőtt hozzákezdene a feladatok megoldásához, a mellékelt kérdőív fejlécébe írja be a pontos dátumot, időt: nap, óra, perc pontossággal, és kérem, hogy a feladatok befejezésének idejét is rögzítse ugyanitt. Akkor hagyja abba a kereséseket, ha már úgy gondolja, hogy
megoldotta a feladatokat vagy nincs további ötlete a megoldásokra. Utolsó lépésként, kérem, töltse ki a mellékelt kérdőívet! URL cím: Kérem, hogy az alábbi címet csak egyetlen egyszer, a feladatok megoldása során használja, mert egyébként lehetetlenné teszi az adatok kiértékelését!
Köszönöm. http://webpac.lib.unideb.hu:8082/WebPac4test2/CorvinaWeb http://webpac.lib.unideb.hu:8082/WebPac4test2/CorvinaWeb Feladatok:
A katonai uniformisok, a katonák viseletének fejlődése érdekli, keressen minél több dokumentumot ebben a témában! Annyira emlékszik a keresett
könyv adatai közül, hogy van a szerzők között Szabó vezetéknevű és a könyv a katolikus egyház elleni titkosszolgálati tevékenységgel foglalkozik az 1960-as 1970-es évek Magyarországán. Próbálja meg megkeresni! Diószeginé Nanszák Tímea Illemteszt címmel állított össze egy könyvet gyermekek számára, melynek tárgya a helyes viselkedés, az etikett a legkülönbözőbb helyzetekben. Keressük meg, hogy meg van-e ez a könyv a Debreceni Egyetem Egyetemi és Nemzeti Könyvtárban! Tételezzük fel, hogy tanulmányaihoz vagy munkájához szüksége lenne a génsebészet témájában 2000 és 2009 között megjelent könyv jellegű dokumentumokra.
Keresse meg ezeket az adatbázisban! Napjaink sokakat aggasztó jelensége az agresszió direkt bemutatása, megjelenése a médiában. Keressen ezzel a témával foglalkozó dokumentumokat az elektronikus katalógusban! Kérem, töltse ki a kérdőívet is!
Dia 7
Networkshop 2011, Kaposvár Használói csoportok A könyvtári információkeresésben való jártasságuk szerint: professzionális és nem professzionális használók. A professzionális használói csoportba tartoztak az egyetem könyvtáros dolgozói és könyvtár szakos hallgatói, oktatói, valamint a nem egyetemi dolgozó, külsős könyvtáros szakemberek, létszámuk 34 fő. A nem professzionális csoportot az egyetem nem könyvtáros dolgozói és nem könyvtár szakos hallgatói, valamint nem egyetemi dolgozó nem könyvtáros szakemberek, és olyan egyetemisták alkották, akik nem a DE hallgatói, létszámuk 24 fő. Nemük szerint 36 nő és 22 férfi alkotta a teszthasználók csoportját. Életkoruk szerint vegyes összetételű volt a használói csoport, de figyelembe véve az IT eszközök és szolgáltatások használatában mutatkozó trendeket, két életkori csoportot hoztunk létre, a 29 év alattiak (36 fő) és a 29 év felettiek (22 fő) csoportját. A teszthasználókat megkülönböztettük a szerint is, hogy kötődnek-e valamilyen módon az egyetemhez, így kaptuk a belső (43 fő) és külső (15 fő) használók csoportját.
Dia 8
Networkshop 2011, Kaposvár Eredmények A használat közbeni minőség mérése az ISO/IEC 9126-4 szabvány által ajánlott mérési módszerekkel történt. Mérésre és kiértékelésre került a naplófájlok alapján a feladat elvégzésének hatékonysága, a feladat teljesítésének mértékét kifejező teljesség értéke, a feladat teljesítéséhez szükséges feladatidő, a feladat megoldásának eredményessége. A használók szoftvertermékkel és annak használatával kapcsolatos elégedettségének méréséhez, mértékének kifejezéséhez a kérdőívek szolgáltattak adatokat. Az ISO/IEC 9126-4 szabvány annak megállapítása céljából, hogy a felhasználó mennyire elégedett a szoftvertermékkel, bevezette az ún. elégedettségi fok mérőszámot. Az ajánlott mérési mód a következő:X=A/B, ahol A= a
felhasználói elégedettség kérdőíven megadott számszerű értéke, B= a megkérdezettek száma. Vizsgálatunk legfőbb célja az volt, hogy objektív mérőszámok segítségével feltárjuk, hogy a szoftvertermékkel végzett munka hatékonysága, teljessége, a feladat elvégzéséhez szükséges idő és az eredményesség milyen módon és milyen mértékben befolyásolja a használói elégedettséget. Páronként vizsgáltuk a hatékonyság-elégedettség, teljesség- elégedettség, feladatidő-elégedettség
és az eredményesség-elégedettség összefüggéseit, valamint külön-külön megvizsgáltuk valamennyi változó kapcsolatát mindegyik definiált használói csoportban. A kapcsolatok szorosságát indokolt és célszerű volt egy mérőszámmal jellemezni. Ebből a célból az ún. korrelációs együtthatót alkalmaztuk.
Dia 9
Networkshop 2011, Kaposvár A hatékonyság mérése és a hatékonyság - használat közbeni szoftvertermék minőség összefüggései A hatékonyág mérése annak a meghatározására irányul, hogy milyen arányban érte el hibátlanul a feladat a kitűzött célt. A hatékonyság mérésére a szabvány is felhasználói teszteket ajánl, és a mérési módot a következőképpen határozza meg: M1= |1-?Ai|, ahol Ai a hiányzó vagy hibás eredmények aránya a kimenetben. Az eredmény annál jobb,minél inkább közelít M1 értéke az 1-hez. (ISO/IEC, 2004) Vizsgáltunkban a hatékonyság mérése azt jelentette, hogy a naplófájl alapján megszámoltuk, hogy az
öt feladat megoldása során hány keresést bonyolított le a használó, és ezek a keresések milyen eredménnyel jártak. Számoltuk az eredménytelen keresések számát, a visszakeresett, de nem releváns találatokat eredményező, tehát hibás keresések számát, valamint a visszakeresett és releváns találatokat eredményező, tehát helyes keresések számát.
Dia 10
Networkshop 2011, Kaposvár A hatékonyság számszerűsített értékei a teljes teszthasználói csoportban
Dia 11
Networkshop 2011, Kaposvár Hatékonyság és elégedettségi fok korrelációs együtthatójának értéke, r = 0,29 a teljes teszthasználói csoportban
Dia 12
Networkshop 2011, Kaposvár A teljesség mérése és a teljesség - használat közbeni szoftvertermék minőség összefüggései A teljesség mérésének célja annak meghatározása, hogy milyen mértékben lett teljesítve a feladat. A teljesség mérésére a szabvány is felhasználói teszteket ajánl, és a mérési módot a következőképpen határozza meg: X=A/B, ahol A a teljesített feladatok, míg B az összes próbálkozás száma (ISO/IEC, 2004) A vizsgálatban teljesített feladatnak tekintettünk minden feladatot, amelyik eredményt hozott, függetlenül attól, hogy az eredmény hibás vagy helyes volt-e. A teljesség mértéke annál nagyobb, minél inkább közelít az érték az 1-hez, mert ez azt jelenti, hogy a próbálkozások többsége eredményt hozott. Vizsgáltunkban a teljesség
mérése azt jelentette, hogy a naplófájl alapján megszámoltuk, hogy az öt feladat megoldása során hány keresést bonyolított le a használó, és ezek a keresések milyen eredménnyel jártak. Számoltuk a visszakeresett, de nem releváns találatokat eredményező, tehát hibás keresések számát, valamint a visszakeresett és releváns találatokat eredményező, tehát helyes keresések számát.
Dia 13
Networkshop 2011, Kaposvár A teljesség számszerűsített értékei a teljes teszthasználói csoportban
Dia 14
Networkshop 2011, Kaposvár Teljesség és elégedettségi fok korrelációs együtthatójának értéke, r = 0,18 a teljes teszthasználói csoportban
Dia 15
Networkshop 2011, Kaposvár A feladatidő mérése és a feladatidő - használat közbeni szoftvertermék minőség összefüggései A metrika célja annak a meghatározása, hogy mennyi ideig tartott a feladat teljesítése. A méréseket a szabvány ajánlása szerint felhasználói tesztekkel végezhetjük el. A mérési mód: X=Ta, ahol Ta a feladat elvégzésére fordított idő. (ISO/IEC, 2004) Minél kisebb X értéke, annál jobb, hiszen ez azt jelenti, hogy a feladat elvégzéséhez kevesebb időre volt szükség. Vizsgáltunkban a feladat elvégzésére fordított idő mérése azt jelentette, hogy a naplófájl alapján kiszámoltuk, hogy az öt feladat megoldása külön-külön mennyi ideig tartott, majd kiszámoltuk a feladatok elvégzéséhez szükséges összes időt.
Dia 16
Networkshop 2011, Kaposvár A feladatidő számszerűsített értékei a teljes teszthasználói csoportban
Dia 17
Networkshop 2011, Kaposvár A feladatidő és elégedettségi fok korrelációs együtthatójának értéke, r = -0,07 a teljes teszthasználói csoportban
Dia 18
Networkshop 2011, Kaposvár Az eredményesség mérése és az eredményesség - használat közbeni szoftvertermék minőség összefüggései A feladat eredményessége mérésének célja annak meghatározása, hogy a használók milyen hatékonysággal tudnak dolgozni a vizsgált szoftverrel. A feladat eredményességének mérésére a szabvány felhasználói teszteket ajánl, és a mérési módot a következőképpen határozza meg: X=M1/T, ahol M1 a feladat hatékonysága, T pedig a feladat elvégzésére fordított idő. A mérési mód értelmezése a következő: 0 magyar