4.5 Analyysimenetelmät
Määrällisten aineistojen analyysit
Raportin tilastolliset tarkastelut toteutettiin IBM SPSS Statistics 31- ja R-ohjelmistoilla. Aineistoa kuvaillaan pääosin frekvenssien ja prosenttiosuuksien avulla. Strukturoiduista kysymyksistä esitetään tavallisesti vastausvaihtoehtojen suhteelliset jakaumat koko aineistossa. Kuvailevien tarkastelujen lisäksi joidenkin kysymysten yhteydessä tarkasteltiin ryhmien välisiä eroja. Useamman kuin kahden ryhmän vertailuissa tarkasteltiin myös ryhmien välisiä parittaisia eroja. Monivalintakysymyksissä ryhmien välisiä eroja tarkasteltiin lisäksi vertaamalla yksittäisten vastausvaihtoehtojen valinneiden osuuksia ryhmien välillä. Kullekin vastausvaihtoehdolle testattiin erikseen, erosivatko ryhmien prosenttiosuudet toisistaan.
Ryhmien välisten erojen suuruutta arvioitiin ensisijaisesti Varghan ja Delaneyn A-efektikoolla (Vargha & Delaney, 2000). Varghan ja Delaneyn A kuvaa todennäköisyyttä sille, että satunnaisesti yhdestä ryhmästä valitun vastaajan arvo on suurempi kuin toisesta ryhmästä valitun vastaajan arvo. Efektikoon tulkinnassa käytettiin raja-arvoja 0,56, 0,64 ja 0,71, jotka vastaavat likimääräisesti Cohenin d:n raja-arvoja 0,2, 0,5 ja 0,8. Alle 0,56:n efektikoon erot olivat tämän tulkinnan mukaan niin vähäisiä, ettei niitä ole raportoitu.
Ryhmien välisten erojen tilastollista merkitsevyyttä arvioitiin varianssianalyysilla ja kahden ryhmän vertailuissa t-testillä tai Mann-Whitney U -testillä. Kategoristen taustamuuttujien välisiä yhteyksiä tarkasteltiin khiin neliö -testillä ja yhteyden voimakkuutta Cramérin V -efektikoolla. Cramérin V saa arvoja välillä 0–1, ja sen tulkinnassa käytettiin suuntaa antavina raja-arvoina 0,10 pienelle, 0,30 keskisuurelle ja 0,50 suurelle efektille.
Raportoituja vastausluokkien välisiä eroja on tulkittu katsomalla sovitettuja standardoituja jäännöksiä (adjusted standardized residuals, ASR), jotka osoittavat, missä taulukon solussa havaittu ja odotettu frekvenssi poikkeavat toisistaan tilastollisesti merkitsevästi. Raja-arvona sovitettujen standardoitujen jäännösten tarkastelussa on käytetty arvoja +/-2. Taulukoissa on merkitty ne solut, joissa ryhmien väliset erot vastausvaihtoehdossa ovat tilastollisesti merkitseviä.
Tilastollisen merkitsevyyden rajana käytettiin rajaa p ≤ 0,05. Tilastollinen merkitsevyys tarkoittaa, että havaitun suuruinen tai sitä suurempi ero olisi epätodennäköinen, jos ryhmien välillä ei olisi todellista eroa. Erityisesti suurissa aineistoissa myös käytännössä pienet erot voivat kuitenkin olla tilastollisesti merkitseviä. Tämän vuoksi tulosten tulkinnassa painotettiin tilastollisen merkitsevyyden ohella efektikoon suuruutta.
Avovastausten laadulliset analyysit
Varhaiskasvatuksen johdolle ja henkilöstölle suunnatut kyselyt sisälsivät avokysymyksiä, joiden avulla syvennettiin strukturoitujen väittämien tuottamaa tietoa sekä tarkasteltiin vastaajien näkemyksiä arvioitavista ilmiöistä. Avokysymykset mahdollistivat myös sellaisten laadunhallintaan liittyvien teemojen tunnistamisen, joita ei ollut mahdollista tavoittaa ennalta määriteltyjen vastausvaihtoehtojen avulla. Vastaukset vaihtelivat muutamista asiasanoista useita virkkeitä sisältäviin kuvauksiin.
Avovastausten analysoinnissa sovellettiin aineistolähtöistä teema-analyysia (mm. Braun & Clarke, 2006). Aineistosta tunnistettiin teemoja ja niihin liittyviä toistuvia käsitteellisiä kokonaisuuksia, jotka kuvasivat vastaajien näkemyksiä organisaationsa tai päiväkotinsa laadunhallinnasta. Koska monet vastaukset sisälsivät useita erilaisia näkökulmia, yksittäinen vastaus voitiin luokitella useaan teemaan. Raportissa laadullista aineistoa ei esitetä lukumäärinä tai prosenttiosuuksina vaan sitä käytetään täydentämään ja havainnollistamaan määrällisten tulosten tulkintaa.
Ylimpään johtoon kuuluvilta kysyttiin heidän organisaatiossaan käytössä olevista arviointimalleista, -menetelmistä ja -tavoista. Saadut avovastaukset (n = 388) analysoitiin aineistolähtöisesti ja niiden perusteella muodostettiin yhdeksän teemaluokkaa. Tarkastelu osoitti, että vastaajat kuvasivat arviointi- ja laadunhallintamenetelmiä omasta tehtävästään ja organisatorisesta asemastaan käsin. Osa menetelmistä oli käytössä koko organisaatiossa, kuten kunnissa tai suuremmissa ketjuissa, osa kohdistui päiväkotitasolle, esimerkiksi yksityisessä päiväkodissa, ja osa lapsiryhmätasolle. Tarkemmat kuvaukset löytyvät luvusta 5.2.
Tämän jälkeen ylimmän johdon edustajia pyydettiin kuvaamaan 1–3 keskeistä tapaa, joilla heidän organisaatiossaan oli kehitetty laadunhallinnan toimivuutta viime vuosina. Vastauksia saatiin yhteensä 381, ja niistä tunnistettiin aineistolähtöisesti seitsemän teemaluokkaa. Vastauksissa kuvattiin sekä toimenpiteitä, joilla laadunhallinnan toimivuutta oli vahvistettu, että näkemyksiä tulevaisuuden muutoksista, jotka edellyttävät laadunhallinnan suunnittelun ja toteutuksen uudistamista valtakunnallisella, paikallisella ja arjen toimintaa koskevalla tasolla. Näitä tuloksia tarkastellaan luvussa 5.3.
Niin ikään samassa luvussa kuvataan ylimmän johdon näkemyksiä varhaiskasvatuksen lähitulevaisuudesta ja siitä, millaiset muutokset tulevat vaikuttamaan organisaatioiden laadunhallintaan. Vastauksissa (n = 320) tuotiin esiin sekä varhaiskasvatuksen rakenteisiin liittyviä muutoksia, kuten järjestämisen edellytyksiä, resursseja ja velvoitteita, että toiminnan sisältöihin liittyviä muutoksia, esimerkiksi arjen käytäntöjä, osaamisvaatimuksia ja sidosryhmien odotuksia. Yhteensä eri teemaluokkia tunnistettiin seitsemän.
Luvussa 6 strukturoitujen väittämien tuottamia tuloksia täydennetään avokysymysten avulla kerätyllä aineistolla. Kaikkia johtajakyselyyn vastanneita ylimmän johdon edustajia, asiantuntijoita ja päiväkodin johtajia pyydettiin kertomaan organisaationsa laadunhallinnan vahvuuksista (n = 603) ja kehittämiskohteista (n = 542). Aineistosta tunnistettiin kahdeksan laadunhallinnan vahvuuksia kuvaavaa teemaa ja seitsemän kehittämiskohteita kuvaavaa teemaa. Analyysitaulukot esitetään liitteissä 1 ja 2.
Henkilöstön edustajia pyydettiin arvioimaan päiväkodin toimintaa kahden avoimen kysymyksen avulla. Heiltä kysyttiin, mitkä asiat arjessa toimivat hyvin ja tukee kehittämistä ja mitkä puolestaan vaikeuttavat toiminnan kehittämistä. Aineisto luettiin aluksi kokonaisuudessaan läpi ilman luokittelua ja keskeisiä havaintoja kirjattiin analyysin tueksi. Henkilöstövastausten suuren määrän vuoksi aineistossa havaittiin kyllääntymistä, eli samat teemat alkoivat toistua ilman, että ne tuottivat tutkimuskysymysten kannalta olennaista uutta tietoa. Tämän takia kummastakin kysymyksestä muodostettiin satunnaistettu 10 prosentin otos, joka sisälsi yhteensä 673 vastausta.
Tyhjien vastausten poistamisen jälkeen lopulliseen analyysiin sisältyi 421 arjen laatutyötä tukevia tekijöitä kuvaavaa vastausta ja 381 toiminnan kehittämistä haastavia tekijöitä kuvaavaa henkilöstön vastausta. Ensimmäisellä analyysikierroksella aineistoon perehdyttiin kokonaisuutena, minkä jälkeen vastaukset teemoiteltiin. Tämän jälkeen analyysia täydennettiin 150 satunnaisesti valitulla vastauksella kummastakin kysymyksestä. Lisäanalyysi vahvisti, että esiin nousseet teemat kuvasivat aineiston keskeisiä sisältöjä kattavasti. Aineistosta tunnistettiin seitsemän toiminnan kehittämisen vahvuuksia kuvaavaa teemaa ja yhdeksän kehittämistä haastavaa teemaa. Henkilöstön näkemyksiä toiminnan vahvuuksista ja kehittämisen haasteista tarkastellaan luvussa 6, ja analyysitaulukot esitetään liitteessä 3.