3.4 Tulosten analysointi ja raportointi
Koulutuksen järjestäjille suunnatussa taustakyselyssä vastaajat arvioivat pedagogisen johtamisen vastuiden jakautumista ja johtamista ohjaavien linjauksien olemassaoloa asteikolla kyllä – ei. Arvioinnissa toteutetut opetus- ja ohjaushenkilöstön ja pedagogisten johtajien kyselyt sisälsivät monivalintakysymyksiä ja avokysymyksiä. Monivalintakysymyksissä käytettiin pääsääntöisesti viisiportaista asteikkoa. Opetus- ja ohjaushenkilöstön ja pedagogisten johtajien kyselyissä vastaajat ilmaisivat mielipiteensä opetuksen ja ohjauksen johtamista, osaamisen johtamista ja kehittämistä sekä toimintakulttuurin johtamista koskeviin väittämiin asteikolla täysin eri mieltä – täysin samaa mieltä. Lisäksi vastaajat arvioivat pedagogisessa johtamisessa sekä opetuksen ja ohjauksen kehittämisessä käytettyjen palaute- ja arviointitietojen hyödyntämistä asteikolla erittäin vähän – erittäin paljon. Edellä mainittujen asteikoiden lisäksi pedagogisten johtajien kyselyssä vastaajat arvioivat henkilöstön osaamisen johtamisen ja kehittämisen, pedagogisten linjausten ja toimintaperiaatteiden ja tutkinnon perusteiden tavoitteiden mukaisen opetuksen ja ohjauksen toteutumista asteikolla erittäin huonosti – erittäin hyvin. Kyselyissä vastaajilla oli mahdollisuus valita osassa kysymyksistä vaihtoehto ”en osaa sanoa” tai ”ei koske minua”. Kyselyissä vastaajat pystyivät myös jättämään vastaamatta väittämään tai kysymykseen. Opetus- ja ohjaushenkilöstön ja pedagogisten johtajien kyselyissä oli lisäksi avoimia kysymyksiä.
Kyselyissä vastaajia pyydettiin arvioimaan väittämiä pääasiassa viisiportaisella asteikolla, jonka vastausvaihtoehdot olivat: täysin eri mieltä, jokseenkin eri mieltä, osin samaa osin eri mieltä, jokseenkin samaa mieltä ja täysin samaa mieltä. Kyselyssä käytettiin myös toista viisiportaista asteikkoa: toteutuu erittäin huonosti - toteutuu erittäin hyvin. Tulosten sanallisessa kuvailussa vastausvaihtoehtojen ”jokseenkin samaa mieltä” ja ”täysin samaa mieltä” yhteenlasketusta osuudesta käytetään ilmausta ”samaa mieltä”. Vastaavasti vastausvaihtoehtojen ”jokseenkin eri mieltä” ja ”täysin eri mieltä” yhteenlasketusta osuudesta käytetään ilmausta ”eri mieltä”. Samoin ”toteutuu erittäin hyvin” ja ”toteutuu hyvin” yhteenlasketusta osuudesta käytetään sanallista ilmaisua ”toteutuu hyvin” ja vastaavasti ”toteutuu erittäin huonosti” ja ”toteutuu huonosti” käytetään ilmaisua ”toteutuu huonosti”. Lisäksi kyselyissä oli avokysymyksiä.
Opetus- ja ohjaushenkilöstön ja pedagogisten johtajien kyselyiden vastauksia tarkasteltiin ja analysoitiin suhteessa eri taustamuuttujiin. Taustamuuttujatarkasteluun sisällytettiin vain arvioinnin tavoitteiden ja arviointikysymysten kannalta olennaisiksi arvioidut taustamuuttujat. Taustamuuttujien valinta perustui arvioinnin toteuttaneiden asiantuntijoiden harkintaan sekä aiempaan arviointitietoon. Tarkasteltuja taustamuuttujia olivat molempien kyselyiden osalta koulutuksen järjestäjän opiskelijamäärä, kieli, oppilaitostyyppi sekä vastaajan sukupuoli. Pedagogisten johtajien taustamuuttujatarkasteluissa käytettiin vastaajan johtamiskokemusta, pedagogista koulutusta sekä roolia pedagogisessa johtamisessa. Opetus- ja ohjaushenkilöstön kyselyssä taustamuuttujana käytettiin vastaajan työtehtävää sekä koulutusalaa, jolla he työskentelivät. Taustamuuttujatarkasteluissa käytetyt koulutuksen järjestäjän taustatiedot, kuten opiskelijamäärä, opetuskieli ja oppilaitostyyppi, perustuvat Vipusen tietoihin. Analyysia varten joidenkin taustamuuttujien luokkia yhdisteltiin tai rajattiin sisällöllisesti isompiin kokonaisuuksiin. Kaikki käytetyt taustamuuttujat kuvataan liitteessä 1.
Kyselyaineiston tuloksia tarkasteltiin useista väittämistä muodostettujen summamuuttujien avulla. Summamuuttujat muodostettiin eksploratiivisen faktorianalyysin tulosten perusteella sisällöllisesti toisiaan kuvaavista väittämistä. Summamuuttujien sisäistä johdonmukaisuutta arvioitiin Cronbachin alfa -kertoimen avulla. Raportissa käytettyjen summamuuttujien sisältämät väittämät on esitetty liitteissä 2. ja 3.
Avovastaukset luokiteltiin sisällönanalyysia hyödyntäen. Luokkien sisältöä kuvataan sanallisesti ja joidenkin kuvausten yhteydessä on esitetty suoria lainauksia. Määrälliset aineistot analysoitiin frekvenssi- ja prosenttijakaumien sekä keskiarvojen avulla. Ryhmien välisiä keskiarvoeroja analysoitiin riippumattomien otosten t-testillä tai yksisuuntaisella varianssianalyysilla (ANOVA) taustamuuttujan ryhmien lukumäärästä riippuen. Varianssien yhtäsuuruutta arvioitiin Levenen testillä, ja oletuksen rikkoutuessa käytettiin Welchin t-testiä tai Welchin varianssianalyysia. Varianssianalyysissa havaittuja tilastollisesti merkitseviä ryhmäeroja tarkasteltiin Games-Howellin post hoc -vertailuilla, joiden avulla tunnistettiin toisistaan poikkeavat ryhmät.
Tulosten tulkinnassa huomioitiin tilastollisen merkitsevyyden lisäksi vaikutusten käytännön merkitys efektikokojen avulla. Efektikokona käytettiin t-testin yhteydessä Cohenin d:tä (d) ja varianssianalyysin yhteydessä epsilon-neliötä (ε²). Tilastollisen merkitsevyyden rajaksi asetettiin p < 0,05. Varianssianalyysin ja t-testin osalta raportissa esitellään vain tulokset, jos tilastollinen merkitsevyys on <0,001 ja efektikoko on vähintään pieni. Tarkat merkitsevyystasot (p-arvot) ja efektikoot (d- ja ε²-arvot) on kuvattu raportin liitteissä. Karkeat rajat efektikoon suuruudelle ovat seuraavat: Cohenin d: pieni efektikoko < 0,20; keskisuuri efektikoko noin 0,50 ja suuri efektikoko > 0,80, epsilon-neliö: ε²: pieni efektikoko < 0,01; keskisuuri efektikoko noin 0,06 ja suuri efektikoko > 0,14.
Arvioinnissa hyödynnettiin Microsoft Copilot Chat -tekoälypalvelua opetus- ja ohjaushenkilöstön sekä johdon kyselyjen avovastausten luokittelussa ja teemoittelussa. Tekoälyä käytettiin myös johtopäätösten ja kehittämissuositusten ideoinnin, jäsentämisen ja laadinnan tukena. Tekoälylle esitetyt kysymykset perustuivat arvioinnissa analysoituun aineistoon ja siitä tehtyihin havaintoihin. Tekoälyn tuottamia ehdotuksia arvioitiin kriittisesti suhteessa aineistoon ja arviointikysymyksiin. Lopulliset johtopäätökset ja kehittämissuositukset ovat arvioijien laatimia, ja arvioijat vastaavat niiden sisällöstä. Lisäksi tekoälyä hyödynnettiin kielenhuollon tukena esimerkiksi tekstin selkeyttämisessä ja tiivistämisessä sekä kuvioiden, taulukoiden ja otsikoiden nimeämisessä.