3.5 Arvioinnin luotettavuus
Arvioinnin luotettavuustarkastelussa tarkastellaan menettelyjä, joilla arvioinnin eri vaiheissa pyrittiin varmistamaan tulosten luotettavuus, sekä arviointiprosessin onnistumista kokonaisuutena. Luotettavuutta voidaan arvioida myös sen perusteella, kuinka kattavasti ja tarkoituksenmukaisesti aineisto vastaa arviointikysymyksiin.
Arvioinnin suunnitteluvaiheessa varmistettiin, että pedagogisen johtamisen kannalta tärkeät teemat ja näkökulmat sisältyvät arviointiin. Suunnittelun tueksi järjestettiin kuulemistilaisuuksia keskeisille sidosryhmille, ja niissä esiin nousseita näkemyksiä hyödynnettiin hankesuunnitelman, tiedonkeruiden sekä arvioinnin painopisteiden valmistelussa. Arvioinnin suunnittelua ja toteutusta tuki monialainen arviointiryhmä, jossa oli edustajia ammatillisesta koulutuksesta, muilta koulutusasteilta sekä tutkimuksen kentältä. Ryhmän kokoonpanossa huolehdittiin siitä, että arvioinnin kannalta olennaiset näkökulmat olivat edustettuina. Arviointiryhmä osallistui tiedonkeruiden suunnitteluun, tulosten tulkintaan sekä johtopäätösten ja kehittämissuositusten valmisteluun.
Arvioinnissa toteutettiin kyselyt ammatillisen koulutuksen järjestäjille, pedagogisille johtajille sekä opetus- ja ohjaushenkilöstölle. Aineistot muodostavat laajan ja monipuolisen kokonaisuuden pedagogisen johtamisen nykytilasta, vahvuuksista ja kehittämiskohteista ammatillisessa koulutuksessa.
Koulutuksen järjestäjien yhteyshenkilöille annettiin arvioinnin aikana tietoa arviointiprosessin etenemisestä sekä ohjeita tiedonkeruiden toteuttamiseen. Menettelyn tavoitteena oli tukea tiedonkeruun onnistumista ja edistää kyselyiden tavoittavuutta. Koulutuksen järjestäjille suunnatun taustakyselyn vastausprosentti oli 91. Pedagogisten johtajien kyselyyn vastasi 575 henkilöä 117 koulutuksen järjestäjältä, ja opetus- ja ohjaushenkilöstölle suunnattuun kyselyyn saatiin 3 473 vastausta 123 koulutuksen järjestäjältä.
Pedagogisten johtajien ja opetus- ja ohjaushenkilöstön kyselyiden yleistettävyyttä vahvistaa se, että vastaajia oli eri koulutusaloilta ja eri puolilta Suomea. Lisäksi kyselyihin saatiin vastauksia useiden eri koulutuksen järjestäjien henkilöstöltä. Yksittäisen koulutuksen järjestäjän henkilöstön osuus vastaajista oli pedagogisten johtajien kyselyssä enimmillään neljä prosenttia ja opetus- ja ohjaushenkilöstön kyselyssä enimmillään kuusi prosenttia. Koulutuksen järjestäjät, joilta saatiin eniten vastauksia kyselyihin, olivat myös opiskelijamäärältään suuria. Koska ammatillisten tutkinnon osien opettajat muodostivat 62 prosenttia vastaajista, tulokset kuvaavat erityisesti heidän kokemuksiaan pedagogisesta johtamisesta. Kyselyihin osallistui suomen- ja ruotsinkielisiä sekä kooltaan ja toimintaympäristöltään erilaisia koulutuksen järjestäjiä. Vastaajajoukon alueellinen, kielellinen ja järjestäjäkohtainen jakauma vastasi hyvin kohdejoukon rakennetta, mikä tukee tulosten edustavuutta.
Aineistojen tilastollisessa analyysissä huomioitiin kunkin aineiston ominaisuudet ja analyysimenetelmien soveltuvuus. Ryhmien välisiä eroja tarkasteltiin vastemuuttujien mitta-asteikon ja ryhmittelevien muuttujien luokkien määrän perusteella valituilla vakiintuneilla tilastollisilla menetelmillä, kuten t-testeillä ja varianssianalyyseillä. Summamuuttujien muodostamisen avulla yksittäisistä väittämistä koottiin laajempia ja sisällöllisesti kokonaisuuksia, jotka kuvaavat arvioitavia ilmiöitä yksittäisiä muuttujia luotettavammin. Summamuuttujat muodostettiin samaa ilmiötä kuvaavista väittämistä, ja niiden sisäinen johdonmukaisuus ylitti yleisesti hyväksyttynä pidetyn vähimmäisrajan (α ≥ 0,70). Näiden analyysimenetelmien käyttö vahvisti tulosten luotettavuutta.
Arvioinnin keskeisistä tuloksista, alustavista johtopäätöksistä ja kehittämisehdotuksista keskusteltiin pedagogisille johtajille suunnatussa kutsuwebinaarissa. Webinaarissa osallistujat arvioivat ennakkoon toimitettujen tulosten pohjalta pedagogisen johtamisen keskeisiä haasteita sekä mahdollisia ratkaisuja niiden käsittelemiseksi. Keskusteluissa esiin nousseet havainnot tarjosivat arvokasta lisänäkökulmaa arviointiin ja niitä hyödynnettiin johtopäätösten sekä kehittämissuositusten tarkentamisessa.
Arvioinnin tavoitteena oli tuottaa tietoa pedagogisen johtamisen kehittämisen tueksi. Samalla arviointiprosessin aikana käyty vuoropuhelu tuki kehittämistyötä jo arvioinnin toteutuksen aikana. Arvioinnin tuloksena esitetään kehittämissuosituksia, joiden tarkoituksena on vahvistaa pedagogisen johtamisen edellytyksiä, tukea koulutuksen ja opetuksen kehittämistä sekä edistää opiskelijoiden oppimista ja osaamisen saavuttamista ammatillisessa koulutuksessa.