3.6 Luotettavuus
Arvioinnin luotettavuustarkastelussa tarkastellaan menettelyjä, joita arvioinnin eri vaiheissa on tehty luotettavuuden varmistamiseksi sekä prosessin onnistumista. Lisäksi luotettavuuden mittarina voidaan pitää sitä, onko kerätty aineisto tarpeeksi laajaa ja onko aineisto relevanttia arviointikysymysten kannalta.
Arvioinnin suunnitteluvaiheessa tavoitteena oli varmistaa, että arvioinnin teeman kannalta keskeiset sisällöt ja näkökulmat tulevat huomioiduksi. Suunnittelun pohjaksi Karvissa laadittiin keväällä 2024 laaja tilastokatsaus (Hievanen ym. 2024), jossa tarkasteltiin ammatillisen tutkinnon suorittaneiden sijoittumista vuosi, kolme vuotta ja viisi vuotta tutkinnon suorittamisen jälkeen. Arvioinnin suunnitteluvaiheessa järjestettiin kuulemistilaisuuksia keskeisille sidosryhmille. Tilaisuuksissa kertynyttä tietoa hyödynnettiin hankesuunnitelman valmistelussa, arvioinnin teemojen määrittelyssä ja kyselyiden laadinnassa. Arvioinnin suunnittelussa ja toteutuksessa Karvin asiantuntijoiden tukena toimi monitahoinen arviointiryhmä, johon kuului ammatillisen koulutuksen, työnantajien, työntekijöiden sekä tutkimuksen edustajia. Arviointiryhmää kootessa varmistettiin, että mukana on edustajia eri puolilta maata sekä suomen- ja ruotsinkielisiltä koulutuksen järjestäjiltä. Arviointiryhmän jäsenillä oli keskeinen rooli arviointikysymysten viimeistelyssä ja tiedonkeruiden suunnittelussa sekä johtopäätösten ja kehittämissuositusten laadinnassa. Kansainvälinen paneeli keskittyi työssään koulutusjärjestelmätason vahvuuksien ja kehittämiskohteiden tunnistamiseen sekä kansallisten ja kansainvälisten hyvien käytäntöjen tunnistamiseen. Heidän työskentelynsä kuvataan erillisessä raportissa (Jørgensen ym. 2026).
Arviointitietoa hankittiin eri toimijoilta. Karvi toteutti kyselyt ammatillisen koulutuksen järjestäjille, opetus- ja ohjaushenkilöstölle ja ammatillisen perustutkinnon suorittaneille. Yhteistyössä EK:n, Suomen Yrittäjien ja KT:n kanssa toteutettiin kyselyt työnantajille. Kokonaisuutena aineistot muodostavat monipuolisen kuvan ammatillisen perustutkinnon suorittaneiden työllistymisestä, työelämän osaamistarpeiden ennakoinnista, opiskelijoiden työllistymismahdollisuuksien tukemisesta koulutuksen aikana, tutkinnon suorittaneiden ammattitaidosta ja työelämävalmiuksista sekä työllistymismahdollisuuksien edistämiseen liittyvistä kehittämistarpeista.
Koulutuksen järjestäjien yhteyshenkilöitä tiedotettiin arvioinnin eri vaiheissa arvioinnin toteutukseen liittyvistä asioista ja ohjeistettiin tiedonkeruun organisoinnissa. Tällä pyrittiin osaltaan varmistamaan tiedonkeruun laatua ja hyvää vastausprosenttia kyselyihin. Ammatillisen koulutuksen järjestäjille suunnatun kyselyn vastausprosentti olikin korkea (93 %). Ammatillisen koulutuksen järjestäjille suunnattuun kyselyyn saatiin vastauksia eri puolilta Suomea, suomen- ja ruotsinkielisiltä järjestäjiltä sekä erityyppisiltä ja kokoisilta järjestäjiltä. Kyselyyn vastanneiden järjestäjien kielellinen, koon mukainen ja alueellinen jakauma vastaa hyvin kaikkien kohderyhmään kuuluvien järjestäjien jakaumaa. Ammatillisen koulutuksen järjestäjien opetus- ja ohjaushenkilöstölle suunnattuun kyselyyn vastasi yhteensä 2 666 henkilöä. Henkilöstölle suunnatun kyselyn yleistettävyyttä parantaa se, että vastaajia oli eri koulutusaloilta ja 90 ammatilliselta koulutuksen järjestäjältä. Toisaalta on huomioitava, että 9 prosenttia henkilöstön kyselyyn vastanneista työskenteli yhden järjestäjän palveluksessa. Henkilöstölle suunnatun kyselyn tulokset kertovat ensisijaisesti ammatillisia tutkinnon osia opettavien kokemuksista, sillä he muodostivat lähes 70 prosenttia vastaajista.
Työnantajilta kerättiin tietoa yhteistyössä EK:n, Suomen Yrittäjien ja KT:n kanssa. EK:n ja Suomen Yrittäjien jäsenyrityksiltä kerättiin tietoa osana heidän vuosittaisia jäsenkyselyjään. KT:lla ei ole vastaavaa säännönmukaista tiedonkeruuta jäsenilleen, joten he toteuttivat jäsenilleen erillisen kyselyn. Työnantajille suunnattujen kyselyn suunnittelussa ja väittämien muotoiluissa tehtiin yhteistyötä kyselyt toteuttaneiden organisaatioiden kanssa, mikä vaikutti myös väittämien muotoiluun ja kyselyiden tekniseen toteutukseen. Kyselyiden teemat ja pääosa väittämistä olivat kuitenkin samat kaikissa kyselyissä. EK, Suomen Yrittäjät ja KT vastasivat kyselyiden levittämisestä jäsenilleen. EK:n kyselyyn vastasi 639, Suomen Yrittäjien kyselyyn 1 077 ja KT:n kyselyyn 341 vastaajaa. Kaikilta vastaajilta selvitettiin, oliko heillä ollut viimeisen vuoden aikana työelämässä oppijoita tai olivatko he palkanneet ammatillisen perustutkinnon suorittaneita vastavalmistuneita nuoria. Niitä työnantajia, jotka olivat palkanneet ammatillisen perustutkinnon suorittaneita nuoria, pyydettiin arvioimaan nuorten osaamista ja rekrytointia sekä ammatillisen koulutuksen vastaavuutta organisaation tarpeisiin. Tällä pyrittiin varmistamaan, että ammatillisen koulutuksen vaikuttavuutta arvioivat organisaatiot, joilla on kokemusta ammatillisesta koulutuksesta valmistuneista. Ennen kyselyaineistojen toimittamista Karviin EK ja Suomen Yrittäjät painottivat ne vastaamaan jäsenkuntaansa, vastausten edustavuuden parantamiseksi. EK:n kysely painotettiin henkilöstömäärällä ja Suomen Yrittäjien henkilöstömäärän ja yritysmuodon perusteella. KT:n kyselyn tuloksia ei ole painotettu, mikä on syytä ottaa huomioon tuloksia tulkittaessa ja eri aineistoja vertailtaessa. KT:n kyselyyn vastasi 341 jäsenorganisaatiota, joista 19 oli hyvinvointialan työnantajia (N = 21), 144 kunta-alan työnantajia (N = 308) ja 166 KT:n yrityspuolen työnantajia (N = 474).
Ammatillisen perustutkinnon suorittaneiden kysely lähettiin Karvin toimesta kaikille 1.1.2022–31.7.2024 välillä tutkinnon suorittaneille. Tieto tutkinnon suorittaneista saatiin Koski-rekisteristä ja tutkinnon suorittajien sähköpostiosoitteet Digi- ja Väestötietovirastosta. Tietojen poiminnasta vastasi Opetushallitus. Kyselyyn vastasi 6 286 tutkinnon suorittanutta. Kyselyn vastausprosentti oli 8. Kyselyyn vastanneiden määrää laskee se, että kysely ei tavoittanut kaikkia kohderyhmään kuuluvia. Osa tutkinnon suorittaneiden sähköpostiosoitteista ei toiminut. Osalla vastaajista viesti meni roskapostikansioon. On myös mahdollista, että Karvi ei välttämättä ollut monelle tutkinnon suorittaneelle ennestään tuttu toimija, mikä saattoi vähentää vastaushalukkuutta. Lisäksi ennakoimattomaksi haasteeksi osoittautui se, että Googlen Gmail-sähköpostiohjelma tulkitsi joidenkin vastaajien kohdalla Karvin lähettämän viestin massapostituksena toteutetuksi roskapostiksi ja esti viestin perille menon. Karvin tiedossa ei ole tapahtuiko tätä muiden sähköpostipalvelimien kohdalla. Vastaanottajien suuren määrän ja viestien toistuvien toimitusyritysten vuoksi ei ollut mahdollista pitää tarkkaa kirjaa siitä, kuinka moni vastaanottaja jäi kyselyn tavoittamattomiin, vaikka viestit palautuivatkin Karviin.
Perustutkinnon suorittaneiden kyselyyn oli mahdollista vastata suomeksi ja ruotsiksi. Jos kyselyyn olisi ollut mahdollista vastata myös englanniksi, olisi se voinut lisätä jonkin verran vastausten määrää. Toisaalta valtaosa perustutkintokoulutuksen opiskelijoista opiskelee suomen- tai ruotsikielissä koulutuksissa, joten tästä syystä englanninkielistä kyselyä ei pidetty tarpeellisena. Perustutkinnon suorittaneille suunnattuun kyselyyn saatiin vastauksia eri koulutuksen järjestäjien oppilaitoksissa opiskelleilta, eri perustutkintoja suorittaneilta vastaajilta. Aineisto painottuu ammatillisen koulutuksen suurimmille aloille: terveys- ja hyvinvointialoilla opiskelleiden osuus oli 34 prosenttia, tekniikan aloilla opiskelleiden 20 prosenttia ja palvelualoilla opiskelleiden 14 prosenttia vastaajista. Terveys- ja hyvinvointialoilta valmistuneiden osuus on aineistossa jonkin verran suurempi ja tekniikan aloilta ja palvelualoilta valmistuneiden pienempi kuin perusjoukossa. Tutkintotasolla tarkasteltuna vastaajien joukossa oli eniten sosiaali- ja terveysalan (25 % vastaajista) ja liiketoiminnan perustutkinnon (13 % vastaajista) suorittaneita. Liiketoiminnan perustutkinnon osalta vastaajien osuus vastaa perusjoukkoa, sosiaali- ja terveysalan perustutkinnon suorittaneiden osuus taas on jonkin verran suurempi kuin perusjoukossa.
Aineistojen tilastollisessa analyysissä huomioitiin aineistojen ominaisuudet. Ryhmien välisten erojen tarkasteluissa käytettiin vakiintuneita tilastollisia menetelmiä, kuten t-testiä ja varianssianalyysiä, sekä ei-parametria testejä niissä tapauksissa, joissa perinteisten testien oletukset eivät täyttyneet. Työnantajakyselyiden analysoinnissa huomioitiin painotetut aineistot, ja käytettiin SPSS Complex Sample -menetelmiä (GLM ja Crosstabs).
Summamuuttujia muodostamalla saatiin yksittäisiä väittämiä laajempia ja sisällöllisesti kattavampia sekä luotettavampia mittareita. Summamuuttujiksi valittiin vain ne, joiden sisäinen yhdenmukaisuus Cronbachin alfalla mitattuna oli riittävä. Näiden menetelmien käyttö lisäsi analyysin validiteettia ja vähensi virheellisten johtopäätösten riskiä.
Arvioinnin tuloksia julkaistiin vaiheittain arviointiprosessin aikana, ja samalla tuotiin esiin myös arvioinnissa tunnistettuja hyviä käytäntöjä työllistymisen tukemiseksi. Arvioinnin tuloksista, alustavista johtopäätöksistä ja kehittämisen suuntaviivoista keskusteltiin kaikille avoimessa kehittämiswebinaarissa yhdessä sidosryhmien kanssa. Webinaarin tavoitteena oli pohtia yhteisesti, miten ammatillisen perustutkinnon suorittaneiden työllistymistä voidaan tukea ja edistää. Pienryhmäkeskusteluissa esiin nousseet näkökulmat tukivat arviointiryhmän työtä kehittämissuositusten viimeistelyssä ja tarkentamisessa.
Arvioinnin tavoitteena oli tuottaa tietoa työllistymisen edistämisen tueksi. Samalla arviointiprosessin aikana käyty keskustelu pyrki tukemaan toiminnan kehittämistä jo arvioinnin kuluessa. Arvioinnin lopputuloksena esitetään kehittämissuosituksia, joiden tarkoituksena on tukea ammatillisen perustutkintokoulutuksen kehittämistä siten, että opiskelijoiden työllistymisen edellytykset vahvistuvat.