2.5 Arvioinnin luotettavuus
Arvioinnin luotettavuutta tarkastellaan arviointiprosessin onnistumisen, tehtyjen menetelmällisten ratkaisujen sekä käytetyn aineiston kattavuuden ja tarkoituksenmukaisuuden näkökulmista. Arvioinnin luotettavuutta vahvistaa se, että ammatillisen koulutuksen oppimistulosarviointeja on toteutettu yhdenmukaisella mallilla vuodesta 2007 lähtien. Arviointiprosessia ja aineistoja kehitetään säännöllisesti koulutuksen järjestäjiltä ja muilta arviointiin osallistuneilta saadun palautteen perusteella.
Tanssialan perustutkinnon arvioinnissa hyödynnettiin useita aineistoja, kuten koulutuksen järjestäjien itsearviointeja, KOSKI-tietovarannon aineistoja, ammatillisen koulutuksen opiskelija- ja työelämäpalautetta, valmistuneille suunnatun kyselyn tuloksia sekä Vipusen tilastotietoja. Valmiiden aineistojen hyödyntäminen vähensi arvioinnista aiheutuvaa kuormitusta koulutuksen järjestäjille. Yhdessä aineistot muodostavat monipuolisen kokonaiskuvan pedagogisen toiminnan laadusta ja tutkinnon suorittaneiden osaamisesta.
Koulutuksen järjestäjien itsearvioinnin toteutuksesta vastasivat arviointia varten nimetyt yhdyshenkilöt, joita tuettiin koko prosessin ajan ohjeistuksella ja tiedotuksella. Arvioinnin alussa järjestettiin webinaari, jossa käsiteltiin arvioinnin tavoitteita, toteutusta ja aikataulua. Tällä pyrittiin tukemaan tiedonkeruun laatua ja vastausaktiivisuutta. Kaikki tanssialan perustutkintoa järjestävät koulutuksen järjestäjät (N = 5) osallistuivat itsearviointiin, joten vastausprosentti oli 100.
Itsearvioinnin tulosten luotettavuuden kannalta keskeistä on, kuinka hyvin kysymykset ja väittämät mittaavat arvioitavia ilmiöitä ja miten tarkasti niiden avulla voidaan arvioida pedagogista toimintaa. Luotettavuutta vahvistettiin kehittämällä itsearviointia aiemmasta ammatillisen koulutuksen oppimistulosten arvioinnista saadun palautteen perusteella. Lisäksi itsearviointiin vastattiin yleensä monitahoisena ryhmänä, johon kuului pedagogisesta toiminnasta vastaavia henkilöitä, opetus- ja ohjaushenkilöstöä sekä työelämän edustajia.
Tanssialan perustutkinnon arvosana- ja näyttötiedot saatiin KOSKI-tietovarannosta. Aineisto on laaja, mikä vahvistaa tulosten luotettavuutta. Toisaalta opiskelijan osaamisen tulkintaan ja arviointiin liittyy aina arvioijasta riippuvaa tulkinnallisuutta, mikä tulee huomioida arvosanojen luotettavuutta tarkasteltaessa. Oppimistulosten arviointi edellyttää muun muassa arvioijasta ja toimintaympäristön vaatimuksista johtuvien arviointiin vaikuttavien tekijöiden tunnistamista ja tiedostamista. Lisäksi tiedossa on, että tietojen siirtymisessä koulutuksen järjestäjien omista tietojärjestelmistä KOSKI-tietovarantoon on joissakin tapauksissa esiintynyt puutteita. Myös koulutuksen järjestäjien kirjaamiskäytännöissä voi olla vaihtelua tai virheitä, jotka heijastuvat KOSKI-aineistoon ja on syytä ottaa huomioon tuloksia tulkittaessa.
Opiskelija- ja työelämäpalautteet ovat valtakunnallisia kyselyitä, joiden tuloksia hyödynnetään koulutuksen ohjauksessa ja kehittämisessä. Tulosten tulkinnassa on huomioitava melko suuri vastaajakato sekä se, että vastaajajoukko on valikoitunut. Opiskelijapalautteen päättövaiheen kyselyyn vastaavat vain tutkinnon suorittaneet opiskelijat, eivät opintonsa keskeyttäneet. Vastaajakadon vaikutusta kuitenkin vähentää se, että tavoitellut vastaajamäärät ovat suuria.
Arvioinnin tulosten tulkintaan sekä johtopäätösten ja kehittämissuositusten laadintaan osallistui Karvin asiantuntijoiden lisäksi kolme tanssi- ja sirkusalan asiantuntijaa. Asiantuntijoiden osallistuminen vahvisti tulkintojen, johtopäätösten ja suositusten laatua ja oikeellisuutta sekä niiden käytettävyyttä koulutuksen järjestäjien, työelämän ja ammatillisen koulutuksen kehittämisen näkökulmista.