2.5 Arvioinnin luotettavuus

Arvioinnin luotettavuutta tarkastellaan arviointiprosessin onnistumisen, tehtyjen menetelmällisten ratkaisujen sekä käytetyn aineiston kattavuuden ja tarkoituksenmukaisuuden näkökulmista. Arvioinnin luotettavuutta vahvistaa se, että ammatillisen koulutuksen oppimistulosarviointeja on toteutettu yhdenmukaisella mallilla vuodesta 2007 lähtien. Arviointiprosessia ja aineistoja kehitetään säännöllisesti koulutuksen järjestäjiltä ja muilta arviointiin osallistuneilta saadun palautteen perusteella.

Maatalousalan tutkintojen arvioinnissa hyödynnettiin useita aineistoja, kuten koulutuksen järjestäjien itsearviointeja, KOSKI-tietovarannon aineistoja, ammatillisen koulutuksen opiskelija- ja työelämäpalautetta, Amisbarometria, valmistuneille suunnatun kyselyn tuloksia sekä Vipusen tilastotietoja. Valmiiden aineistojen hyödyntäminen vähensi arvioinnista aiheutuvaa kuormitusta koulutuksen järjestäjille. Yhdessä aineistot muodostavat monipuolisen kokonaiskuvan pedagogisen toiminnan laadusta ja tutkinnon suorittaneiden osaamisesta.

Koulutuksen järjestäjien itsearvioinnin toteutuksesta vastasivat arviointia varten nimetyt yhdyshenkilöt, joita tuettiin koko prosessin ajan ohjeistuksella ja tiedotuksella. Arvioinnin alussa järjestettiin webinaari, jossa käsiteltiin arvioinnin tavoitteita, toteutusta ja aikataulua. Tällä pyrittiin tukemaan tiedonkeruun laatua ja vastausaktiivisuutta. Koulutuksen järjestäjien itsearvioinnin vastausprosentti oli maatalousalan perustutkinnon osalta 100, mikä vahvistaa tulosten kattavuutta ja edustavuutta. Ammattitutkinnon osalta vastausprosentti oli 79 ja erikoisammattitutkinnon 50.

Itsearvioinnin tulosten luotettavuuden kannalta keskeistä on, kuinka hyvin kysymykset ja väittämät mittaavat arvioitavia ilmiöitä ja miten tarkasti niiden avulla voidaan arvioida pedagogista toimintaa. Luotettavuutta vahvistettiin kehittämällä itsearviointia aiemmasta ammatillisen koulutuksen oppimistulosten arvioinnista saadun palautteen perusteella. Lisäksi itsearviointiin vastattiin yleensä monitahoisena ryhmänä, johon kuului pedagogisesta toiminnasta vastaavia henkilöitä, opetus- ja ohjaushenkilöstöä sekä työelämän edustajia.

Maatalousalan perus- ja ammattitutkinnon opiskelijoiden tausta- ja suoritustiedot saatiin KOSKI-tietovarannosta. Erikoisammattitutkinnon osalta näyttöjen toteuttamista koskevat tiedot saatiin opetushallinnon tilastopalvelu Vipusesta. Aineisto on laaja, mikä tukee tulosten kattavuutta ja luotettavuutta. Opiskelijan osaamisen tulkintaan ja arviointiin liittyy kuitenkin aina arvioijasta riippuvaa tulkinnallisuutta, mikä tulee huomioida arvosanojen luotettavuutta tarkasteltaessa. Lisäksi koulutuksen järjestäjien tietojärjestelmistä KOSKI-tietovarantoon siirtyvissä tiedoissa sekä kirjaamiskäytännöissä voi esiintyä puutteita tai virheitä, jotka on syytä ottaa huomioon tuloksia tulkittaessa.

Opiskelija- ja työelämäpalautteet ovat valtakunnallisia kyselyitä, joiden tuloksia hyödynnetään koulutuksen ohjauksessa ja kehittämisessä. Tulosten tulkinnassa on huomioitava melko suuri vastaajakato sekä se, että vastaajajoukko on valikoitunut. Opiskelijapalautteen päättövaiheen kyselyyn vastaavat vain tutkinnon suorittaneet opiskelijat, eivät opintonsa keskeyttäneet. Vastaajakadon vaikutusta kuitenkin vähentää se, että tavoitellut vastaajamäärät ovat suuria.

Opiskelijoiden kokemuksista ja työelämäodotuksista saatiin tietoa Suomen Ammattiin Opiskelevien Liiton (SAKKI ry) ja Opiskelun ja koulutuksen tutkimussäätiön toteuttamasta Amisbarometrista. Amisbarometri on kaikille ammatillisessa koulutuksessa opiskeleville suunnattu kysely, jonka käytännön toteutuksesta vastaavat ammatilliset oppilaitokset jakamalla vastauslinkin opiskelijoilleen. Myös valmistuneille toteutetulla kyselyllä saatiin tietoa koulutuksen antamista työelämä- ja jatko-opintovalmiuksista. Sekä Amisbarometriin että valmistuneiden kyselyyn osallistuminen oli vapaaehtoista, mikä voi vaikuttaa aineistojen kattavuuteen ja tulosten yleistettävyyteen. Tämän vuoksi tulokset kuvaavat kyselyihin vastanneiden opiskelijoiden ja valmistuneiden näkemyksiä eivätkä ole sellaisenaan yleistettävissä kaikkiin kohderyhmän henkilöihin. Molemmat aineistot tuottivat kuitenkin arvioinnin kannalta arvokasta täydentävää tietoa ja syvensivät muiden aineistojen perusteella muodostettua kokonaiskuvaa.

Arvioinnin tulosten tulkintaan sekä johtopäätösten ja kehittämissuositusten laadintaan osallistuivat Karvin asiantuntijoiden lisäksi kolme maatalousalan tutkintojen asiantuntijaa, joista kaksi oli oppilaitoksesta ja yksi työelämästä.  Asiantuntijoiden osallistuminen vahvisti tulkintojen, johtopäätösten ja suositusten laatua ja oikeellisuutta sekä niiden käytettävyyttä koulutuksen järjestäjien, työelämän ja ammatillisen koulutuksen kehittämisen näkökulmista.