4.7 Arvioinnin luotettavuuden tarkastelua
Kansallisen tiedonkeruun toteuttaminen ensimmäistä kertaa Valssi-järjestelmällä toteutui suunnitellusti, ja lopullinen aineisto kattoi laaja-alaisen määrän varhaiskasvatuksen henkilöstöä ja johtoa eri kunnista, yksityisistä organisaatioista ja tehtäväryhmistä. Arvioinnin kunta- ja toimipaikkatasoisia vastausprosentteja voidaan pitää hyvinä, vastauksia saatiin paljon ja vastaukset kertyivät tasaisesti eri puolilta maata. En osaa sanoa -vastausten osuus aineistossa oli vähäinen, mikä viittaa siihen, että vastaajat mielsivät kysymykset pääosin selkeiksi ja pystyivät antamaan arvion tarkastelluista ilmiöistä. Myös tiedonkeruusta saatu palaute oli enimmäkseen myönteistä, ja vastaajat arvioivat kyselyn teknisesti toimivaksi ja selkeäksi. Paikoin henkilöstön arviot kysymysten osuvuudesta olivat kuitenkin kriittisiä, mikä voi viestiä siitä, että kaikki väittämät eivät kytkeytyneet heidän työhönsä luontevasti.
Aineisto analysoitiin kuvailevin tilastollisin menetelmin, joita täydennettiin ryhmittäisillä tarkasteluilla silloin, kun erot olivat sisällöllisesti merkityksellisiä. Avoimet vastaukset analysoitiin laadullisella sisällönanalyysilla ja niillä pyrittiin syventämään määrällisiä havaintoja. Avovastaukset raportoitiin määrällisten tulosten yhteydessä, jolloin niitä voitiin hyödyntää tulosten tarkempaan kuvailuun ja tulkintojen täsmentämiseen. Näin haluttiin lisätä ymmärrystä laadunhallinnan toteuttamisesta sekä organisaatioiden että päiväkotien tasoilla.
Arvioinnin metodologisiin valintoihin liittyy joitakin rajoituksia. Koska arviointiaineisto kerättiin kyselyin, jotka perustuivat johdon ja henkilöstön itsearviointiin, tulokset ovat väistämättä subjektiivisia. Ne voivat heijastaa vastaajien yksilöllisiä kokemuksia ja näkyä painotuksina vastauksissa. Itsearviointi tarjoaa kuitenkin arvokasta kokemustietoa käytäntöjen toteutumisesta.
Kyselyssä ei myöskään ollut yhtenäistä määritelmää sille, mitä toteutuminen heikosti, kohtalaisesti tai hyvin tarkoittaa kunkin kysymyksen kohdalla. On siis mahdollista, että vastaajat ovat arvioineet väittämien toteutumista eri kriteereillä. Toisaalta aiheiden ja näkökulmien ollessa väittämäkohtaisia ei ollut mahdollista määritellä tarkkaan, mitä kyseisen väittämän toteutumisen tulisi käytännössä sisältää. Voidaan kuitenkin olettaa, että ymmärrys siitä, mitä yleisesti ottaen tarkoitetaan jonkin tavoitteen toteutumisella heikosti, kohtalaisesti tai hyvin, on melko yhteneväinen. Heikko toteutuminen tarkoittaa useita selkeitä puutteita, kohtalainen joitain kehittämiskohteita ja joitain vahvuuksia ja hyvä toteutuminen useita vahvuuksia ja suhteessa niihin pieniä kehittämisen kohteita.
Jatkossa on kuitenkin tarpeen pohtia yhtenäisen määrittelyn lisäämistä kyselyyn, jotta vastausten arviointiperusteiden yhtenäisyys vahvistuu. Kokoavasti voidaan todeta, että arviointi tarjoaa informatiivisen ja monipuolisen kuvan varhaiskasvatuksen laadunhallinnan nykytilan vahvuuksista ja kehittämistarpeista.