Havainnot
Seuraavaksi tarkastellaan keskusteluaineistoa viiden eri näkökulman kautta: tuotettu arviointitieto, arviointitiedon hyödyntäminen, kehittävä arviointi, eri toimijaryhmät ja viestintä.
Tuotettu arviointitieto
Arvioinnissa tuotettua tietoa voidaan tarkastella niin siitä näkökulmasta, millaista tuotettu tieto on kuin siitä, miten se esitetään. Onko tieto määrällistä vai laadullista? Onko kyseessä seuranta- tai trenditieto? Tuotetaanko suosituksia vai esitelläänkö hyviä käytäntöjä? Onko kyseessä laaja arviointiraportti vai lyhyempi kooste? Keskustelutilaisuuksista muodostuneen aineiston perusteella jokaiselle näille on paikkansa: erilaisiin tarkoituksiin ja erilaisille toimijaryhmille tarvitaan eritasoista tietoa erilaisin tavoin esitettynä.
Keskustelutilaisuuksiin osallistuneet korostivat määrällisen tiedon merkitystä ja sen käytettävyyttä tiedolla johtamisen tukena. Määrällinen tieto nähdään vaikuttavana erityisesti, kun halutaan tarkastella esimerkiksi kunnan omaa suoriutumista suhteessa muihin kuntiin. Vertailutietoa hyödynnetään niin kehittämiskohteiden määrittämisessä kuin resurssien kohdentamisessa. Määrällisen tiedon avulla voidaan myös rakentaa esimerkiksi omia mittareita arviointiin.
Myös laadullisella tiedolla on tärkeä rooli ymmärryksen syventämisessä, tulosten tulkinnassa ja kontekstin sekä toimintaympäristön kuvaamisessa. Sen asema nähdään erityisen tärkeänä määrällisen-/tilastotiedon tukena tai selittäjänä.
Riippumatta siitä, perustuuko arviointiraportti määrälliseen, laadulliseen tai monimenetelmällisesti kerättyyn tietoon, raportteihin sisältyvät kehittämissuositukset koetaan yksinomaan positiivisina. Ne nähtiin raporttien keskeisenä sisältönä. Samoin hyvien käytänteiden jakaminen tuo tuloksiin konkretiaa ja herättää ajattelua ja keskustelua niiden ympärillä.
Tiivistahtisessa ja niukasti resursoidussa arjessa tulosten esittämiseltä toivotaan valmiita tiivistelmiä – infograafeja, esityksiä, videoita – mielellään eri toimijaryhmille suunnattuina. Tiivistävien esitysten rinnalla, niiden pohjana, kuitenkin tunnustetaan myös pidemmän, yksityiskohtaisen arviointiraportin tarve, siinä esitetyt tulokset antavat perustelut ja tarvittavan tuen esimerkiksi päätöksentekoon.
Arviointitiedon ansiona nähdään niin Karvin asiantuntijuus kuin tiedon tuotannon luotettavuus. Karvi kokonaisuudessaan koetaan luotettavaksi tiedontuottajaksi. Keskustelijat kokivat arviointitiedon perustumisen laajoihin aineistonkeruisiin ja eri toimijaryhmien vahvaan kuulemiseen olevan keskeinen tiedon luotettavuuden tekijä.
Arviointitiedon hyödyntäminen
Keskustelutilaisuuksiin ilmoittautuneista 103 henkilöstä 59 % kertoi hyödyntäneensä Karvin tuottamaa arviointitietoa päätöksenteossa tai koulutuksen kehittämisessä. Ilmoittautuneista 21 % puolestaan kertoi, että eivät ole hyödyntäneen arviointietoa. Loput 20 % eivät osanneet sanoa, ovatko hyödyntäneet arviointitietoa päätöksenteossa tai koulutuksen kehittämisessä.
Tarkasteltaessa Karvin kevään 2025 sidosryhmäkyselyyn annettuja vastauksia yhdessä varhaiskasvatuksen ja esi- ja perusopetuksen näkökulmista, on hyödyntämisen taso keskimäärin sama kuin edellä esitetty keskustelutilaisuuksiin ilmoittautuneiden vastaama hyödyntämisen taso, eli noin 60 % vastaajista kertoi hyödyntävänsä Karvin arviointitietoa. Huomion arvoista on kuitenkin se, että vain varhaiskasvatuksen näkökulmasta vastauksensa antaneilla toimijoilla hyödyntäminen on huomattavasti suurempaa verrattuna vain esi- ja perusopetuksen näkökulmasta vastanneiden toimijoiden vastauksiin hyödyntämisen tasosta. Varhaiskasvatuksen osalta (n=91) vastanneista 79 % kertoi hyödyntäneensä Karvin arviointitietoa toiminnassaan, esi- ja perusopetuksen (n=85) kohdalla puolestaan vain 41 % kertoi tietoa hyödyntävänsä. Esi- ja perusopetuksen vastaajista 36 % vastasi, että ei osaa sanoa onko hyödyntänyt tietoa ja 22 % kertoi, että ei ollut hyödyntänyt tietoa. Vastaavat luvut varhaiskasvatuksen vastaajien osalta oli 12 % ja 9 %.
Keskusteluaineiston perusteella Karvin arviointitietoa hyödynnetään arjessa työskentelyn, kehittämisen, päätöksenteon ja keskustelun tukena. Edellä esitetyn mukaisesti erilaisia raportoinnin tapoja toivotaan, jotta tietoa voidaan hyödyntää mahdollisimman monipuolisesti eri toimijatasoilla. Keskeistä käytännön hyödyntämisessä on se, että arviointitietoa on saatavilla sellaisessa muodossa, että siitä on helppo nostaa syötteitä keskusteluihin eri tahojen – opettajat, rehtorit, johtajat, päättäjät, alueelliset verkostot – kanssa tai kesken.
Tiedolla johtamisen kohdalla keskeistä on arviointitiedon hyödyntäminen kehittämisen ja päätöksenteon tukena monella eri tasolla. Kunnan sivistys-/opetustoimella on keskeinen rooli tiedolla johtamisen näkökulmasta. Arvioinneista saatua tietoa voidaan käyttää esimerkiksi talousarvion suunnittelun tukena tai henkilöstökoulutusten teemojen valitsemisessa.
Keskustelutilaisuuksiin osallistuneet opetus- ja sivistystoimen edustajat toivat esiin, että kuntapäättäjätasolle tietoa toivotaan enemmän käyttöön päätöksenteon tueksi. Kuntapäättäjätason toimijoille, eli esimerkiksi lautakuntien ja valtuustojen jäsenille suunnatun tiedon tulisi olla hyvin tiivistetyssä muodossa, sisältäen vain päätöksenteon kannalta olennaiset pääkohdat. Sivistys- tai opetustoimen viranhaltijat puolestaan edellä esitetyn mukaisesti kaipaavat tiivistetyn tiedon rinnalle myös pidempiä raportteja valmistelutyön tueksi.
Koulu- tai varhaiskasvatusyksikkötasolla tietoa käytetään arjen työskentelyn tukena. Rehtorit käyttävät arviointitietoa esimerkiksi pedagogisen johtamisen tukena tai tuen riittävyyden kysymyksiä käsiteltäessä. Joitakin kertoja keskusteluissa nostettiin esiin myös opettajien kiinnostus arviointitietoa kohtaan, erityisesti varhaiskasvatuksessa Varhaiskasvatuksen laadunarviointijärjestelmä Valssin käyttöönoton myötä arviointituloksia ja suosituksia käytetään arjen työskentelyn tukena; tietoa voidaan hyödyntää asiakirjojen – esimerkiksi lasten varhaiskasvatussuunnitelmien – laadinnassa.
Kehittävä arviointi
Keskustelutilaisuuksissa sivistys- ja opetustoimen edustajat nostivat keskustelut tärkeiksi väyliksi arviointitulosten- ja tiedon käsittelylle, kuten edellä on esitetty. Kehittävän arvioinnin periaatteissa keskustelu ja osallistaminen ovat keskeisessä roolissa myös arviointitiedon keräämisen vaiheessa. Tämä tunnistettiin myös tässä kerätyssä aineistossa. Esimerkiksi edellä esiin nostetulla Valssilla koettiin olevan hyvin positiivisia vaikutuksia myös sisäiseen kehittämiseen kunnissa ja varhaiskasvatusyksiköissä. Valssilla toteutetut arvioinnit ovat luoneet uusia mahdollisuuksia keskustelulle ja reflektiolle.
Erityisesti erilaisissa teema- ja järjestelmäarvioinneissa tyypillinen tiedonkeruuntapa on esimerkiksi koulujen henkilöstölle tai koulutuksen järjestäjän edustajille suunnatut itsearviointikyselyt. Aineiston perusteella koettiin tärkeänä, että tällaisiin tiedonkeruisiin vastattiin yhdessä ryhmänä keskustellen. Näin luodaan samalla paikkoja uusille oivalluksille ja yhteisen ymmärryksen rakentamiselle teemojen ympärillä. Tiedonkeruisiin vastaaminen monien eri toimijaryhmien tai eri yksiköiden edustajien kanssa mahdollistaa myös ajantasaisen, moninäkökulmaisen, tilannekuvan luomisen käsiteltävien teemojen toteutumisen tasosta kunnassa.
Keskustelun mahdollisuuksia toivotaan laajemmin myös alueellisesti verrokkikuntien, muiden esimerkiksi maantieteellisesti samantyyppisessä asemassa olevien toimijoiden, kanssa. Karvin aineistonkeruissa tällaisia keskusteluja hyödynnetään esimerkiksi fokusryhmähaastatteluissa, joissa kuntien edustajia tietyistä toimijaryhmistä kutsutaan keskustelemaan arvioitavan teeman ympärille. Arviointitiedonkeruiden lisäksi toivottiin kuitenkin myös tulosten ympärille rakentuvia tilaisuuksia keskustelulle.
Kehittävän arvioinnin toimintatavoista myös arviointiprosessin moniin eri vaiheisiin kiinnittävä prosessityöskentely koettiin vahvasti omaa toimintaa ja sen kehittämistä tukevana. Esimerkkejä tällaisesta prosessityöskentelystä ovat virtuaalisten alustojen kautta tapahtuva toistuva osallistuminen ja kommentointi tai vaikkapa alueellinen verkostokehittäminen, jossa reaaliaikainen arviointi kytkeytyy alueellisiin kehittämisprojekteihin.
Eri toimijaryhmät
Kuten jo edellä on tullut ilmi, kunnissa arviointitietoa hyödyntävät monet erilaiset toimijaryhmät. Eri toimijoilla on myös erilaiset roolit arviointitiedon käsittelyssä. Tähän työnjakoon vaikuttaa myös kunnan koko.
Pienissä kunnissa arviointitiedon käsittely voi olla yhden sivistys-/opetustoimenjohtajan vastuulla, jolloin resurssit ja aika raporttien läpikäyntiin voivat olla hyvin rajallisia. Kuitenkin yleisenä toimintatapana on, että tällaisen henkilön vastuulla on käydä läpi arviointitietoa ja poimia niistä nostoja niin rehtoreille, päiväkodin johtajille ja opettajille työn tueksi kuin myös päätöksenteossa käytettäväksi. Isommissa kunnissa arviointitiedon käsittely voi olla suuremmassa roolissa yhden henkilön työnkuvaa. Vastaavasti kuitenkin niissä käsiteltävää tietoa oman kunnan tilanteesta on myös enemmän.
Nämä resurssirajoitteet huomioiden, tärkeänä toiveena aineistossa nostetaan esiin Karvin tuottamien erilaisten, eri toimijaryhmille suunnattujen, tiivistelmien rooli arviointitiedon vaikuttavassa hyödyntämisessä. Ajan ja resurssien puute kunnissa ja toisaalta eri lähteistä tulevan tiedon suuri määrä vaikuttaa myös siihen, että tutustuminen arviointitietoon saattaa jäädä pintapuoliseksi.
Resurssit ja aikataulut nostetaan esiin myös kyselyjen vastaamisen näkökulmasta. Tässä kohtaa opettajilla toimijaryhmänä on keskeinen rooli kattavan arviointitiedon keräämisen näkökulmasta. Eri toimijoilta tulevien tiedonkeruiden suuren määrän ja mahdollisen päällekkäisyyden nähdään vaikuttavan niillä tuotetun tiedon luotettavuuteen. Se, että kouluissa on lakisääteisten arviointitiedonkeruiden aikaan paljon muita tiedonkeruita voi siis vaikuttaa myös kerätyn arviointitiedon luotettavuuteen, kun kyselyihin vastaaminen alkaa puuduttaa ja niihin keskittymiseen ei tunnu olevan aikaa. Kunnissa tehdään priorisointia niin siinä, mihin tiedonkeruisiin on mahdollista panostaa kuin siinä millä tasolla tuotettuun tietoon on mahdollista syventyä.
Se mistä tieto on peräisin, nähdään vaikuttavan siihen, miten eri toimijaryhmät suhtautuvat uuteen tietoon ja sen perusteella tapahtuvaan kehittämiseen. Koska Karvi nähdään kunnissa kaiken kaikkiaan luotettavana tiedontuottajana, koetaan tärkeänä, että Karvi tuottaisi tiivistelmiä arviointitiedoista eri toimijaryhmille suunnattuina. Eli esimerkiksi oma kooste – tiivistelmänä, diaesityksenä tai infograafina – opettajille ja oma kuntapäättäjille. Se, että tieto tulisi suoraan Karvilta, eikä esimerkiksi rehtorin tai sivistysjohtajan koostamana, koettiin siis tiedon käyttöönottoa ja näin sen vaikuttavuutta parantavana tekijänä.
Arviointitiedolla tunnistettiin olevan paljon myös välillisiä vaikutuksia tai niin sanottua taustavaikuttavuutta, erilaisten säännös- ja perusteuudistusten ja rahoitusohjauksen taustalla. Keskustelijat toivoivat, että Karvin arviointitiedon rooli näkysi entistä paremmin näissä kansallisen tason toimissa. Uudistuksiin suhtautumisen ja sitoutumisen eri toimijaryhmissä ajatellaan parantuvan, jos niiden tietoperusta olisi paremmin näkyvillä.
Viestintä
Arviointi itsessään on jo viestintää, mikä näkyy myös edellä esiin nostetuissa teemoissa, esimerkiksi raportoinnin ja tiivistämisen tavoista tehdyissä nostoissa. Viestintä ja sen toimivuus koko koulutusjärjestelmän eri tasoilla onkin keskeisessä roolissa arviointitiedon hyödyntämisessä ja vaikuttavuudessa: viestinnän pullonkaulat ja katkot tiedonkulussa eri toimijaryhmien välillä vaikuttavat vahvasti tiedon hyödyntämisen mahdollisuuksiin ja sen vaikuttavuuteen.
Karvin viestinnän tavoista uutiskirjeet koetaan hyviksi tietokoosteiksi. Niistä, yhdessä verkkosivujen kanssa, löydetään suuri osa oleelliseksi koetusta tiedosta. Mutta myös viestinnän osalta nostettiin esiin eri toimijaryhmät: kohdennetummalle ja reaaliaikaisemmalle viestinnälle nähtiin tarvetta.
Niin viestinnällisesti kuin laajemmin alueellisen ja myös kansallisen toiminnan tueksi kaivataan Karvin vahvempaa jalkautumista kentälle sekä erilaisten tilaisuuksien ja koulutusten järjestämistä tai sellaisiin osallistumista. Niin ajankohtaisen arviointitiedon ympärille luodut keskustelut kuin arviointiedon tuominen erilaisiin tilaisuuksiin tai keskusteluihin nähdään keskeisiksi arviointitiedon vaikuttavuuden välineiksi.