Datavaalit Syksyn kunnallisvaalien yhteydessä on mahdollisuus kokeilla vaaleihin ja päätöksentekoon liittyvän tiedonlouhinnan mahdollisuuksia ja tuoda esiin kehityskohteita päätöksentekoon kytkeytyvien tietoaineistojen saatavuuden ja yhteiskunnan läpinäkyvyyden lisäämiseksi. Aiheen tiimoilta on käynnistynyt ruohonjuuritason Datavaalit-tempaus, jossa eri toimijat keräävät, pöyhivät, ja julkaisevat vaaleihin liittyvää dataa ja sen pohjalta tehtäviä havaintoja. Datavaalit-tempauksella ei ole muodollista organisaatiota, vaan aiheesta kiinnostuneet ovat tervetulleita liittymään mukaan itselleen sopivalla tavalla. Ideoita ja tietolähteitä on koottuna täällä. Jos aihepiiri kiinnostaa, nyt on hyvä aika hypätä kelkkaan. Louhos-tiimimme on mukana Datavaalit-tempauksessa kehittämällä yhteisövetoista soRvi-ohjelmakirjastoa yhteiskunnan tietovirtojen seulontaan.
Vaalitilastojen kokoaminen Aloitimme kunnallisvaaleihin valmistautumisen keräämällä Helsingin Sanomien pyynnöstä kattavan paketin kuntatason sosioekonomista dataa ja aiempiin vaaleihin liittyviä tilastoja valmiiksi esikäsitellyssä taulukkomuodossa yhdistämällä Tilastokeskuksen ja Maanmittauslaitoksen avoimia kuntatason aineistoja. Data sisältää kuntatason tietoja väestöstä, koulutuksesta, työttömyydestä, ja muista indikaattoreista yhdistettynä kunnallisvaalien tuloksiin vuosilta 2000, 2004 ja 20008 sekä eduskuntavaalien tuloksiin vuosilta 2007 ja 2011. Aineistoja hyödynnetään mm. maanantain 21.5.2012 HS Open-tapahtumassa, jossa koodaajien, graafikoiden ja toimittajien muodostamat tiimit pöyhivät tätä ja muita kunnallisvaaleihin liittyviä datoja. Jäämme mielenkiinnolla odottamaan, mitä tapahtuman osallistujat löytävät näiden tietoaineistojen kätköistä.
Hakurutiinit soRviin Esikäsitellyt kuntatason tietoaineistot ovat ladattavissa yllä olevan linkin kautta HS:n palvelimelta, mutta tämän blogipostauksen lopussa olevalla soRvi-kirjastoon pohjautuvalla koodilla niiden automaattinen luku onnistuu myös suoraan alkuperäislähteistä. Koodissa käytetyt hakurutiinit ovat toistaiseksi saatavilla vain soRvin GitHub-kehitysversion kautta. Tiedot on nyt koostettu kaksiulotteisiksi taulukoiksi, sillä näiden käsittely ja yhdistely muihin tietoihin onnistuu helposti tavanomaisilla taulukko-ohjelmilla. Haittana on, että taulukon metatietoja joudutaan kokoamaan tekstimuotoon otsikkoriville. Automatisoidun analyysin kannalta moniulotteiset taulukot ja tietokantapohjaiset esitysmuodot olisivat optimaalisempia. Pyrimme jatkossa kehittämään soRvi-kirjastoa myös tältä osin ja uudet ehdotukset ja kontribuutiot ovat tervetulleita.
Ongelmia Tilastokeskuksen aineistoilla Aineistoja kootessamme havaitsimme, että Tilastokeskuksen avointen aineistojen luku vaatii pelkästään Windowsilla toimivaa ja suljetusti lisensoitua PX-Edit-ohjelmaa. Tämä muodostaa merkittävän pullonkaulan Tilastokeskuksen avointen aineistojen automatisoidulle saatavuudelle ja käytölle: 2621 avoimesta datataulukosta vain 29% (761 tiedostoa) oli automatisoidusti luettavissa verkon yli R-kielen valmiilla hakurutiineilla. Toistaiseksi PX-Edit näyttää olevan ainoa loppuun viilattu ohjelma Tilastokeskuksen käyttämän dataformaatin lukuun, mutta ohjelma toimii vain Windowsilla, sen käyttöä verkon yli ei saa kohtuullisella työmäärällä automatisoitua, ja lisenssiehdot hankaloittavat vaihtoehtoisten lukurutiinien tuottamista. Toivommekin Tilastokeskuksen jakavan avoimet aineistonsa jatkossa myös XML-tiedostoina tai muussa standardimuodossa, jolloin niiden luku ja automatisoitu yhdistely muihin tietoaineistoihin sujuvoituisi merkittävässä määrin kasvattaen entisestään tämän laadukkaan datakokoelman merkitystä ja arvoa.
Alla vielä lähdekoodi, jolla Tilastokeskuksen vaali- ja kunta-aineistojen haku ja yhdistely alkuperäislähteistä onnistuu soRvin kehitysversiolla >0.1.70.
# This file is a part of the soRvi program 0.1.70
# louhos.github.com/sorvi/
# Copyright (C) 2012 Leo Lahti, Juuso Parkkinen and Joona Lehtomäki.
# All rights reserved. Contact: <http://louhos.github.com/contact.html>
# This program is open source software; you can redistribute it and/or
# modify it under the terms of the FreeBSD License (keep this notice):
# http://en.wikipedia.org/wiki/BSD_licenses
# This program is distributed in the hope that it will be useful,
# but WITHOUT ANY WARRANTY; without even the implied warranty of
# MERCHANTABILITY or FITNESS FOR A PARTICULAR PURPOSE.
##########################################################################
#
# This script was used to retrieve and preprocess
# Finnish election data tables for HSOpen 5/2012
#
##########################################################################
library(sorvi)
tabs <- NULL
print("Tilastokeskus")
# (C) Tilastokeskus 2012
# "http://pxweb2.stat.fi/Database/Kuntien%20perustiedot/Kuntien%20perustiedot/Kuntaportaali.px
statfi <- GetMunicipalityInfoStatFi()
municipalities <- rownames(statfi)
write.table(statfi[municipalities, ], file = "HSOpen/Tilastokeskus-KuntienAvainluvut.csv", sep = ";", quote = FALSE, row.names = FALSE)
tabs <- statfi[municipalities, ]
##########################################################################
print("MML")
# (C) MML 2012
# http://www.maanmittauslaitos.fi/aineistot-palvelut/digitaaliset-tuotteet/ilmaiset-aineistot/hankinta
data(MML)
mml <- GetMunicipalityInfoMML(MML)
write.table(mml[municipalities, ], file = "HSOpen/MML.csv", sep = ";", quote = FALSE, row.names = FALSE)
tabs <- cbind(tabs, mml[municipalities, ])
##########################################################################
print("Eduskuntavaalit 2007-2011")
tab <- GetParliamentaryElectionData("municipality")
# Match election data with other municipality data and write to output
write.table(tab[municipalities,], file = "HSOpen/Eduskuntavaalit_2007_2011.csv", sep = ";", quote = FALSE, row.names = FALSE)
tabs <- cbind(tabs, tab[municipalities, ])
##############################################################################
print("Kunnallisvaalit 2000")
tab <- GetMunicipalElectionData2000("all.municipality.level.data")
# Match election data with other municipality data
write.table(tab[municipalities,], file = "HSOpen/Kunnallisvaalit2000.csv", sep = ";", quote = FALSE, row.names = FALSE)
tabs <- cbind(tabs, tab[municipalities, ])
###############################################
print("Kunnallisvaalit 2004")
tab <- GetMunicipalElectionData2004("all.municipal")
inds <- match(municipalities, rownames(tab))
write.table(tab[inds,], file = "HSOpen/Kunnallisvaalit2004.csv", sep = ";", quote = FALSE, row.names = FALSE)
tabs <- cbind(tabs, tab[inds, ])
##############################################################################
print("Kunnallisvaalit 2008")
tab <- GetMunicipalElectionData2008("all.municipal")
inds <- match(municipalities, rownames(tab))
write.table(tab[inds,], file = "HSOpen/Kunnallisvaalit2008.csv", sep = ";", quote = FALSE, row.names = FALSE)
tabs <- cbind(tabs, tab[inds, ])
###############################################
# Kaikki taulukot - kooste:
write.table(tabs, file = "HSOpen/HSOpenKuntadata.csv", sep = ";", quote = FALSE, row.names = FALSE)
