Skip to main content

2.6 Filtrering av datasettutvalg

Filtrering av datasett gjøres på to måter: Gjennom å bruke kommandoene drop eller keep etter at man først har laget et datasett ved hjelp av en import-kommando, eller ved å bruke opsjonene values() eller values_from() i forbindelse med en import-kommando. Det er også mulig å lage et tilfeldig uttrekk fra et datasett gjennom kommandoen sample.

Bruk av kommandoene drop, keep og sample​

Eksempel på bruk av drop, der man fjerner alle menn fra utvalget:

 
import ds/BEFOLKNING_KJOENN as kjønn
drop if kjønn == '1'

If-betingelser kan brukes i mange sammenhenger i microdata.no, og kan bygges opp med de vanlige logiske operatorene:

  • Større enn: >

  • Mindre enn: <

  • Er lik: ==

  • Større enn eller lik: >=

  • Mindre enn eller lik: <=

  • Er ulik: !=

  • Eller: |

  • Og: &

For å fjerne personer under 18 år fra utvalget, kan en skrive følgende:

 keep if alder >= 18 eller drop if alder < 18

Verdi for manglende data ("missingverdier") kan angis på følgende måte:

 sysmiss(<variabel>)

For å fjerne alle individer uten oppgitt lønnsinntekt, kan en da skrive:

 drop if sysmiss(lønn)

Det er også mulig å trekke et tilfeldig utvalg av en datapopulasjon. Dette gjøres med kommandoen sample. Den krever to inputs: Først størrelsen på utvalget (enten et heltall eller et desimaltall der du alternativt angir prosentvis uttrekk), deretter et tilfeldig tall som fungerer som et "seed". Når du bruker det samme "seedet", vil uttrekket alltid trekke ut de samme individene. Eksempel: sample 0.5 12345 trekker ut et 50% utvalg fra datasettet du står i, med seedet 12345.

Bruk av opsjonene values() og values_from()​

Det er også mulig å legge på filterkriterier ved import av variabler, slik at du ikke trenger å jobbe med større datamengder enn nødvendig.

To opsjoner, values() og values_from(), kan brukes i forbindelse med en import-kommando til å begrense populasjonen idet du importerer en variabel.

Verdifilter for kategoriske variabler​

Opsjonen values() brukes som opsjon til en import-kommando når du ønsker å importere observasjoner som kun har bestemte verdier i variabelen du importerer. Filtreringen skjer direkte under import, slik at bare de valgte observasjonene blir en del av datasettet.

Eksempel på bruk av filter ved import av variabelen bostedskommune:

Klikk her for praktisk eksempel på bruk av values().

Gjenbruk av populasjon ved import​

Opsjonen values_from() brukes som opsjon til en import-kommando når man kun ønsker å importere data for enheter som eksisterer i et annet datasett.

I eksempelet nedenfor brukes populasjonen fra datasettet oslobosatte når det importeres en nøkkelvariabel (variabel som knytter sammen jobb og person) inn i et nytt datasett med arbeidsforhold kalt jobb.

Deretter importeres variabelen yrkeskode, og den filtreres ned til å kun inneholde sykepleiere. Datasettet jobb inneholder da arbeidsforhold med yrkeskode for sykepleiere (2223) som tilhører personer bosatt i Oslo per 1.1.2025.

Eksempel på gjenbruk av populasjon fra persondatasett ved import av jobbdata:

Klikk her for praktisk eksempel på bruk av values_from().