Vraag-en-antwoord dataset Rijksportaal Personeel

Dataset is gecreëerd om te onderzoeken of de structuur van Squad 2.0 ook bruikbaar kan zijn voor de vragen die binnenkomen bij het Contact Center van P-Direkt. Daarbij is gebruik gemaakt van exact dezelfde json structuur zoals bij de [Squad 2.0 dataset](https://rajpurkar.github.io/SQuAD-explorer/ "Squad 2.0 dataset").

Het is aan te raden om de dataset bij gebruik te splitsen op onderwerp. In onze onderzoeken is de data opgesplitst met k-fold en is er zo een cross-validatie gedaan op het trainen van het vraag-en-antwoordmodel. Voor meer informatie over deze taak, is [Huggingface](https://huggingface.co/docs/transformers/tasks/question_answering "huggingface") een goede bron.

### Informatie:
- Aantal documenten: 6
- Aantal paragrafen: 63
- Gemiddeld aantal woorden per paragraaf: 65,11
- Aantal vragen: 322
- Beantwoordbare vragen: 214
- Onbeantwoordbare vragen: 108
- Unieke antwoorden: 157
- Gemiddeld aantal woorden per antwoord: 24,36


#### Structuur
Dataset:
- version: versienummer van de dataset
- readme_nl: beschrijving dataset in het Nederlands
- readme_en: beschrijving dataset in het Engels
- data: reeks van meerdere documenten
- title: titel van het document
- paragraphs: reeks van meerdere paragrafen
- context: paragraaf met tekstuele informatie
- qas: reeks van meerdere vragen over de context
- id: uniek id
- question: de vraag over de paragraaf
- is_impossible: is de vraag te beantwoorden aan de hand van de context (boolean: true/false)
- answers: reeks van antwoorden (in dit geval maar 1 antwoord)
- text: het antwoord uitgeschreven (komt altijd gedeeltelijk overeen met de context)
- answer_start: geheel getal, getal geeft aan op welke karakter het antwoord gevonden kan worden

#### Gestelde vragen over de databron:
- Wat is de herkomst van de databron:
- De documenten en parafen komen van Rijksportaal Personeel, informatie over personeelszaken voor de Rijksoverheid. Gedownload rond april 2021.
- De vragen komen van het Contact Center van P-Direkt en dan met name de e-mails. Uit deze e-mails zijn vragen gehaald en de rest van de e-mail is niet gebruikt.
- De antwoorden die zijn teruggestuurd door medewerkers zijn geanalyseerd en vergeleken met Rijksportaal Personeel.
- Zitten er privacy gevoelige details in de vragen?
- Nee. Alle vragen zijn handmatig gecontroleerd op eventuele herkenningsentiteiten. Zo zitten er geen persoonsnamen, organisatienamen en datums kleiner dan een heel jaar in en andere entiteiten die herleid kunnen worden naar de vraagsteller.
- Wanneer zijn de vragen gesteld?
- Tussen 2018 en 2020.

De pdf bevat een visualisatie van de datastructuur van de dataset.