Finnish DMP evaluation guidance 2021 - Draft

Kun päätämme kriteerit (esim. SA:n rahoitushakemusta varten) hyväksyttävälle dmp:lle, valitsemmeko sellaiset kriteerit, joiden mukainen dmp

a) täyttää välttämättömät kriteerit ja jonka jälkeen dmp voidaan hyväksyä? VAI

b) täyttää erinomaisen dmp:n kriteerit?

Minusta vaikuttaisi (korjatkaa jos olen väärässä), että SE:n kriteeristössä ”sufficient” sarakkeessa olevissa kriteereissä listataan nyt, ainakin paikoin, jopa erinomaisen dmp:n ehdot. (Tämä taitaa olla 2-portaisen kriteeristön tyyppiongelma. Mikäli kriteeristö olisi 3-portainen, porras 0 voisi olla insufficient, 1 sufficient or acceptable, ja 3 excellent, mutta tähän voinemme palata myöhemmin, jos päätämme jatkaa kriteeristön jalostamista vielä kevään jälkeen.) / JR

Perustiedot DMP:stä arvioidaan usein myös. 

Mihin "ID" viittaa? /MEK
→  Poistetaan ID

1.1 What kinds of data is your research based on? What data will be collected, produced or reused? What file formats will the data be in? Additionally, give a rough estimate of the size of the data produced/collected.

Briefly describe what types of data you are collecting or producing. In addition, explain what kinds of already existing data you will (re)use. List, for example, the types of texts, images, photographs, measurements, statistics, physical samples or codes.

Categorise your data in a table or with a clear list, for example:
A) data collected for this project,
B) data produced as an outcome of the process,
C) previously collected existing data which is being reused in this project,
D) managerial documents and project deliverables, and so on.

The categorisation follows the license policy of your data sets. For example, briefly describe the license according to which you are entitled to (re)use the data. The categorisation can form a general structure for the rest of the DMP.

List the file formats for each data set. In some cases, the file formats used during the research project may differ from those used in archiving the data after the project. List both. The file format is a primary factor in the accessibility and reusability of your data in the future.

In the DMP, what is important is to describe the required disk space, not how many informants participated in the project. A rough estimation of the size of the data is sufficient, for example, less than 100 GB, approx. 1 TB or several petabytes.

Tips for best practices

·       Use a table or bullet points for a concise way to present data types, file formats, the software used and the size of the data.

·       Examples of file formats are .csv, .txt, .docx, .xslx and .tif.

·       Make sure to describe any special or uncommon software necessary to view or use the data, especially if the software is coded in your project.

·       You can also estimate the increase in data production or collection during the project for a specific time period: "The project is producing/collecting approximately 100 GB of data per week."

·       AVOID OVERLAPS WITH THE RESEARCH PLAN! Data analysis and methodological issues related to data and materials should be described in your research plan.

Olemassa olevan datan osalta olen yleensä vaatinut kuvaamaan datan lähteet.
Explains, if existing data are re-used, where these data comes from. /MEK

Pitääkö uuden datan tuottaminen perustella? ("Explains clearly, if applicable, why new data must be collected, instead of re-using existing data.") / JR

Eikö tätä enää tarvita eikä mainita kriteereissä:

D) prepared for managerial purposes, project deliverables, etc. (e.g. informed consent, permits, statement of the ethical committee, DMP, agreements, licenses, etc.) / JR

Mietin sitä, että onko arvioijan kannalta helpompaa, että jokainen kohta (exellent, sufficient ym) on stand-alone luettava ilman, että alkaa tuolla "as addition"? SF

1.2 How will the consistency and quality of data be controlled?

Explain how the data collection, analysis and processing methods used may affect the quality of the data and how you will minimise the risks related to data accuracy.

Data quality control ensures that no data is accidentally changed and that the accuracy of the data is maintained over its entire life cycle. Quality problems can emerge due to the technical handling, converting or transferring of data, or during its contextual processing and analysis.

Tips for best practices

• Transcriptions of audio or video interviews should be checked by someone other than the transcriber.
• Analog material should be digitised in the highest resolution possible for accuracy.
• In all conversions, maintaining the original information content should be ensured.
• Software-producing checksums should be used.
• Organise training sessions and set guidelines to ensure that everyone in your research group can implement quality control and anticipate the risks related to the quality of the data.

AVOID OVERLAPS WITH THE RESEARCH PLAN! Issues related to data analysis, methods and tools should be described in your research plan, that is, do not include, for example, instrument calibration descriptions here.

2.1 What legal issues are related to your data management? (For example, GDPR and other legislation affecting data processing.)

All types of research data involve questions of rights and legal and ethical issues. Demonstrate that you are aware of the relevant legislation related to your data processing. If you are handling personal or sensitive information, describe how you will ensure privacy protection and data anonymisation or pseudonymisation. 

Tips for best practices

• Check your institutional ethical guidelines, data privacy guidelines and data security policy, and prepare to follow the instructions that are given in these guidelines.
• If your research is to be reviewed by an ethical committee, outline in your DMP how you will comply with the protocol (e.g., how you will remove personal or sensitive information from your data before sharing data to ensure privacy protection).
• Will you process personal data? If you intend to do so, please detail what type of personal data you will collect.
• All data related to an identified or identifiable person is personal data. Information such as names, telephone numbers, location data and information on the congenital diseases of the individual's grandparents is personal data.
• Office of the Data Protection Ombudsman (https://tietosuoja.fi/en/processing-of-personal-data)
• AVOID OVERLAPS WITH THE RESEARCH PLAN! Details of the ethical issues, the ethical committee statements and the use of laboratory animals should be described in the research plan.

MIten ohje suhteutuu siihen ajatukseemme, että kohdassa 2.1 vasta tunnistetaan eettiset ja juridiset kysymykset, mutta vasta 2.2 kerrotaan kuinka ne aiotaan toteuttaa? / JR

"access rights"-asiat poistettu tästä, päätettiin käsitellä ne kootusti kohdassa 4.2. /ML

Pitäskö excellentin alussa myös mainita onko muuta sensitive / confidential dataa, nyt puhutaan vaan personal datasta? SF

Kuvataanko tässä luvussa 2.1 kaikki aineiston hallintaan liittyvät juridiset seikat vai pelkästään tietosuojaan liittyvät? Eivätkö muut juridiset seikat mene 2.2:een? Nythän ohjeen sisältökin keskittyy pelkästään data privacyyn ja etiikkaan, ei muihin juridisiin seikkoihin. / JR

Mietittiin, onko mielekästä jakaa "excellent" (vihreä) ja "sufficient" (keltainen) kategorioihin. Mikä on niiden käyttötarkoitus? Pisteytys? /ML/JL/SA

→ eroa tietty tulee excellentin ja sufficientin välille riippuen siitä kuinka selkeä teksti on aiheesta SF

- “2.1 What legal issues are related to your data management?” can be changed to “2.1 What ethical and legal issues are related to your data management?”

- SE’s core requirements and evaluation have 3 parts: 4a, 4b and 4c. 4a is mainly on personal data protection, 4b mainly on IPRs, and 4c on “codes of conduct” (research integrity) and ethical review. In the deliverables required by H2020, there are an Ethical handbook and DMP. Research integrity is not necessarily included in the DMP, but definitely covered in the Ethical handbook, and these two documents are closely related and referable to each other. TENK’s Ethical principles of research with human participants and ethical review in the human sciences in Finland (2019) and/or ALLEA’s European Code of Conduct for Research Integrity (Revised edition) should at least be mentioned. Issues on personal data protection cannot cover those on research integrity. It is thus not so convincing to combine 4a and 4c under one section 2.1. One solution can be that we delete the point on codes of conduct, but keep the point on ethical review and include it under 2.1.

- The list of the examples “gaining informed consent, considering encryption, anonymisation, or pseudonymisation” can be more detailed and comprehensive and can include other aspects such as legal basis for personal data processing, who are data controllers and data processors, if a Data processing agreement (DPA) is in place, variables or data types (eg., if there are in/direct identifiers, sensitive personal data, contact information and what they are), data subject rights, data breaches, data protection impact assessment/information security level, data transferral from and/or to the EU, etc.. 

(QX)

In the evaluation guidelines, "ethical consent to participate" should be distinguished from "consent as a legal basis for processing personal data (according to GDPR)". In Finland, "research in the public interest" is primarily recommended to researchers within Humanities and Social Sciences as legal basis for processing personal data, whereas "consent" should be used as a legal basis only if "public interest" is not applicable. (This is often clearer to the research subject and allows for more flexible archiving and reuse in scientific studies.)
That is, getting an ethical consent from the subjects does not necessarily imply that the legal basis is also "informed consent". / ML

Minusta rekisterinpitäjyys ja käsittelyperuste ovat tähän liian yksityiskohtaisia asioita. Sinänsä toki tärkeitä, mutta kuuluvat osana tutkittavan informointiin, eikä tässä ole ehkä tarpeen eritellä informointidokumentaation sisältöjä tällä tarkkuudella. DMP:n funktio minusta osoittaa, että aineistoa käsitellään vastuullisesti. /JF

Muutenkin lainsdäädäntökohta on sikäli ongelmallinen, että sen pitäisi oikeastaan kulkea mukana koko suunnitelmassa, eikä vain yhdessä kohdassa. Jos kysymyksiä joskun muokataan ja lakeja kysytään, niin selkeintä olisi erottaa ne omiksi kysymyksikseen: GDPR omanaan ja tekijänoikeus omanaan. /JF

Onko tutkijan informoinnin yhteydessä varmistettu että tutkija selvittää rekisterinpitäjän sekä hlötietojen käsittelyperusteen eli onko "privacy notice" tai "rekisteri-ilmoitus" tms. yhteismitallisesti käytössä eri organisaatioissa?  / JR

2.2 How will you manage the rights of the data you use, produce and share?

Describe how you will agree upon the rights of use related to your research data – including the collected, produced and (re)used data of your project. Here, you can employ your categorisation in the first question. Each of these categories involves different rights and licenses. Describe the transfer of rights procedures relevant to your project. Describe confidentiality issues if applicable in your project.

Tips for best practices

• Check your organisational data policy for ownership, the right of use and the right to distribute.
• Have you gained consent for data preservation and sharing?
• Agreements on ownership and rights of use should be made as early as possible in the project life cycle.
• Consider the funder's policy.

It is recommended to make all of the research data, code and software created within a research project available for reuse, e.g., under a Creative Commons (https://creativecommons.org/choose/), GNU (https://www.gnu.org/licenses/gpl-3.0.en.html) or MIT license (https://opensource.org/licenses/MIT), or under another relevant license.

Täydensin bulletteja vihreään ja keltaiseen. Olisivatko nuo riittäviä? / ML

"access rights"-asiat jätetään pois tästä, ne päätettiin käsitellä kootusti kohdassa 4.2. /ML

Mun mielestä tossa suffiecent kohdassa pitäisi olla selkeät bulletit mitä vaaditaan, esim. sopimukset datan omistajuudesta mainitaan, IPR asiat, lisenssit... ja sitten excellent vähän paremmin. SF

"and does not provide a good explanation for not doing so." voisi jättää poiskin.

3.1 How will you document your data in order to make the data findable, accessible, interoperable and re-usable for you and others?  What kind of metadata standards, README files or other documentation will you use to help others to understand and use your data?

3.1 How will you document your data in order to make the data findable, accessible, interoperable and re-usable for you and others?  What kind of metadata standards, README files or other documentation will you use to help others to understand and use your data?

Data documentation enables data sets and files to be discovered, used and properly cited by other users (human or computer). Documentation includes essential information regarding the data, for example, where, when, why and how the data were collected, processed and interpreted. Without the proper documentation, your data is useless. Describe the tool, such as Qvain, that you will use to describe your data sets. Do not mention metadata standards if you do not use them. You can anticipate the open accessibility of your data and its description already here. However, a detailed description of which part of your data can be set openly available will be included in Section 5 below.

AVOID OVERLAPS WITH THE RESEARCH PLAN! The data-level documentation (https://www.ukdataservice.ac.uk/manage-data/document/data-level.aspx) and details about experiments, analytical methods and the research context belong to the research plan. In the DMP you should concentrate on the study-level documentation (https://www.ukdataservice.ac.uk/manage-data/document/study-level.aspx).

Tips for best practices

• Describe all the types of documentation (README files, metadata, etc.) you will provide to help secondary users to find, understand and reuse your data.
• Following the FAIR (https://www.force11.org/group/fairgroup/fairprinciples) principles will help you ensure the Findability, Accessibility, Interoperability and Re-usability of your data.
• Know the minimum requirements for data documentation; see, for example, Qvain Light (https://www.fairdata.fi/en/qvain/qvain-light-user-guide/).
• Use research instruments, which create standardised metadata formats automatically.
• Identify the types of information that should be captured to enable other researchers to discover, access, interpret, use and cite your data.

MEKin excellent bulletit  on tosi hyvät ja selkeät lukea, voisko ton sufficient osion kirjoittaa yhtä helppolukuiseksi  SF

2-portaisen kriteeristön ongelma on, että valtaosassa dmp:eistä datan kuvailun taso sijoittunee ”insufficent”in ja ”sufficent”in väliin: kuvailua on – ainakin osasta datatyyppejä enemmän kuin vain ”little” tai ”vaguely”, mutta ei kuitenkaan tasolla ”clearly outlined”. Miten näiden suhteen menetellään käytännössä? / JR

4.1 Where will your data be stored, and how will the data be backed up?

Describe where you will store and back up your data during your research project. Explain the methods for preserving and sharing your data after your research project has ended in more detail in Section 5.

Consider who will be responsible for backup and recovery. If there are several researchers involved, create a plan with your collaborators and ensure safe transfer between participants.

Show that you are aware of the storing solutions provided by your organisation. Do not merely refer to IT services. In the end, you are responsible for your data, not the IT department or the organisation.

Tips for best practices

• The use of a safe and secure storage provided and maintained by your organisation’s IT support is preferable.
• Do NOT USE external hard drives as the main storing option.

Excellent:

*"(even if briefly)" lisä on turha

*pitäiskö nuo kaksi bullettia yhdistää: "If home institution or CSC's storing services are used or not used....

*lisäksi, jos jotain muuta on käytetty ja miksi (SF)

4.2 Who will be responsible for controlling access to your data, and how will secured access be controlled?

It is essential to consider data security issues, especially if your data include sensitive data, personal data, politically sensitive information or trade secrets. Describe who has access to your data, what they are authorised to do with the data, or how you will ensure the safe transfer of data to your collaborators.

Tips for best practices

• Access controls should always be in line with the level of confidentiality involved.

Kysymys ja ohje ovat hiukan ristiriidassa keskenään: kysymyksessä pyydetään vastaamaan "kuka kontrolloi" mutta ohjeessa "kenellä on pääsy". Kumpaa tässä haetaan? Nyt olemme tehneet kriteerit kysymyksen mukaisiksi (JR 24.4.)

Pitäisikö tuo multi-partner mainita myös excellet ja sufficientissä erikseen, kun nyt vain viimeisessä? SF 

Tarvitaanko erikseen maininta multi-partner -projekteista - eikö nuo kaksi ensimmäistä bullettia sisällä kaikkien projektiin osalliset? / JR)

Insufficient viimeinen bullet: "....when sensitive data are involved (for example personal data, politically sensitive information, or trade secrets)." eikö suluissa olevan voi poistaa, eikö tässä vaiheessa ole selkeää mitä on sens. data? SF

5.1 What part of the data can be made openly available or published? Where and when will the data, or its metadata, be made available?

5.1 What part of the data can be made openly available or published? Where and when will the data, or its metadata, be made available?

Describe whether you will make openly available or publish all your data or only parts of the data. If your data or parts of the data cannot be opened, explain why.

• In the case of sensitive data, which cannot be opened, describe the opening of its metadata. Describe the secured preservation procedure of sensitive data in Section 5.2.

The openness of research data promotes its reuse.

Tips for best practices

• You can publish a description (i.e., the metadata) of your data without making the data itself openly available, which enables you to restrict access to the data.
• Publish your data in a data repository or a data journal.
• Check re3data.org (https://www.re3data.org/) to find a repository for your data.
• Remember to check the funder, disciplinary or national recommendations for data repositories.
• It is recommended to make all of the research data, code and software created within a research project available for reuse, for example, under a Creative Commons (https://creativecommons.org/choose/), GNU (https://www.gnu.org/licenses/gpl-3.0.en.html) or MIT license (https://opensource.org/licenses/MIT), or under another relevant license.
• Consider using repositories or publishers, which provide persistent identifiers (PID) to enable access to the data via a persistent link (e.g. DOI, URN).
• AVOID OVERLAPS WITH THE PUBLICATION PLAN! The research article publication does not equal data publication. The data journal is a publication forum specialised in publishing research data.

Yksi tapa luokitella vastauksia voisi olla se, että, erinomainessa vastauksessa on luettu kysymyksen lisäksy myös ohje ja myös noudatettu ohjetta. Riittävässä vastauksessa olisi vastattu kysymykseen. Hylätyssä vastauksessa ei ole ymmärretty kysymystä tai esimerkiksi vastataan muuhun suunnitelmaan nähden liian yleisellä tasolla.

Jari

Tässä (license-kohta Excellent-palstassa) olisi hyvä huomioida, että esim. tietyn CC-lisenssin maininta ei auta, jos aineistoon liittyy muita käyttöehtoja tai -rajoituksia, esim. henkilötietojen tms. vuoksi. Voisiko viitata kohtaan 2.2 vai siirretäänkö sieltä jotain tänne? /ML

Mun mielestä excellentissä voi olla lisäinformaatiota, kuten säilytysaika tai PIDeistä maininta, siksihän se on erinomainen, vaikka ei ohjeessa niistä tarkemmin lue. (SF)

(IPR-data → MEK miettii miten muotoilisi), vihreä kohta. 

• Clearly indicates which specific tools or software (for example specific scripts, codes, or algorithms developed during the project, version of the software) potential users may need to access, interpret, and (re-)use the data.

Samaa mieltä, tämä on oikeastaan vasta metadataa koskeva spesifi kuvailuvaatimus, kunhan itse data on julkaisuvalmiina. Voidaan varmaan kuitenkin suositella, että hankkeen tavoitteena olisi julkaista myös kehitetty softa varsinkin, jos sitä tarvitaan datan/aineiston hyödyntämiseksi? /ML

• Specifies how the data can be re-used in other contexts.
  • Halutaanko tuoda tälläinen ulottuvuus?

• Provides information, if relevant, on any protocol to access the data (for example if authentication is needed or if there is a data access request procedure).

Tämä pääsynhallintakysymys on kai (myös) kohdassa 4.2? /ML

Poistetut 16042021 KL:

VIHREÄ

• Includes information on how long the data will be retained and gives precision on its timely release.
• Clearly indicates if and which PIDs are provided for all datasets, individual datasets, data collections, or subsets. If PIDs will not be used, it explains why.

• Clearly presents the approach, and the choice of identifiers is justified and refers to international standards.

PUNAINEN:

• Provides little or no details on which software developed during the project will be necessary to access and interpret the data, how it will be made available, or why that may not be possible.

• Makes no mention of PIDs nor provides a valid reason for not providing them.

• Provides no clear information on what type of PID will be assigned to the data and whether individual datasets and/ or collections or datasets will be issued with PIDs.

5.2 Where will data with long-term value be archived, and for how long?

Briefly describe what part of your data you will preserve and for how long. Categorise your data sets according to the anticipated preservation period:

A) Data to be destroyed upon the ending of the project

B) Data to be archived for a verification period, which varies across disciplines, e.g., 5–15 years
C) Data to be archived for potential re-use, e.g., for 25 years
D) Data with long-term value to be archived by a curated facility for future generations for tens or hundreds of years

Describe which part of the data you will dispose of after the project and how you will destroy the data. Describe the access policy to the archived data. Consider using archives with a curation policy.

Tips for best practices

Remember to check funder, disciplinary or national recommendations for data archives.

Tässäkin suuri ero hyväksytyn - ei-hyväksytyn välillä. Onko hyväksyttävässä dmp:ssä tarpeen edellyttää, että tutkija kertoo myös perustelut, miksi mitäkin datatyyppiä säilytetään minkäkin aikaa (”details of how the selection is made, and what possible interest there would be for re-use (or not))”? Esim: miksi datasetille A on valittu 5-15 vuotta, mutta setille B 25 vuotta. / JR

Jukan muokkausehdotukset punaisella.

Sufficient kohdassa voisi  olla hieman laajemmat bulletit, jotta vastataan kysymykseen, Esim.

-Describes what part of the data will be archived, where and for how long.

-Specifies, if some part of the data is archived in a long term preservation service.

-Describes what part of data will be destroyed. (SF)

Meidän ohjeessa (toisin kuin Science Europella) ei pyydetä ennakoimaan mahdollisia tulevaisuuden käyttöskenaarioita aineistolle. Meillä ei myöskään pyydetä perusteluja säilytettävän datan valinnalle. -JF

Pitkäaikaissäilytyksen tarkat kriteerit ovat tosiaan vielä tulevaisuuden haasteita eikä ole selvää, että niiden arviointi olisi tutkijan vastuulla, varsinkaan etukäteen. /ML

• Provides details on the access policy to the archived data -JF

Meillä pyydetään kuvaamaan pääsynhallintaa, joten sitä voitaisiin edellyttää myös tässä. -JF

Pääsynhallintaa kuvataan jo kohdassa 4.2 /ML

Meillä Kielipankissa on myös mietitty esim. henkilötietojen kohdalla käytäntöä, että arkistoidaan/säilytetään toistaiseksi mutta säilytystarvetta arvioitaisiin määräajoin. Lopulta aineisto voisi tietysti päätyä myös pitkäaikaissäilytykseen. /ML

JATKOTYÖSTETTÄVÄT:

JR:

Säilytysaika - tietääkö tutkija itse? Ei välttämättä päätä itse. Ei vaadita liian tarkkoja kuvauksia.

LIsätään vaihtoehtoiseen kuvaukseneen toisen pallukan ja kolmannen pallukan  eritttelyä

Myös ehdotus sopiviksi paikoiksi. Hakuväline Re3data.

6.1 Who (for example role, position, and institution) will be responsible for data management (i.e., the data steward)?

Summarise here all the roles and responsibilities described in the previous answers.

Tips for best practices

• Outline the roles and responsibilities for data management/stewardship activities, for example, data capture, metadata production, data quality, storage and backup, data archiving, and data sharing. Name the responsible individual(s) where possible.
• For collaborative projects, explain the co-ordination of data management responsibilities across partners.
• Indicate who is responsible for implementing the DMP and for ensuring that it is reviewed and, if necessary, revised.
• Consider scheduling regular updates of the DMP.

6.2 What resources will be required for your data management procedures to ensure that the data can be opened and preserved according to FAIR principles (Findable, Accessible, Interoperable, Re-usable)?

Estimate the resources needed (for example, financial and time) to manage, preserve and share the data. Consider the additional computational facilities and resources that need to be accessed, and what the associated costs will amount to.

Tips for best practices

• Remember to specify your data management costs in the budget, according to funder requirements.

Account for the costs of the necessary resources (for example, time) to prepare the data for sharing/preservation (data curation). Carefully consider and justify any resources needed to deliver the data. These may include storage costs, hardware, staff time, the costs of preparing data for deposit and repository charges.

Mites erityisasiantuntijoihin investointi? Ei taida olla realistista, että kaikki tarvittava osataan valmiiksi itse. Esim. excellent osuuteen lisäys:

• Describes investments to expertise, like how lawyer, data steward, IT expert's consultancy is purchased, or are these experts hired to the project.
• Outlines what kind of resources is needed on training and education to upscale data management skills needed.

Kiitos! Hyvä ja tarpeellinen lisäys. / M & S

Minustakin esimerkkejä on hyvä olla tässä. Lisäisin vielä tähän ainakin meillä yleisimmin ostetun palvelun, eli haastattelujen litteroinnin esimerkiksi.  Siis:

• Describes investments to expertise, like how lawyer, data steward, transcription service, IT expert's consultancy is purchased, or are these experts hired to the project.

Jotenkin tässä voisi myös mainita sen, että yliopiston tarjoamia peruspalveluita/tallennusratkaisuja ei tarvitse tässä arvioida kustannuksina.

Pitäisikö data managementin yhtenä osa-alueena mainita ennen  sharing, depositing'ia myös data use and re-use - koska datan dokumentoinnilla ja kuratoinnilla pyritään saattamaan data helposti käytettäväksi myös itselle, ei vain muille. (JR)