Proces vyhodnocování návrhů evropských výzkumných projektů (2/2)
Minule jsme nakousli proces výběru nejlepších projektů v silné konkurenci návrhů, které soupeří o spolufinancování z rozpočtu EU. Podstatou je nezávislé a komplexní hodnocení, a to podle předem známých kritérií. Dnes se podíváme, jak vlastní hodnocení externími experty probíhá.
Návrhy výzkumných projektů se mimochodem nemusí podávat Evropské komisi v angličtině (teoreticky to lze ve všech jazycích členů EU), ale je to dobrým zvykem (korektor by v mnoha případech nezaškodil, ale aspoň je možné se některým větným konstrukcím a přehmatům ve volbě slov poplatných národnosti tvůrce zasmát – pokud nesrozumitelně nemění obsah), protože jinak by bylo nutné zainteresovat překladatele (návrhy se do rukou hodnotitelům dostávají výhradně v angličtině).
Ještě je potřeba podotknout, že i když se všem návrhům věnuje stejně náležitá pozornost, ne vždy je na prostudování návrhu k dispozici celý den nebo i půlden. Navrhovatelé by měli počítat s tím, že jejich návrh bude muset „zaujmout“ hodnotitele tak, aby po třech až čtyřech hodinách jeho čtení měli naprosto jasno (což v případě stastránkových návrhů není tak docela jednoduché). V rámci jednoho hodnotícího týdnu může jeden expert podle typu projektů a výzvy zvládnout pět nebo také dvacet projektů.
Požadavek konsensu
Po prozkoumání návrhu a vskutku individuálním hodnocení (bez jakýchkoli diskusí s okolními experty) následuje schůzka těch expertů, kteří daný návrh prostudovali (minimálně tří pro projekty typu STREP, pěti pro komplexnější projekty typu IP nebo NoE). Cílem je projednat náhled na daný návrh a dosáhnout konsensu v jeho hodnocení. Ačkoli jsou zúčastnění experti většinou velmi odlišného ražení (a mohou se projevit i zřejmé kulturní rozdíly, nejen trans-evropské, protože mezi experty se najdou i „exotičtější“ příklady z Izraele, Brazílie nebo třeba Maroka – expertní skupiny jsou vždy velmi mezinárodní), s jinými zkušenostmi a specializacemi, v naprosté většině se ke konsensu dojde v podstatě bezbolestně.
Důležitá je úloha moderátora, úředníka (project officer) z dané jednotky Evropské komise (EK), který může velice usnadnit jednání, i když je nesmí obsahově usměrňovat nebo jinak ovlivňovat. Cílem je vyslechnout všechny názory všech přítomných expertů, porovnat je a dosáhnout zejména slovního hodnocení návrhu podle jednotlivých kritérií. Bodové ohodnocení má být prostým zobrazením hodnocení vyjádřeného slovy.
Postupně se formuluje celkové hodnocení, které následně obdrží předkladatelé návrhu, tj. mají možnost příště svůj (další) návrh lépe připravit (výjimkou není tzv. resubmission, kdy v další tematicky stejné nebo blízké výzvě se předkládá neúspěšný návrh z dřívějška: navrhovatelé by měli tento fakt v novém návrhu sdělit, a mohou případně také vysvětlit, jak původní návrh pozměnili, resp. vylepšili podle připomínek původní skupiny hodnotitelů). Konsensu je mezi experty dosaženo většinou během hodiny až dvou jednání, komplexnější projekty si ovšem mohou vyžádat jednání i několikanásobně delší.
V těch řídkých případech, kdy se experti dohodnout nemohou a nechtějí ustoupit ze svých zaručeně správných pozic týkajících se návrhu projektu, se přizve další nestranný expert, který má za úkol standardním způsobem individuálně návrh ohodnotit a hodnotící jednání se za jeho účasti uskuteční znovu později. Zde většinou již ke konsensu dojde, v opačném případě platí (zcela výjimečně) rozhodnutí většiny.
Závěrečné slovo má panel
Všechny návrhy projektů v dané hodnotící relaci (většinou všechny návrhy dané tématické výzvy, nebo jejich alikvotní část, pokud jich je mnoho a hodnocení je např. rozděleno do dvou či tří týdnů, s různými skupinami expertů) se pak stručně probírají ještě jednou, na tzv. panelu expertů. Zde jsou přítomni všichni experti daného běhu, ale projednávání jednotlivých návrhů se pak neúčastní ti, u nichž existuje sebemenší potenciální konflikt zájmů (vysvětlení výše) – jsou slušně požádáni, aby dočasně opustili jednací místnost.
Cílem tohoto závěrečného jednání je především zajistit konzistenci v hodnocení – ta je většinou zajištěna již díky tomu, že každá hodnotící trojice nebo pětice sestává z různých expertů, takže každý návrh je posuzován s odlišným individuálním nastavením tvrdosti hodnocení. Vyhodnocení (slovní i bodové) každého návrhu je kriticky přezkoumáno. Největší pozornost se věnuje návrhům, které překročily prahovou hranici pro vyhověl. Klíčové je čelo pořadí návrhů z hlediska bodového stavu, protože tam je největší šance na financování. Důležité je stanovit pořadí mezi návrhy, které dosáhly sice stejného bodového zisku, ale přece jen některý je o něco lepší, jiný horší.
Tím práce nezávislých expertů končí (trvá ovšem přísný požadavek na důvěrnost – nic z projednávání konkrétních návrhů, individuálních názorů, jmen hodnotitelů daného projektu – nesmí nikdy proniknout ven). Dál přebírají štafetu úředníci EK, kteří mají za úkol navrhovatele obeslat a s úspěšnými zahájit vyjednávání o uzavření smlouvy na projekt. Vzhledem k rychlému vývoji je tlak na včasné zahájení výzkumných projektů: v oblasti ICT mohou zahájit už do několika měsíců od ukončení výzvy a předložení návrhu (na základě uzavřené dohody s EK).
U komplexnějších (a dražších) projektů, jako jsou IP nebo NoE po vlastním standardním postupu hodnocení, který je popsán výše, následují ještě slyšení (hearings). Navrhovatelé dostanou od expertů seznam doplňujících otázek k návrhu projektu. Na ně se pak musí zástupci konsorcia připravit a dostavit se na živé jednání s experty. Slyšení se většinou odehrává do měsíce po prvním kole hodnocení. Na základě doplnění mezer a dojmů z fundovanosti konsorcia pak experti dokončí závěrečné závazné hodnocení: projekt může dopadnout lépe, nebo naopak spadnout pod prahové bodové ohodnocení. Vzhledem k tomu, že slyšení je dalším nákladem pro navrhovatele, se zvou zástupci pouze projektů v čele nejúspěšnějších v první fázi hodnocení, proto je také na konsensus pětice expertů hodnotících IP (příp. NoE) kladen největší důraz. Na druhou stranu, pokud je projekt přizván ke slyšení, měla by to být velice pozitivní známka potenciálního úspěchu v silné konkurenci.
Příště se můžeme podívat na proces uzavírání kontraktu pro úspěšné projekty, jejich finanční management a průběžné hodnocení.
Anketa
Důvěřujete konsensu nezávislé skupiny expertů?
Související odkazy
- CZELO (Czech Liaison Office for Research and Development)
- CORDIS (Community Research and Development Information Service)
- OKO-IST Professional Contact Organization
- FP6 Glossary
- Informační společnost versus informovaná společnost
- Jak má výzkum informovat veřejnost
- Účinná podpora výzkumu a inovací
- Evropský výzkum v novém, s důrazem na ICT
- Konkurence mezi výzkumnými projekty: proces vyhodnocování (1/2)
Workshop uživatelského testování použitelnosti

- Dokonalý web sám od sebe nikdo nevymyslí.
- Otestujte své řešení se skutečnými uživateli.
- Naučíme vás, jak testovat rychle, levně a efektivně.
- Během testování může moderátor udělat desítky chyb - vyvarujte se jich
Detailní informace o workshopu uživatelského testování »
Přehled názorů
Tento text je již více než dva měsíce starý. Chcete-li na něj reagovat v diskusi, pravděpodobně vám již nikdo neodpoví. Pro řešení aktuálních problémů doporučujeme využít naše diskusní fórum.

Chuck Norris udělal z T-Mobile virtuálního operátora
Kam s fotkami z dovolené: webová alba
Priority a první kroky nové vlády
Neelie Kroesová půjde na grilování ještě jednou