Мерење на успехот

Конечно, мерка за успешноста на складиштето е неговата корисност и овозможување на користење на материјалите кои ги содржи. Тоа е целта која сакаме да ја постигнеме. За многумина од нас, како и да е, нашата секојдневна преокупација се средствата кон таа цел – на прво место да се донесе содржина во складиштето и промените во институционалната култура која тоа го ограничува. Постои одреден број можни начини за мерење на успехот на овие секојдневни активности и следи дека тие мерки можат да се искористат за да се постават одредени цели за развојот на складиштето. Овој дел опишува некои од овие можни мерки и каде што е можно се обидува да даде претстава за она што всушност го постигнуваат вистинските складишта.

Листи на публикации

Да се задржиме на публикациите – другите видови содржина ќе имаат аналогни критериуми – очигледниот идеал е дека во една институција се прави епринт со отворен пристап од секоја научна публикација која е направена и би требало да биде депонирана во складиште. Во практиката, голем број фактори придонесуваат против постигнувањето на тој идеал. Некои од овие фактори исто се однесуваат и на конвенционалната метадата – само библиографии, но овие библиографии имаат тенденција за поцелосно покривање, делумно бидејќи можеби има помал труд вложен од службените, и делумно бидејќи можеби има директиви од управата и административни процедури за собирање информации. Таквите библиографии даваат одредница според која може да се утврди комплетноста на складиштата со ОП и помага да се олеснат компаративните проценки за употребата и влијанието на епринтовите со ОП спроти публикациите кои немаат ОП. Еве некои можни извори за институционални библиографии:

• Библиографии од целата институција

• Листа на публикации на интернет-страницата на институцијата – Вообичаено, овие се јавно достапни, но во некои случаи пристапот може да биде ограничен само на корисници од институцијата

• База на податоци одржувана од страна на управителите со истражувања или некоја друга административна канцеларија за потребите на Вежбите за проценување на истражувањата (ВПИ). Ова може да не е достапно на луѓе надвор од соодветната канцеларија

• Листи на публикации на оддели – Обично се дел од интернет-страницата на одделот. Исто така, можат, да ги вклучат публикациите кои ќе следат.

• Бази на податоци на јавни предмети – Овде зборуваме за бази на податоци, како Medline, Inspec, Chemical Abstracts, каде што е можно да се пребарува по име на институцијата

Во еден идеален свет, институционалното складиште би било библиографија за целата институција или барем би се користело како извор на податоци за тоа и за библиографиите на одделите. Во реалноста, многу е неверојатно дека складиште кое има само текстуална содржина ќе покрие 100 проценти од публикациите на институцијата и затоа нема да ја исполни својата намена. Следствено, или складиштето ќе мора да биде во состојба да прима метадата – само снимки како и текстуални предмети (кои можеби нема да бидат прифатливи, бидејќи тоа ја ослабува причината за постоење складиште со отворен пристап), или ќе биде потребна додатна база на податоци.

За повеќето тековни статистички намени, најкорисна одредница веројатно е библиографија на целата институција – секако најсеопфатна. Листите во одделите и јавните предметни бази на податоци можат да обезбедат репрезентативни примероци. Понатаму, предметните бази на податоци можат дури да пружат средства за споредување на перформансите на различни складишта во институцијата, бидејќи нивните методи на собирање би требало да бидат конзистентни во целата институција, затоа што листите собрaни во одделите се многу поваријабилни.

Совпаѓањето на записите на складиштата со библиографските записи не може целосно да се автоматизира. Навистина би имале среќа ако и складиштето и библиографијата имаа запишано уникатни идентификатори како DOIs (Идентификатори на дигитални предмети), а не е веројатно дека текстуалните полиња ќе бидат доволно уникатни или конзистентно форматирани за да овозможат веродостојно совпаѓање. Со оглед на мануелниот труд кој е вклучен, се советува да се сними мапирањето меѓу предметите во двата ресурси во база на податоци или табела, за да може повторените анализи да ги процесираат само новите предмети.

Стапки на усогласување

Еден од подобрите примери за усогласени статистики надвор од Велика Британија доаѓа од CERN (Европска организација за нуклеарни истражувања), кој покажа дека неговото складиште содржи текстуални копии со отворен пристап од речиси три четвртини од нивните неодамна авторизирани документи – Ј. Јоманс (2006).

Складиштата кои сместуваат само метадата- записи – како во Саутхемптон – можат директно да се споредат со листите на публикации на одделите или на целите институции. Едноставен процент на публикации вклучени во складиштето би требало да бидее соодветна мерка. Пресметката, исто така, треба, исто така, да бидее обратна, како и да е, бидејќи неизбежно секогаш ќе има важни предмети кои ќе се појавуваат на едната листа, а не на другата и обратно. Ако обата системи се подеднакво ефикасни, би требало да очекуваме двата проценти да бидатсе речиси исти, инаку подобрата база на податоци ќе произведе повисок процент.

Метадатата е сосема во ред, но она што навистина сакаме е да им дадеме на луѓето пристап до целосни содржини, па затоа поинтересна мерка за комплетноста на складиштето е бројот на содржини во библиографијата на одделите или од целата институција за кои складиштето има е-принт со отворен пристап. Повторно, ова може да се изрази во проценти. Има многу вредни податоци за тоа како складиштата во Велика Британија работат на ова. Чувството е дека овој процент воопшто е прилично низок, иако почнуваме да гледаме докази дека одредени фактори, како што е задолжителното депонирање, посредно депонирање, подобар софтвер и кампањи за претставување можат да ги подобрат работите.

Би било интересно да се имаат слични статистики за колку што е можно повеќе институции во Велика Британија. Ние овде ќе обезбедиме детали веднаш штом тие ќе станат достапни.

Какви цели на усогласување ќе поставите? Секако, идеално е 100 проценти и таа е цифрата која треба да се цитира во кампањите за претставување. Како и да е, ова е цел која не е веројатно дека некогаш ќе се постигне, па затоа подобро е да се постават остварливи цели за внатрешни потреби. За складиште кое има само метадата-записи, како и целосни содржини, остварлива цел би била да држи барем 95 проценти од сите публикации на институцијата. Деведесет и пет проценти, исто така, се чини соодветно за складишта со институционален мандат кои бараат да бидат депонирани целосни текстови. (На пример, Сервис за Епринтови од електроника и компјутерски науки, Универзитет во Саутемптон, каде што постои задолжение за целосен текст, достигна усогласеност од 90 проценти) За складиште без задолжение, кое содржи само текстуални содржини, практична цел за внатрешна употреба може да биде 70 проценти, иако овој предлог ќе треба да се прегледа кога ќе станат достапни студии на таа тема. Во секој случај, ќе биде потребно време да се достигне целта, затоа можеби ќе биде од помош да се постават попатни цели за различни етапи на проектот на складиштето. Во моментов, немаме доволно податоци за да можеме да препорачаме соодветни попатни цели, но можеби тие можат да се постават во согласност со соодветната пропорција со процентот на луѓе до кои би се допрело во соодветна програма за претставување – на пример.


Броење на авторите

Друга идеална цел е секој автор во институцијата да биде обврзан да ги депонира неговите материјали во складиштето на институцијата. Ова е, секако, друг начин да се каже дека секоја публикација треба да оди во архивата. Како и да е, овој агол нуди алтернативна мерка за проценување на успехот – процентот на познати или институционални автори кои всушност депонирале материјал во складиштето. Два можни начина да се пресмета ова се:

1. Споредување на листата на автори кои депонирале содржини, со целосната листа на потенцијални автори и одредување на релевантниот процент
2. Броење и на бројот на потенцијални автори и на бројот на различни автори на депонираните содржини и повторно одредување на процентот.

Со опцијата 1, можеби, исто така, ќе биде соодветно во пресметката да се вклучат соодносите, врз основа на позициите на авторите во институционалната хиерархија – давајќи му поголема тежина на повисокиот персонал – под претпоставка дека повеќе високи позиции придонесуваат за истражување од повисоко ниво.

Прво морате да направите листа и/или да ги изброите вашите потенцијални автори, а ова не мора да значи дека е лесна работа. Кои се вашите автори? Поголемиот дел од професорскиот кадар ќе објавува, но не сите. Студентите постдипломци кои се занимаваат со истражување (доктори на науки и магистри, но кои не следат магистерски курсеви), постдокторски студии и секако соработници истражувачи, речиси сигурно ќе ги објавуваат своите дела. Освен тоа, одреден дел од професионалниот и од техничкиот персонал може да објават, а можеби и техничарите, додипломците или студентите кои посетуваат настава за магистерски студии.

Јасно е дека не е практично да се оценува издавачкиот статус на секој поединечен член на една институција, многу е неверојатно дека ќе можете да направите прецизна листа на потенцијални автори или да одредите точна цифра за нивниот број. Ова ја прави горната опцијата 1, понепривлечна. Опцијата 2, како и да е, е поизводлива бидејќи неопходно е само се дојде до разумно прецизна проценка на бројот на потенцијални автори, врз основа на одредени категории на личности. Предлагаме да се избројат:

• Академски персонал – професори, лектори и читатели

• Помошници на истражувања и постдокторанти

• Студенти истражувачи – докторски и магистерски, но не оние кои посетуваат настава за магистерски студии

• Управители на неакадемски оддели

Овој список ги изоставува групите кои се нефреквентни автори, но да се надеваме дека противтежа на ова ќе бидат оние членови на вклучените групи кои не објавуваат.

Каде може да ја добиете оваа информација? Информацијата за студентите речиси сигурно ќе мора да ја добиете од Студентски прашања, а информациите за персоналот можеби ќе можете да ги добиете од платниот список. Можно е дека прашањата за заштита на податоци ќе ги спречат овие оддели да ви ги дадат списоците со имиња. Како и да е, тие би требало да можат да ви ги дадат вкупните бројки за секоја категорија лица. Тешко е да се најде друг извор на податоци за информации за студентите, но можеби е возможно да се добијат информации за персоналот од списоците на персоналот на интернет-страниците на одделите, календарите на универзитетот и слично.

Повеќе автори на еден труд е главен проблем кој може да влијае врз мерењата засновани на авторите. Трудовите често имаат неколку автори, па затоа прилично е веројатно дека лице кое никогаш не ни погледнало во институционалното складиште, сепак може да има складирани материјали во него (од страна на еден од коавторите). Таквиот автор би се појавил на листите и на потенцијалните и на вистинските автори кои депонирале. Дали е ова прифатливо? Вие решете. Оваа компликација веројатно ја прави опцијата 2 уште попривлечна.

Не ни се познати никакви објавени стапки на усогласеност врз основа на авторите за Велика Британија или складишта од странство, но имаме чувство дека повеќето складишта во Велика Британија веројатно би добиле ниски резултати за ова мерење.

Стапки на депонирање

Наједноставно, стапката на депонирање се дефинира како број на складирани содржини годишно, иако може да се користат различни единици за време. Ова не е статистика која е особено релевантна за усогласување, но може да биде важна кога се одредуваат ресурсите потребни за поддршка на складиштето. Таквите проценки треба да бидат базирани на потенцијалната стапка на депонирање, не на вистинската стапка, бидејќи целта е 100 проценти усогласеност. Секој краткорочен вишок ресурси може да се распореди за да ги покрие активностите за претставување создадени за да се достигне саканата цел.

Потребно време за циклусот

Придобивка за сите е да се внесат документите во складиштето колку што е можно побрзо. Треба да се имаат на ум две почетни точки. Првата е датата на објавување (или можеби дури и одобрување за објавување), кој зависи од авторот-ите кога ќе го почнат процесот на депонирање. Администраторите на складиште можат малку да влијаат врз ова, освен да продолжат да ја проследуваат до авторите пораката за потребата од депонирање. Вториот аспект е времето кое е потребно од почетокот на процесот на депонирање до моментот кога содржината станува јавно достапна во складиштето. Администраторите имаат влијание врз ова, поради нивната вклученост во медијацијата или во управувањето. Траењето на следните чекори може да се евидентира:

• Време за потврдување на нови поднесоци (пред процесирањето). Ова може да биде автоматски одговор по е-пошта.

• Време за проверување на авторските права и форматирањето

• Време за решавање проблеми со авторските права – кога е потребно

• Време за процесирање на поднесените документи (медијаторски услуги)

• Време за одобрување на депонираната содржина (самоархивирање)

Збирот на сиве овие е вкупното време до јавната достапност. Договори за услуги може да се формулираат за секоја етапа, освен за решавање на проблемите со авторските права. За да се заврши ова може да биде потребно подолго време, ако издавачите не одговараат на барањата.