Подходът „извличане на експертните знания“ и използването му при оценка на риска от проникване на треската на долината Рифт

Извличането на експертните знания е подход за синтезиране на експертното мнение, който се използва когато не са налични данни, или такива са трудно достъпни, и несигурността по отношение на конкретен резултат трябва да бъде количествено представена. Експертните знания са базирани на опита и до голяма степен могат да бъдат тълкувани неправилно, следователно са необходими специфични процедури за ограничаване на влиянието на тези фактори върху събраните данни. Екпертните мнения често се използват при изготвяне на оценки на риска. Важно е да се разбира, че данните, получени чрез извличане не са еквивалентни на данни, получени чрез емпирично проучване.

Австралийският център за оптимизиране дейностите при анализа на риска (Australian Center of Excellence for Risk Analysis – ACERA) е разработил подобен литературен обзор и ръководство за прилагане на процеса по извличане на експертните знания.

Кой е експерт?
Експерт е лице, който притежава знания по даден въпрос на достатъчно ниво и който е способен да сподели своето знание. Експертността включва съответно обучение, опит, знания на теория и практика и притежаване на данни. Важни характеристики на експерта са ефективността, изразена в използване на знанието за решаване на определени задачи с приемливо ниво на резултата. Експертите трябва да са способни да се решават задачите бързо, а също така да са склонни да кажат, не могат да решат дадена задача. При използване на експерти за извличане на данни и знания, предварително се дефинират изискванията към тях, по отношение на образование, професионален опит, постижения и др.

Извличане на количествени резултати и становища
Количествени резултати и становища обикновено се извличат чрез използване на интервюта, въпросници и проучвания. Трудността при такива техники е, че тяхното организиране изисква внимателно наблюдение на познавателните и социалните процеси, които оказват влияние връху отговорите на участника. Анализаторът трябва да отчита как поставянето на въпроса оказва влияние върху отговорите, и как сложността и несигурността на въпроса може да замъгли решението.

Когато се извличат количествени резултати и становища, отговорите на участниците могат да бъдат превърнати в числа. Използването на количествени методи има предимството да позволява директно сравнение на отношението на хората, но има и недостатъка, че свежда сложни твърдения и ситуации в един индекс, лишен от контекст. Като цяло съществува консенсус в научните среди относно основните стъпки на формалното извличане на числени стойности и те са следните:

1. Дефиниране на проблема: идентифициране на променливите, определяне на формата на процедурата по извличане на знанията (например интервю или въпросник), създаване на документация (включително цели, очаквания, свързани въпроси, очаквано използване на резултатите и др.), провеждане на обучения на експертите и тестови проучвания.

2. Идентифициране и набиране на експерти: идентифициране на ключовите експертни знания и списък на потенциалните експерти, създаване на обективни критерии за избор и ангажиране на експертите. 3. Извличане на знанията: идентифициране на областта с цел намаляване на неяснотите, определяне на обучен анализатор на несигурността, прилагане на процедурата по извличане на знанията.

Процедурата за извличане на знания обикновено включва следните стъпки:
1. Мотивиране
Анализаторът провежда първоначално обсъждане с екперта, като разяснява контекста и причините за извличане на знанията. Обикновено е важно да се наблегне, че идеята е да се извлече разпределението на мненията на експертите относно дадена променлива и няма „верен“ отговор. Анализаторът изразява мнения, които могат да отклонят оценките на експерта.
2. Структуриране
Създаване на непротиворечива дефиниция на всяко несигурно количество, което трябва да бъде оценено, отчитайки условията, които могат да окажат влияние върху стойността. Важно е да се представят въпросите в най-добрия формат, съответстващ на експертните знания и опит.
3. Обосноваване
По време на дискусията експертът трябва да обясни информацията, въз основа на която той ще дава оценките. Този процес може да покаже някои отклонения и да подбуди експертите да обмислят други начини за разглеждане на проблема.
4. Кодиране
Анализаторът трябва да пита за екстремните стойности, и след това да посочи сценарии, водещи до стойности извън тези екстремуми, за да неутрализира възможни измествания на центъра. Може да се направят първите няколко оценки сравнително лесни, да се изискват интервални оценки, и впоследствие да се променя реда, в който се изискват различните точки или количества.
5. Проверка
Анализаторът проверява дали мненията съответстват на убедеността на експерта. Някои алтернативи включват извличане на разпределения от получените стойности, графично представяне и обсъждане на вероятностната функция и плътността на вероятността и показване на резултатите от калкулациите на модела, при който са използвани предоставените от експертите стойности.

Разработени са редица подходи и техники за извличане на експертните знания, като например: директни методи, при които директно се пита експерта за необходимите стойности; „вероятностни хазартни игри“, при които субективната оценка на експерта за вероятността се извлича от неговото поведение при определена контролирана ситуация наподобяваща хазартна игра; „вероятностно колело“, което представлява техническо средство за визуализиране на представата на експерта за търсената вероятност; сравнения по двойки събития и определяне на относителната им вероятност; използване на описания на вероятност или несигурност с думи и последващо трансформиране в числа и др.

Оценка на полученото експертно мнение
Няколко са желаните качества на експертните мнения: надеждност, точност, стойност, съгласуваност. Надеждността измерва степента до която оценката е повторяема и устойчива при различни извличания на мнението. Точността е степента на съответствие между прогнозите и последващите наблюдения на прогнозираната величина. Стойността на оценката включва икономическата полза от прогнозите, по-точно отношението на стойността и ползата от точните и неточните оценки. Несъгласуваността представлява наличие на противоречия или невъзможност на оценките.

Използват се редица средства за проверка и оценка на получените експертни мнения по изброените критерии.

Пример за прилагане на подхода
Подходът „извличане на експертните знания“ е използван при изготвяне на становището на Европейския орган по безопасност на храните относно риска от проникване на треска на долината Рифт в южното Средиземноморие чрез движение на заразени животни.

Проведен е семинар по извличане на експертните данни за изготвяне на оценката на риска от проникване на треската на долината Рифт. Използвани са данни, предоставени от експерти, поради липсата на официални данни и поради значимостта на нелегалната търговия, за която не съществува официална статистика. За целта предварително е бил разработен концептуален модел на възможните пътища на проникване на заболяването, за оценката на който обаче са били необходими данни относно: брой на експортираните животни; превалентността на заболяването на експортираните животни; частта заразени животни, която е експортирана въпреки мерките за контрол; частта животни, която остава заразена; частта животни, които са импортирани въпреки мерките за контрол. Експертите са представили своите оценки по тези променливи, като също са обяснили причините за своя избор и факторите, които оказват влияние върху стойностите на променливите.

За получаване на разпределенията от посочените от експертите стойности е използвана методологията и софтуерния продукт SHELF.

Групата експерти се е състояла предимно от епизоотолози и вирусолози, които са придобили значителен опит в научните изследвания, свързани с треската на долината Рифт, предотвратяването и контрола на това заболяване и дейностите в засегнатите региони или регионите източници. Експертите са изразили своите притеснения относно трудността да се дават съждения относно вероятността на определени параметри, като например броя на внесените животни в засегнатите региони.

Методологията на извличане на експертните знания е призната от участниците в семинара като подходяща методология за извличане на параметрите, които са необходими за оценка на риска при внос. Тази методология е прозрачна на всичките си етапи. Тя показва несигурностите свързани със стойностите на параметрите, и дава резултати, които са по-съдържателни от качествените оценки на вероятностите, които могат да имат различни значения за различните хора. Работата с разпределения позволява да се избегне фокусирането върху конкретни числени стойности на индивидуално оценени параметри и да се визуализира по-добре важността на несигурността, свързана с параметрите.

Използвана литература
1. Australian Centre of Excellence for Risk Analysis, 2010. ACERA Project 0611, Eliciting Expert Judgments, Report 1: Literature Review.

2. European Food Safety Authority; Technical meeting of the EFSA Scientific Network on EFSA Scientific Network for risk assessment in Animal Health and Welfare - Risk of introduction of Rift Valley fever into the Southern Mediterranean area through undocumented movement of infected animals, 2013:EN-416. [24 pp.]. Available online: www.efsa.europa.eu/publications

3. Oakley J. E. and O'Hagan, A. (2010). SHELF: the Sheffield Elicitation Framework (version 2.0), School of Mathematics and Statistics, University of Sheffield, UK. (http://tonyohagan.co.uk/shelf)