|
|
|
сделать стартовой | добавить в избранное |
 |
|
Современный этап развития теории экспертных оценок |
Наклейки для поощрения "Смайлики 2". 
Горшок торфяной для цветов. 
Ручка "Шприц", желтая. Современный этап развития теории экспертных оценок На основе более чем двадцатилетнего опыта комиссии "Экспертные оценки" Научного совета АН СССР по комплексной проблеме "Кибернетика" и двадцати лет работы ее научного семинара "Математические методы анализа экспертных оценок" в настоящей главе отчета рассматриваются основные проблемы теории и практики экспертных оценок. Современные математические методы экспертных оценок - это в основном методы статистики объектов нечисловой природы. Обсуждаются догмы в области экспертных оценок и современные рекомендации, применение статистики объектов нечисловой природы в экспертных оценках, вопросы построения интегральных показателей качества, эффективности и пр., т.е. рейтингов, а также перспективы создания и применения гаммы современных методик экспертных оценок на основе подходов и результатов указанного научного коллектива. В целом глава дает научное обоснование разработке автоматизированного рабочего места МАТЭК (МАТематические методжы в ЭКспертных оценках). Бесспорно совершенно, что для принятия обоснованных решений необходимо опираться на опыт, знания и интуицию специалистов. После второй мировой войны в рамках теории управления (менеджмента) стала развиваться самостоятельная дисциплина - экспертные оценки. Методы экспертных оценок - это методы организации работы со специалистами-экспертами и обработки мнений экспертов, выраженных в количественной и/или качественной форме с целью подготовки информации для принятия решений ЛПР - лицами, принимающими решения. Для проведения работы по методу экспертных оценок создают Рабочую группу (сокращенно РГ), которая и организует по поручению ЛПР деятельность экспертов, объединенных (формально или по существу) в экспертную комиссию (ЭК). Существует масса методов получения экспертных оценок. В одних с каждым экспертом работают отдельно, он даже не знает, кто ещ› является экспертом, а потому высказывает свое мнение независимо от авторитетов. В других экспертов собирают вместе для подготовки материалов для ЛПР, при этом эксперты обсуждают проблему друг с другом, учатся друг у друга, и неверные мнения отбрасываются. В одних методах число экспертов фиксировано и таково, чтобы статистические методы проверки согласованности мнений и затем их усреднения позволяли принимать обоснованные решения. В других - число экспертов растет в процессе проведения экспертизы, например, при использовании метода "снежного кома" (см., например, ). В настоящее время не существует научно обоснованной классификации методов экспертных оценок и тем более - однозначных рекомендаций по их применению. Вполне естественно, что сначала в нашей стране появились публикации о простейших методах экспертных оценок (см., например, ). Как обычно бывает, тривиальные соображения широко распространились, вошли в массовое сознание инженеров и управленцев (менеджеров) и стали тормозом на пути внедрения современных результатов в области экспертных оценок, описанных, например, в работах . По нашему мнению, наиболее продвинутые результаты в рассматриваемой области были получены в результате работы комиссии "Экспертные оценки" Научного совета АН СССР по комплексной проблеме "Кибернетика" в 70-90-х годах (см.
и др. публикации). В рамках настоящей главы отчета нельзя подробно рассказать о различных методах экспертных оценок (да и нет в этьом необходимости, поскольку существуют многочисленные публикации). Тем не менее, выделим основные проблемы в рассматриваемой области, что можно рассматривать как экспертный анализ состояния дел в научно-практической дисциплине "Экспертные оценки". Основные проблемы экспертных оценок Что должна представить экспертная комиссия в результате своейработы - информацию для принятия решения ЛПР или проект самого решения? От ответа на этот методологический вопрос зависит организация работы экспертной комиссии. Цель - сбор информации для ЛПР. Тогда Рабочая группа должна собрать возможно больше относящейся к делу информации, аргументов "за" и "против" определенных вариантов решений. Полезен метод постепенного увеличения числа экспертов, описанный в . Сначала первый эксперт приводит свои соображения по рассматриваемому вопросу. Составленный им материал передается второму эксперту, который добавляет свои аргументы. Накопленный материал поступает к следующему - третьему - эксперту. Процедура заканчивается , когда иссякает поток новых соображений. Отметим, что эксперты в рассматриваемом методе только поставляют информацию, аргументы "за" и "против", но не вырабатывают согласованного проекта решения. Нет никакой необходимости стремиться к тому, чтобы экспертные мнения были согласованы между собой. Более того, наибольшую пользу приносят эксперты с мышлением, отклоняющимся от массового, поскольку именно от них следует ожидать наиболее оригинальных аргументов. Цель - подготовка проекта решения для ЛПР Математические методы в экспертных оценках применяются обычно именно для решения задач подготовки проекта решения. При этом зачастую некритически принимают догмы согласованности и одномерности. Эти догмы "кочуют" из одной публикации в другую, поэтому целесообразно их обсудить. Догма согласованности. Считается, что решение может быть принято лишь на основе согласованных мнений экспертов. Поэтому исключают из экспертной группы тех, чье мнение отличается от мнения большинства. При этом отсеиваются как неквалифицированные лица, попавшие в состав экспертной комиссии по недоразумению или по соображениям, не имеющим отношения к их профессиональному уровню, так и наиболее оригинальные мыслители, глубже проникшие в проблему, чем большинство. Следовало бы выяснить их аргументы, предоставить им возможность для обоснования их точек зрения. Вместо этого их мнением пренебрегают. Бывает и так, что эксперты делятся на две или более групп, имеющих единые групповые точки зрения. Так, в приведен пример деления специалистов при оценке результатов научно-исследовательских работ на две группы: "теоретиков", явно предпочитающих НИР, в которых получены теоретические результаты, и "практиков", выбирающих те НИР, которые позволяют получать непосредственные прикладные результаты (речь идет о конкурсе НИР в Институте проблем управления (автоматики и телемеханики)). Иногда заявляют, что в случае обнаружения двух или нескольких групп экспертов (вместо одной согласованной во мнениях) опрос не достиг цели.
Это не так! Цель достигнута - установлено, что единого мнения нет. И ЛПР должен это учитывать. Стремление обеспечить согласованность мнений экспертов любой целой может приводить к сознательному одностороннему подбору экспертов, игнорированию всех точек зрения, кроме одной, наиболее полюбившейся Рабочей группе ( или даже "подсказанной" ЛПР). Поскольку число экспертов обычно не превышает 20-30, то формальная статистическая согласованность мнений экспертов может сочетаться с реально имеющимся разделением на группы, что делает дальнейшие расчеты не имеющими отношения к действительности. Если же обратиться к конкретным методам расчетов, например, с помощью коэффициентов конкордации на основе коэффициентов ранговой корреляции Кендалла или Спирмена , то необходимо помнить, что на самом деле положительный результат проверки согласованности таким способом означает ни больше, ни меньше, как отклонение гипотезы о независимости и равномерной распределенности мнений экспертов на множестве всех ранжировок. Другими словами, мы падаем жертвой заблуждений, вытекающих из своеобразного толкования слов: проверка согласованности в указанном статистическом смысле вовсе не является проверкой согласованности в смысле практики экспертных оценок. (Именно ущербность рассматриваемых математико-статистических методов анализа ранжировок привела нас к разработке нового математического аппарата для проверки согласованности - непараметрических методов, основанных на люсианах .) С целью искусственно добиться согласованности стараются уменьшить влияние мнений экспертов-диссидентов. Жесткий способ борьбы с диссидентами состоит в их исключении из состава экспертной комиссии. Отбраковка экспертов, как и отбраковка резко выделяющихся результатов наблюдений, приводит к процедурам, имеющим плохие или неизвестные статистические свойства. Так, в показана крайняя неустойчивость классических методов отбраковки выбросов по отношению к отклонениям от предпосылок модели. Мягкий способ борьбы с диссидентами состоит в применении робастных (устойчивых) статистических процедур. Простейший пример: если ответ эксперта - действительное число, то резко выделяющееся мнение диссидента сильно влияет на среднее арифметическое ответов экспертов и не влияет на их медиану. Поэтому разумно в качестве согласованного мнения рассматривать медиану. Однако при этом игнорируются (не достигают ЛПР) аргументы диссидентов. В любом из двух способов борьбы с диссидентами ЛПР лишается информации, идущей от диссидентов, а потому может принять необоснованное решение, которое приведет к отрицательным последствиям. С другой стороны, представление ЛПР всего набора мнений снимает часть ответственности и труда по подготовке окончательного решения с комиссии экспертов и рабочей группы по проведению экспертного опроса и перекладывает ее на плечи ЛПР. Догма одномерности. Распространен довольно примитивный подход так называемой "квалиметрии"(см.,например, ), согласно которому объект всегда можно оценить одним числом. Оценивать человека одним числом приходило в голову лишь на невольничьих рынках. Вряд ли даже самые рьяные квалиметристы рассматривают книгу или картину как эквивалент е› "рыночной стоимости".
И наука о власти, общая для всех времен и народов, не считалась нужной и необходимой. На современном этапе развития России, в связи с политическими процессами, происходящими в обществе, разработка теории власти приобретает особый смысл. Выделим основные моменты, определяющие необходимость создания единой теории и базы данных о власти. Первый. Сами люди - к власти постоянно приходят новые люди, которым нужна единая и целостная наука о власти, определяющая и раскрывающая инструмент, оказавшийся в их руках. Второй. Научные идеи, отсутствие знаний о власти, новых идей относительно государственного устройства - необходимы упорядочение и систематизация всех имеющихся идей и знаний о власти. Третий. Спрос на новое. В условиях коренного перелома всей общественной жизни потребность в глубокой и всесторонней разработке новых идей в науке о власти требует своего разрешения. В переходный период и у власти, и в экономике, в условиях рынка и формирования новых общественных отношений достаточно много общего, сходного, развивающегося по единым законам и технологиям. Четвертый
1. Современный этап развития теории экспертных оценок
2. Пенсионная реформа в РФ на современном этапе развития
3. Основные черты НТР на современном этапе развития
4. Современный этап развития военных судов в Российской Федерации
5. Возможности судебно-товароведческой экспертизы на современном этапе развития
10. Развитие сестринского дела на современном этапе
11. Проблемы развития коммерческой деятельности в розничной торговле на современном этапе
12. Особенности развития ТНК на современном этапе
13. Основные тенденции мирового развития на современном этапе
14. Тенденции развития классического волейбола на современном этапе
15. Некоторые тенденции развития массового политического сознания на современном этапе
16. Особенности развития народного хозяйства России на современном этапе
Глобус детский зоогеографический, 210 мм. 
Пепельница S.Quire круглая, сталь, 110 мм. 
Конверт почтовый "Куда-Кому", С4 (229х324 мм), стрип, 50 штук. 17. Развитие операционной системы для ПК на современном этапе
18. Развитие прав граждан России на современном этапе
19. Направления развития гражданского общества в Республике Казахстан на современном этапе
20. Теории федерализма на современном этапе
21. Внешняя торговля РФ на современном этапе и направления её развития
25. Развитие курортного дела в России на современном этапе
26. Зарождение и основные этапы развития новой институциональной экономической теории
27. Этапы развития отечественных региональных исследований и формирование современной региональной науки
28. Основные этапы развития и конструктивной эволюции техники в области самолетостроения
29. Налоговая система РФ на современном этапе
30. Судебная реформа в Российском государстве на современном этапе
31. Генезис (развитие) теории правового государства с древнейших времен и по наши дни
32. Шрифт. Этапы развития и изменения формы
Каталка-автомобиль "Sokol" (с ручкой). 
Пазл "Арктика", 75 элементов. 
Подгузники-трусики "Pampers. Pants. Джамбо", Maxi (9-15 кг), 52 штуки. 34. Основные направления реформирования образования на современном этапе
35. Политическая карта мира. Современный этап международных отношений
36. Россия и мировое сообщество на современном этапе
37. Этапы развития личности в онтогенезе
41. Развитие теории и практики менеджмента (Контрольная)
42. Современные тенденции развития организационных структур управления
43. Роль денежно-кредитной политики на современном этапе
44. Основные направления государственной политики занятости на современном этапе
45. Великий шелковый путь: формирование и основные этапы развития
46. Внешняя политика Великобритании на современном этапе
47. Современный период развития России
48. Этапы развития третьего рейха
Карандаши цветные "Kores", 24 цвета, с точилкой. 
Мешок для обуви "Kitten", 1 отделение, светоотражающая полоса. 
Чехол с поролоном, антипригарный, для гладильной доски (тефлон). 49. Борьба с преступностью на современном этапе (актуальные вопросы)
50. Основные этапы развития культуры Египта
51. Методика факультатива "Современные тенденции развития русской литературы"
52. Важнейшие этапы становления теории менеджмента СМИ
53. Современные тенденции развития и формирования ассортимента рыбной кулинарии
57. История развития теории и практики менеджмента
58. Система налогообложения в Российской Федерации на современном этапе
59. Анализ состояния российской науки на современном этапе
60. Шрифт. Этапы развития и изменения формы
61. Политические режимы современного общественного развития
62. Основные этапы развития конституционализма в России
63. Язык детского рисунка. Этапы развития. Задачи развития ребёнка в рисовании
64. Исторические этапы развития психологической науки
Машинка детская с полиуретановыми колесами "Бибикар-лягушонок", синий. 
Брелок "FIFA 2018. Забивака Фристайл! 3D". 
Тележка багажная ТБР-20, зелено-черная. 65. Основные этапы развития вариативности отечественного начального образования
66. Развитие теории и методики воспитания нравственных качеств у детей
68. Развитие теории самоактуализации в отечественной педагогике и психологии
69. Русская православная церковь на современном этапе
73. Этапы развития категории бытия в философии
74. О становлении и этапах развития валютного рынка Вьетнама
75. Состояние экономики и финансов Республики Беларусь на современном этапе
76. Инфляция как неизбежный спутник современного экономического развития
77. Система налогообложения в Российской Федерации на современном этапе
78. Возникновение налогообложения и развитие теории налогов
79. Мировое хозяйство: понятия, субъекты, этапы развития
80. Современные тенденции развития банковской системы в России
Поильник–непроливайка Lubby "Русские мотивы" с трубочкой, 240 мл. 
Бутылочка для кормления "Avent Classic+", 260 мл (розовая, рисунок: бабочка), от 1 месяца. 
Пакеты с вырубной ручкой "Stones & Samson", 50х40 см (50 штук). 81. Мировая экономика на современном этапе
82. Современные экономические школы: теория и практика реализации концепции монетаризма и кейнсианства
83. Проблемы взаимодействия местного самоуправления города Москвы и государства на современном этапе
84. Астрология-этап развития астрономии
89. Демографическая ситуация в мире на современном этапе
90. Этапы развития экономической географии
91. Современное состояние денежной теории
92. Исторические этапы развития массовых коммуникаций
93. Архивное дело на современном этапе
94. Современный период развития России
95. Экспертная оценка суггестивного воздействия
96. История западноевропейского воспитания: основные этапы развития и их смысл
Сахарница с ложкой "Лавандовый букет", 660 мл. 
Пакеты сменные одноразовые для дорожных горшков "HandyPotty", 35 штук. 
Овощерезка "Nicer Dicer Plus". 97. Население России. Естественное движение население в РФ на современном этапе, региональные различия
98. Международная торговля России на современном этапе
99. Кредитные операции банков на современном этапе
100. Ипотечное кредитование в России и за рубежом на современном этапе
