Оценка результатов экспертного анализа
При использовании всех рассмотренных выше методов возникает естественный вопрос: насколько можно доверять результатам оценки коэффициентов Сij, полученным из субъективных мнений экспертов? Достоверность результатов экспертного анализа чаще всего характеризуется степенью согласованности данных ими оценок. Для количественной оценки степени согласованности часто используется коэффициент конкордации [3]:
где
гij – место, которое заняло i-е свойство в ранжировке j-м экспертом.
Коэффициент W позволяет оценить, насколько согласованы между собой ряды предпочтительности, построенные каждым экспертом. Его значение находится в пределах 0£W£1, причем W=0 означает полную противоположность, а W=1 - полное совпадение ранжировок. Практически достоверность считается хорошей, если W=0,7¸0,8.
На основе рассмотренных методов могут быть определены значения коэффициентов Сij (j=1, 2, ..., m; i=1, 2, ..., п), по которым будут вычислены коэффициенты b., линейной формы интегрального критерия. При использовании такого подхода к формированию интегрального критерия в дальнейшем считается, что единица измерения каждого свойства системы, отраженного в соответствующем частном критерии, выбрана по принципу «чем больше, тем лучше». Отсюда следует, что качество решения по выбору альтернативы тем лучше, чем больше значение показателя эффективности.
Так как критерии qi могут иметь различную размерность, то при использовании их в качестве аргументов функции Е необходимо провести нормирование, т. е. привести их к общей размерности, и в частности к безразмерному виду.
Для придания равномерности влияния каждого из критериев на значение интегрального критерия необходимо выровнять диапазоны изменения значений критериев путем масштабирования и сведения их к диапазону [0; 1].
Проведение преобразований типов нормирования и масштабирования требует, чтобы для каждого из критериев были определены понятия «негодного» и «идеального» объектов, а это означает, что должны быть заданы допустимые области изменений значений критериев qi, qiн<qi<qiв. В этом случае самым простым масштабирующим и нормирующим преобразованием является линейное преобразование следующего вида:
где qiотн, qiн, qiв - относительное, нижнее и верхнее значения критерия qi соответственно.
В случае такого преобразования чувствительность шкалы изменения qi во всем диапазоне изменений qi постоянна. Если же разработчика особенно интересуют альтернативы в окрестности некоторой точки qi*, то можно повысить разрешающую способность частного критерия в окрестности этой точки за счет использования соответствующих нелинейных преобразований [3].
После проведения операций нормирования и масштабирования область годных альтернатив окажется заданной в виде n-мерного единичного куба, причем
0 < qiотн £ 1, i=1, 2, ..., п.
В результате проведенных преобразований для каждой рассматриваемой альтернативы будет определен вектор qотн(а), причем а Î А, где А – множество возможных альтернатив. Оценка интегрального показателя решения по выбору альтернативы производится в соответствии со следующим соотношением:
Заканчивая рассмотрение вопросов, связанных с построением обобщенного критерия эффективности сложных систем на основе метода экспертных оценок, следует еще раз обратить внимание на то, что на многих этапах его построения приходится опираться на субъективные мнения специалистов при выборе:
– наиболее существенных частных критериев;
– процедуры и единицы измерения для критериев;
– «идеального» значения критерия;
– значения, дающего наибольшую разрешающую способность критерия;
– нормирующего и масштабирующего преобразований;
– структуры функции обобщенного критерия;
– значений весовых коэффициентов.
Поэтому решения на каждом из перечисленных этапов должны приниматься на основе усредненного мнения многих специалистов, что повышает объективное содержание критерия. Однако это не исключает таких ситуаций, когда оценки некоторых реальных объектов, полученные с помощью обобщенного критерия, противоречат мнению специалистов.
В подобных случаях следует не отказываться от дальнейшего использования данного подхода, а тщательна проанализировать и выявить конкретные причины расхождения, после чего внести соответствующие изменения в критерий.
Как указывалось выше, для оценки СУБД могут использоваться самые разнообразные параметры, которые могут быть сгруппированы следующим образом:
– параметры определения данных;
– физические параметры;
– параметры доступности;
– параметры обработки транзакций;
– утилиты;
– средства разработки... и т.д.
Рекомендуемые параметры (показатели) для оценки СУБД приведены в табл. 2.6 [7].
Таблица 2.6
|
Наименование группы |
Наименование параметра |
|
Определение данных |
Расширенная поддержка первичных ключей |
|
Определение внешних ключей |
|
|
Предусмотренные типы данных |
|
|
Расширяемость типов данных |
|
|
Определение доменов |
|
|
Простота реструктуризации |
|
|
Средства поддержки целостности данных |
|
|
Реализация механизма представлений |
|
|
Поддержка словаря данных |
|
|
Независимость данных |
|
|
Тип базовой модели организации данных |
|
|
Поддержка эволюции схемы |
|
|
Физические параметры |
Предусмотренные файловые структуры |
|
|
Поддержка определения файловых структур |
|
Простота реорганизации |
|
|
Средства индексирования |
|
|
Поля/записи с переменной длиной |
|
|
Сжатие данных |
|
|
Возможности шифрования |
|
|
Требования к памяти |
|
|
Требования к устройствам хранения данных |
|
|
Доступность |
Язык запросов: совместимость со стандартами SQL |
|
Интерфейс для других систем |
|
|
Интерфейс для языков третьего поколения |
|
|
Многопользовательский доступ |
|
|
Защита базы данных: управление доступом к данным, поддержка механизма авторизации |
|
|
Обработка транзакций |
Процедуры резервного копирования и восстановления |
|
Поддержка контрольных точек |
|
|
Средства ведения системного журнала |
|
|
Поддерживаемый уровень детализации параллельности |
|
|
Возможные стратегии разрешения тупиковых ситуаций |
|
|
Поддержка усовершенствованных моделей управления транзакциями |
|
|
Параллельная обработка запросов |
|
|
Утилиты |
Измерение производительности |
|
Настройка производительности базы данных |
|
|
Инструменты загрузки/выгрузки данных |
|
|
Контроль активности пользователей |
|
|
Поддержка процедур администрирования базы данных |
|
|
Средства разработки |
Инструменты, использующие языки четвертого и пятого поколений |
|
Case-инструменты |
|
|
Инструменты для работы с оконным инструментом |
|
|
Поддержка хранимых процедур, триггеров и правил |
|
|
Другие параметры |
Способность к модернизации |
|
Стабильность производителя СУБД |
|
|
База пользователей |
|
|
Обучение и поддержка пользователей |
|
|
Взаимодействие с другими СУБД и прочими системами |
|
|
Поддержка работы в Internet |
|
|
Утилиты репликации |
|
|
Возможности распределенной работы |
|
|
Качество и полнота документации |
|
|
`Наименование группы |
Наименование параметра |
|
Требуемая операционная система |
|
|
Стоимость |
|
|
Оперативная справочная система |
|
|
Используемые стандарты |
|
|
Управление версиями |
|
|
Расширенная оптимизация запросов |
|
|
Масштабируемость |
|
|
Переносимость |
|
|
Требуемое аппаратное обеспечение |
|
|
Поддержка работы в сети |
|
|
Объектно-ориентированные свойства |
|
|
Поддержка двух- или трехуровневой архитектуры «клиент/сервер» |
|
|
Производительность |
|
|
Пропускная способность при обработке транзакций |
|
|
Максимальное количество одновременно работающих пользователей |
