Автор Анна Евкова
Преподаватель который помогает студентам и школьникам в учёбе.

Метод РИПСА в задаче выбора решений (1. Системы поддержки принятия решений)

Содержание:

Введение

В начале восьмидесятых годов в исследованиях по искусственному интеллекту сформировалось самостоятельное направление, получившее название "экспертные системы" (ЭС). Цель исследований по ЭС состоит в разработке программ, которые при решении задач, трудных для человека, получают результаты, не уступающие по качеству и эффективности решениям, получаемым квалифицированным экспертом.

По мнению ведущих специалистов, в недалекой перспективе ЭС будут играть ведущую роль во всех фазах проектирования, разработки, производства, распределения, продажи, поддержки и оказания услуг, а технология ЭС, получившая коммерческое распространение, обеспечит революционный прорыв в интеграции приложений из готовых интеллектуально взаимодействующих модулей.

Уже сейчас технология экспертных систем используется для решения различных типов задач (предсказание, диагностика, планирование, конструирование, контроль, отладка, инструктаж, управление) в самых разнообразных проблемных областях, таких, как финансы, нефтяная и газовая промышленность, энергетика, транспорт, фармацевтическое производство, космос, металлургия, горное дело, химия, образование, целлюлозно-бумажная промышленность, телекоммуникации и связь и др.

ЭС предназначены для решения так называемых неформализованных задач. Неформализованные задачи обычно обладают следующими особенностями:

  • ошибочностью, неоднозначностью, неполнотой и противоречивостью исходных данных и знаний о проблемной области и решаемой задаче.
  • большой размерностью пространства решения, т.е. перебор при поиске решения весьма велик.
  • динамически изменяющимися данными и знаниями.

Экспертные системы и системы искусственного интеллекта отличаются от систем обработки данных тем, что в них в основном используются символьный (а не числовой) способ представления, символьный вывод и эвристический поиск решения (а не исполнение известного алгоритма).

Таким образом, мы видим, что мнения экспертов, которые превращаются в экспертной системе в знания, могут не совпадать и даже противоречить друг другу. Поэтому необходимо использовать специальные методы, которые могут достаточно надежно сопоставить различные элементы знания (альтернативы) в условиях, когда они оцениваются по разному. Если эти оценки можно принять в качестве некоторых критериев оптимальности, для решения указанной задачи можно привлечь такие методы, как MAUT (многокритериальная теория полезности), AHP(метод аналитической иерархии), ELECTRE(исключение и выбор, отражающие реальность), голосования (метод Борда и система де Кондорсе).

Поэтому избранная тема «Метод РИПСА в задаче выбора решений» является актуальной и подлежит рассмотрению в курсовой работе.

Целью курсовой работы является подробное изучение метода РИПСА и его применение на практике.

Для достижения поставленной цели необходимо решить следующие задачи исследования:

  • изучить системы поддержки принятия решений;
  • рассмотреть применение методов РИПСА на практике.

Предметом исследования является метод РИПСА.

Объектом — задача выбора решений.

Теоретической основой являются учебники и учебные пособия таких авторов, как Самков А. В., Азгальдов Г. Г., Саати Т. Л., Михалев А. И.

1. Системы поддержки принятия решений

1.1. Методы, основанные на количественном выражении предпочтений ЛПР на множестве критериев

Метод приращений

ЛПР выражает свои предпочтения на множестве критериев, как правило, с помощью задания системы весовых коэффициентов. Данные методы можно условно разделить на две группы:

1) простые методы объединения характеристик;

2) методы объединения, основанные на порогах чувствительности.

Одним из основных методов 1-й группы является простой метод приращений.

Входные данные – множество вариантов решения. Каждый из этих вариантов предварительно оценивают. Оценка производится по нескольким заданным критериям. При каждой оценке (по каждому критерию) вариант получает свой порядковый номер. Затем каждый вариант будет поставлен на какое-либо место. Это место определяется оценкой порядковых номеров критериев. Затем строится квадратная матрица. B=||bir|| порядка N. Значение bir показывает, сколько раз i-й вариант xi оценен как r-й по порядку.

Если заданы весовые коэффициенты, то bir – это сумма весов тех критериев, по которым вариант оценен по порядку, т.е. элементы матрицы можно интерпретировать как меру приращения r-го порядка i-му варианту.

Составляется матрица Y=||yir||, состоящая только из нулей и единиц. Изначально она вся нулевая. yir = 1, если варианту xi приписан r-й порядок. Для нахождения решения решается задача целочисленного линейного программирования:

(1.1)

при условии

(1.2)

1.2. Метод SMART

Применяется для оценки и выбора лучшей альтернативы на множестве заданных альтернатив. Этот метод представлен совокупностью следующих операций:

1) упорядочение критериев по важности;

2) присвоение наиболее важному критерию оценку 100 баллов и оценка в баллах каждого из критериев;

3) сложение полученных баллов;

4) нормировка весов критериев (т.е. деление присвоенных баллов на сумму весов);

5) измерение значения каждой альтернативы по всем критериям по шкале от 0 до 100 баллов;

6) определение общей оценки каждой альтернативы и выбор лучшей альтернативы, имеющей наибольшую оценку;

7) оценка чувствительности результата к изменениям весов.

Субъективная роль ЛПР проявляется в назначении баллов критериям.

В методе SMART ЛПР выполняет сложную операцию задания весов критериев, поэтому метод чувствителен к ошибкам ЛПР.

1.3. Методы объединения, основанные на порогах чувствительности: методы класса РИПСА

Основу этих методов составляют методы класса ЭЛЕКТРА (ЭЛЕКТРА 1, ЭЛЕКТРА 2, ЭЛЕКТРА 3), которые были разработана коллективом французских ученых, возглавляемым профессором Б. Руа. Эти методы относятся к классу методов Разработки Индексов Попарного Сравнения Альтернатив (РИПСА).

В подходе РИПСА принято различать 2 этапа:

1) этап разработки, на котором строятся один или несколько индексов попарного сравнения альтернатив;

2) этап исследования, на котором построенные индексы используются для ранжирования (или классификации) заданного множества альтернатив.

ЭЛЕКТРА 1 позволяет из множества вариантов исключить неэффективные варианты. В основе данного метода лежит попарное сравнение отдельных вариантов.

ЭЛЕКТРА 2 служит для упорядочения индифферентных классов вариантов.

ЭЛЕКТРА 3 отличается от метода ЭЛЕКТРА 2 способом задания порогов чувствительности.

1.3.1. Метод ЭЛЕКТРА 1

Входными данными для метода является множество решений. Метод отсекает все неэффективные варианты. На множестве вариантов Х производится попарное их сравнение, в результате которого строятся индексы согласия и несогласия.

Каждому из N критериев ставится в соответствие целое число w, характеризующее важность критерия (фактически, вес критерия). Это число можно получить как количество голосов жюри, поданных за этот критерий.

Выдвигается гипотеза о превосходстве альтернативы Ai над альтернативой Aj. Множество I, состоящее из N критериев, разбивается на 3 подмножества:

I+ – подмножество критериев, по которым Ai предпочтительнее Aj.

I- – подмножество критериев, по которым Aj предпочтительнее Ai.

I= – подмножество критериев, по которым Ai равноценна Aj.

Далее формируется индекс согласия с гипотезой о превосходстве Ai над Aj:

(1.3)

где wi – вес i-го критерия. Индекс несогласия определяется на основе самого противоречивого критерия – того критерия, по которому Ai в наибольшей степени уступает Aj.

Длина шкалы – это своеобразная относительная единица, по которой сравниваются различные критерии. Цена деления каждой шкалы должна выбираться таким образом, чтобы отражать равную ценность (важность для принятия решения). Например, если стоимость в 1000 рублей играет такую же роль, как расстояние в 3 км, то цена деления шкалы "стоимость" – 1000, а "расстояние" – 3.

Для того чтобы учесть возможную разницу длин шкал, разность оценок по шкалам нормируют:

(1.4)

где Ii Aj, Ii Ai – оценки альтернатив Aj и Ai по i-му критерию; Li – длина шкалы i-го критерия.

Укажем очевидные свойства индекса согласия:

1) 0 ≤ СAiAj ≤ 1.

2) СAiAj = 1, если I- – пусто.

СAiAj сохраняет своё значение при замене одного критерия несколькими с тем же общим весом.

Приведём свойства индекса несогласия:

1) 0 ≤ dAiAj ≤ 1.

2) dAiAj сохраняет своё значение при введении более детальных шкал.

Индекс несогласия может быть назван "вето", т.к. он выполняет именно эту роль.

В методе ЭЛЕКТРА 1 бинарное отношение превосходства задаётся уровнями согласия и несогласия. Выдвигается гипотеза: альтернатива Ai превосходит альтернативу Aj. Если

(1.5)

где α1, γ1– заданные уровни согласия и несогласия, то гипотеза верна.

Если же при этих уровнях альтернативы не удаётся сравнить, то они объявляются несравнимыми.

При заданных условиях выделяется ядро недоминируемых альтернатив.

При изменении уровней α и γ выделяется меньшее ядро и т.д., пока не будет исчерпан весь список альтернатив. В последнее ядро входят лучшие альтернативы. В конечном итоге получается групповая ранжировка альтернатив по качеству.

Для каждой пары вариантов xi и xj определяются еще два множества:

множество согласований Gij и множество рассогласований Dij.

(1.6)

Определим мощность множества согласований

(1.7)

р1, р2, р3, ... рm — система весовых коэффициентов.

Если веса нормализованы, то

— коэффициент согласования. (1.8)

Если xi предпочтительнее xj по всем критериям, то Gij=1.

Коэффициенты рассогласования определены по критериям, где xi предпочтительнее xj:

(1.9)

dk max – максимальный размах значений k-го критерия. Он определяется на основе анализа матрицы частных значений

(1.10)

Из рассмотрения исключаются варианты, у которых коэффициенты согласования близки к нулю, а коэффициенты рассогласования – к единице.

1.3.2. Метод ЭЛЕКТРА 2

Метод предназначен для идентификации и упорядочивания индифферентных (безразличных) классов вариантов. В основе метода лежит сравнение заданных ЛПР порогов предпочтения с некоторой функцией F(Sij, Sji, Si􀀀j), где

(1.11)

Порог предпочтения в данном методе показывает, какое наименьшее значение должна принимать функция F, чтобы вариант Аi был предпочтительнее варианта Аj.

Индексы согласия и несогласия подсчитываются также, как в ЭЛЕКТРА 1.

Вводятся 2 уровня согласия и несогласия (α1 и α2, γ1 и γ2) и два отношения предпочтения σ1 и σ2: σ1 – сильное отношение предпочтения и σ2 – слабое отношение предпочтения, σ1 принадлежит σ2.

На заданном множестве альтернатив выявляются альтернативы, находящиеся в отношении σ1 и σ2. Выявляется 1-е ядро, в которое входят недоминируемые альтернативы, они удаляются, строится 2-е ядро и т.д.

Каждой альтернативе присваивается индекс, соответствующий номеру ядра. Строится полный порядок на этих альтернативах. Второй полный порядок строится от худших к лучшим альтернативам. Если эти порядки не сильно отличаются друг от друга, то на их основе строится средний порядок, который предъявляется ЛПР.

1.3.3. Метод ЭЛЕКТРА 3

Данный метод основан на задании системы весовых коэффициентов критериев, поэтому на начальном шаге ЛПР должен выполнить операцию задания весов критериев, которая является сложной операцией.

На основе определённых весов критериев вычисляются значения функции соответствия μ (Xi,Xj), описывающей размытое отношение предпочтений ЛПР на множестве вариантов. Также при использовании данного метода необходимо выбрать различающую способность ЛПР, то есть величину, определяющую изменение порога чувствительности λk на каждом итерационном шаге. Данная операция может быть отнесена к разряду допустимых, так как, по существу, сводится к операции сравнения изменений оценок двух критериев.

В данном методе пороги чувствительности λ задаются по некоторому формальному правилу и постепенно модифицируются в ходе расчетов.

Для каждого xi вводится g2(xi) – классификация по порогу λ (λ-классификация варианта xi). g2(xi)= p2(xi) – f2(xi), λ – порог чувствительности, p(xi) – число вариантов, по отношению к которым вариант xi явно предпочтительнее, а f(xi) – число вариантов, которые явно предпочтительнее варианта xi.

Порог чувствительности определяется относительно функции принадлежности μ(xi, xj): λ0=max(xi, xj).

2. Применением методов РИПСА на практике

2.1. Методы обоснования решений по выбору состава оборудования в инновационных проектах

В разделе 2 предложены методы решения задач по выбору состава оборудования при технико-экономическом обосновании проектов и обеспечению поддержки решений. На примере выбора образцов котлового оборудования решена задача сравнительной оценки и их выбора с применением комплекса методов: анализа иерархий, анализа сетей и распознавания образов. Определены преимущества и недостатки данных методов, разработаны практические рекомендации по их применению.

Известно, что одним из недостатков проектного управления является недостаточная обоснованность решений при разработке и управлении проектами, особенно при выборе состава оборудования, новых технологий, комплексов автоматизации, программного обеспечения и т. д. [1].

Если принять во внимание широкую номенклатуру современного оборудования, систем и технологий, предлагаемых на рынке, широкий диапазон характеристик оборудования (эксплуатационных, эргономических, стоимостных и др.), процесс выбора лучших образцов и формирования оптимального состава технических средств представляет значительную сложность.

Принимаемые на этом этапе решения часто бывают необоснованными, связанными с субъективностью и в итоге приводят к снижению инвестиционной привлекательности проектов, увеличению необоснованных затрат и сроков их окупаемости.

Если учитывать высокую стоимость современных инновационных проектов, которая может достигать сотни миллионов рублей и выше, задача обоснованности принятия решений по выбору состава оборудования, новых технологий, средств автоматизации, программного обеспечения и т. д., бесспорно, является актуальной и требует решения.

Значительная часть современных проектов решает задачу энергоэффективности, так что рассмотрим технологию принятия решений на примере выбора современных энергосберегающих бытовых котлов.

Одной из важных задач энергоэффективности, решаемых при управлении инновационными проектами и посвященных технико-экономическому обоснованию принимаемых решений, является выбор лучших образцов энергетического оборудования (ЭО) по множеству показателей, включая технико-экономические показатели объектов и процессов их функционирования.

Решение такого типа задач базируется на выборе наиболее эффективных методов решения (либо на создании новых) и разработке методических подходов для проведения сравнительной оценки и отбора лучших образцов ЭО на основе критерия «эффективность – стоимость» [1, 2]. В результате определяется оптимальный образец ЭО с лучшими технико-экономическими показателями, что позволяет избежать необоснованных экономических затрат.

ЭО (в том числе и котлы) относится к классу сложных технических систем (СТС), а многокритериальная задача выбора таких систем – к классу задач квалиметрии [3], решение которых представляет соответствующую сложность и требует разработки методического подхода на основе выбранных математических методов [1].

Задачей исследований также является разработка практических рекомендаций по применению методов ее решения для отбора образцов ЭО по критерию «эффективность – стоимость». При этом под критерием «эффективность» понимается прирост эффективности применения выбранного образца ЭО (после установки более современного оборудования), под критерием «стоимость» – экономические затраты на приобретение и эксплуатацию ЭО.

Известен ряд методов для решения задач квалиметрии, среди которых метод анализа иерархий (МАИ) [4, 5] и менее известные метод анализа сетей (МАС) [6], метод распознавания образов (МРО) [6] и др. Однако каждый из них нельзя назвать универсальным.

В результате исследований проведена апробация отмеченных многокритериальных методов и их сравнительная оценка на примере выбора котлового оборудования (котлов). При этом определены достоинства и недостатки сравниваемых методов, разработаны практические рекомендации для их применения и методические подходы для оценки и выбора лучших образцов котлов по критерию «эффективность – стоимость» [1].

Известно, что технология применения МАИ базируется на иерархическом представлении элементов путем проведения попарного сравнения характеристик образцов [4, 5]. В результате его применения формируется соответствующая матрица на базе девятибалльной шкалы, а затем глобальные приоритеты для каждого из сравниваемых образцов (котлов), и проводится процедура выбора лучшего варианта.

Апробация предложенных методов решения проведена для реально существующих шести типов бытовых котлов одного класса по семи параметрам: номинальная мощность, коэффициент полезного действия (КПД), объем отапливаемых помещений, максимальный расход газа, гарантийный срок службы, массовые и ценовые характеристики (табл. 2.1).

Таблица 2.1

Исходные данные для решения задачи

Котлы

Номинальная мощность, кВт

КПД, %

Отапли ваемый объем, м3

Максимальный расход газа, м3/ч

Гарантийный срок службы, мес.

Масса котла, кг

Цена, $.

Котел № 1

24,0

92

220

2,80

29

85,5

422

Котел № 2

20,0

90

225

2,24

30

64,0

385

Котел № 3

24,0

90

240

2,75

24

80,0

415

Котел № 4

25,0

91

280

2,90

24

100,0

431

Котел № 5

22,5

90

220

2,60

24

80,0

416

Котел № 6

20,0

90

200

2,40

24

89,0

425

Расчеты для сравниваемых методов проводились с помощью веб-приложения «Система поддержки принятия решений (СППР) NooTron», разработанного коллективом кафедры, возглавляемой профессором А. И. Михалевым [6].

2.2. Метод анализа иерархий

При проведении расчетов на основе МАИ выделена численность альтернатив и критерии их сравнения для всех сравниваемых образцов, проведены попарные сравнения на основе шкалы Саати, получены результаты расчетов, а также значения глобальных приоритетов (ГП) сравнительной оценки (табл. 2) и диаграмма результатов выбора на основе МАИ (рис. 2.1). Для сравнения результатов оценена чувствительность метода на основе метрики А:

А = ((Хmax – Xmin) / Xmax) · 100 %, 2.1)

где Хmax – альтернатива с максимальным значением ГП;

Xmin – альтернатива с минимальным значением ГП.

Рисунок 2.1. Результаты выбора сравниваемых котлов на основе МАИ

Анализ результатов расчетов (табл. 2.2, рис. 2.1) показывает, что лучшим образцом по критерию «эффективность – стоимость» из шести сравниваемых марок котлов является образец № 4, который на 5,35 % превосходит образец № 6.

Таблица 2.2

Числовые значения глобальных приоритетов (ГП)

Альтернативы

ГП

Котел № 1

0,959

Котел № 2

0,982

Котел № 3

0,970

Котел № 4

0,989

Котел № 5

0,959

Котел № 6

0,936

2.3. Метод распознавания образов

Применение МРО для решения задачи выбора основано на формировании модели сравнения альтернатив на образах классов приближения к идеальному решению. При этом используется аппарат искусственных нейронных сетей, который имеет высокие потенциальные возможности для применения в теории принятия решений. Применение МРО для выбора котлов проводилось на основе алгоритма, включающего следующие составляющие:

Выбор критериев и альтернатив сравнительной оценки.

Определение классов оценок (класс 1 – преимущество «Техническое совершенство», класс 2 – преимущество «Экономическое совершенство», класс 3 – «Глобальные приоритеты») (табл. 3).

Задание числовых значений каждого класса по заданным критериям и коэффициентам важности критериев.

Проведение расчетов на основе алгоритма МРО и получение сравнительных оценок.

Построение диаграмм на основе полученных результатов и выбор лучших вариантов (рис. 2.2).

Результаты исследований на основе МРО, приведенные в табл. 2.3 и на рис. 2, хорошо согласуются с результатами, полученными на основе МАИ.

Таблица 2.3

Исходные данные для решения задачи на основе МРО и МАИ

Альтернативы

I класс

II класс

III класс

Котел № 1

0,990

0,984

0,992

Котел № 2

0,967

0,998

0,997

Котел № 3

0,991

0,996

0,995

Котел № 4

0,98

0,998

0,998

Котел № 5

0,980

0,996

0,990

Котел № 6

0,978

0,988

0,988

Рисунок 2.2. Результаты выбора котлов на основе МРО

2.4. Метод анализа сетей

При решении задачи выбора на основе МАС принято во внимание, что этот метод является дальнейшим развитием МАИ, имеет дополнительные возможности оценки влияния характеристик объектов в сетевых структурах и в иерархиях с горизонтальными и обратными связями. Применение МАС базируется на понятии доминирования, позволяет оценивать такие показатели объектов, как важность, превосходство и вероятность, что помогает делать более обоснованные выводы о соотношении сравниваемых объектов.

МАС позволяет объединить количественные данные с экспертными оценками и, тем самым, создавать более адекватные модели. Вместе с тем, применение МАС более трудоемко по сравнению с МАИ.

Рисунок 2.3. Результаты выбора котлов на основе МАС

Результаты расчетов на основе МАС (рис. 3, табл. 4) также подтверждают полученные ранее результаты на основе МАИ и МРО. При этом лучший образец котла на 5,71 % превышает рейтинг образца № 6.

Таблица 2.4

Результаты выбора котлов на основе МАС

Альтернативы

Глобальные приоритеты

Котел № 1

0,959

Котел № 2

0,994

Котел № 3

0,970

Котел № 4

0,998

Котел №5

0,9553

Котел № 6

0,941

2.5. Сравнительная оценка

По результатам исследований проведена сравнительная оценка применимости рассмотренных методов для задач сравнительной оценки и выбора лучших образцов СТС на примере котлов и определены их преимущества и недостатки (табл. 2.5).

Таблица 2.5

Методы

Преимущества

Недостатки

Метод распознавания образов

Возможность деления на классы, что упрощает выбор альтернатив и повышает оперативность принятия решений

Необходимость наличия квалифицированных экспертов и недостаточная информативность

Метод анализа иерархий

Пошаговый анализ по каждому критерию; высокая информативность

Субъективность результатов, связанных с назначением приоритетов сравниваемым характеристикам

Метод анализа сетей

Высокая информативность и точность результатов расчетов

Невозможен одновременный выбор по нескольким классам

Наиболее широкими возможностями из сравниваемых методов для решения рассматриваемых задач обладает МАС, как дальнейшее развитие МАИ. МАС и МАИ в комплексе позволяют более обоснованно принимать решения по выбору образцов СТС ввиду большей информативности результатов.

Данные методы целесообразно применять при наличии квалифицированных экспертов, обеспечивающих объективное назначение приоритетов для сравниваемых характеристик образцов СТС, что является недостатком, связанным с дефицитом профессиональных экспертов.

МРО может эффективно применяться при значительных отличиях в оценках для рассматриваемых альтернатив, а также в случаях дефицита времени на принятие решений.

Анализ достоинств и недостатков рассмотренных методов сравнительной оценки образцов СТС указывает на целесообразность их комплексного применения, что позволяет повысить обоснованность принимаемых решений и снизить риск возникновения ошибок на этапе выбора.

Заключение

Таким образом, предложен комплексный методический подход для проведения сравнительной оценки и выбора лучших образцов оборудования (котлов) на основе критерия «эффективность – стоимость», позволяющий принимать оптимальные (рациональные) решения при формировании состава оборудования, выборе новых технологий, комплексов автоматизации, программного обеспечения на ранних этапах обоснования проектов.

Недостатками данного подхода являются сложность применяемого математического аппарата, которая требует квалифицированного персонала (математиков, программистов), и недостаточная оперативность получаемых решений, связанная со сложной технологией проведения исследований.

Вместе с тем покупателю, постоянно решающему задачу сравнительной оценки и выбора лучших образцов оборудования, необходимо иметь возможность получения обоснованных и оперативных результатов решений с учетом своих приоритетов (весовых коэффициентов) в реальном масштабе времени.

С целью устранения отмеченных недостатков создается система поддержки принятия решений на основе комплексного применения предложенных методов выбора (МАИ, МАС, МРО), применение которой позволит повысить оперативность и обоснованность выдачи результатов выбора, а также доступность работы с ней непрофессиональных пользователей. Применение такой СППР позволит значительно сократить трудоемкость расчетов, повысить оперативность принятия решений и их качество и, в конечном счете, повысить успешность реализации планируемых проектов еще на ранних этапах их обоснования.

Список использованной литературы

  1. Самков А. В. Методы выбора образцов энергосберегающего оборудования и технологий / А. В. Самков, Н. В. Мигович, Н. В. Рыжиков // Энергетика: экономика, технологии, экология. Киев : НТУУ «КПИ», 2014.
  2. Самков А. В. Методический подход для сравнительной оценки и выбора образцов энергетического котлового оборудования / А. В. Самков, Ю. А. Захарченко, А. А. Скрипниченко, М. М. Хамровская // Проблемы информатизации и управления. 2013. № 4 (28).
  3. Азгальдов Г. Г. Теория и практика оценки качества товаров. Основы квалиметрии. М. : Экономика, 2012.
  4. Саати Т. Л. Принятие решений при зависимостях и обратных связях: Аналитические сети. М. : Издательство ЛКИ, 2014.
  5. Саати Т. Л. Аналитическое планирование. Организация систем: пер. с англ. / Т. Л. Саати, К. П. Кернс. М. : Радио и связь, 2011.
  6. Михалев А. И. Оценка эффективности проектов объединенным методом многокритериального анализа / А. И. Михалев, В. И. Кузнецов, Г. Л. Теплякова // Системные технологии. Региональный межвузовский сборник научных работ. Вып. 3 (80). Днепропетровск, 2012.