Реферат на тему: Методы анализа и синтеза
Содержание:
Введение
Метод анализа иерархий - это замкнутая логическая структура, которая обеспечивает, используя простые и обоснованные правила, решение многокритериальных задач, включающих как качественные, так и количественные факторы, причем количественные факторы могут иметь разные измерения. Метод основан на декомпозиции проблемы и ее представлении в виде иерархической структуры, что позволяет включить в иерархию все знания, которыми обладает лицо, принимающее решение, о решаемой проблеме и последующей обработке суждений лица, принимающие решения. В результате может быть выявлена относительная степень взаимодействия элементов в иерархии, которая затем выражается численно. Метод анализа иерархии включает процедуры синтеза множественных суждений, получения приоритета критериев и поиска альтернативных решений.
Весь процесс решения подлежит проверке и переосмыслению на каждом этапе, что дает возможность оценить качество полученного решения.
Метод анализа иерархии - это систематическая процедура иерархического представления элементов, определяющих суть проблемы принятия решения.
Понятия и характеристики в иерархии анализ метода
В настоящее время существует множество информационных технологий, которые чрезвычайно упрощают жизнь и помогают в решении проблем, связанных с процессами принятия решений в различных предметных областях. В частности, сейчас очень распространены системы поддержки принятия решений, основанные на методе анализа иерархий (MAI). Оценка вариантов решений с использованием МАИ осуществляется на основании как объективной, так и субъективной исходной информации.
В начале 1970 года американский математик Томас Саати разработал процедуру поддержки принятия решений, которую он назвал Аналитический иерархический процесс (AHP). Авторы русского издания перевели это название как Метод анализа иерархий - (Книга Принятие решений. Метод анализа иерархий.
Этот метод относится к классу критериев и занимает особое место в связи с тем, что получил чрезвычайно широкое распространение и активно применяется по сей день, особенно в США. Не следует думать, что его выдающаяся популярность связана с какими-то важными преимуществами этого метода перед другими. Здесь вы можете столкнуться с известным психологическим феноменом: продукт, который появляется первым и успешно удовлетворяет конкретную потребность, захватывает рынок. Более поздние продукты, зачастую более сложные, часто не заменяют успешных первенцев.
На основе этого метода разработаны довольно серьезные системы поддержки принятия решений, например, Экспертный выбор.
Структура модели принятия решений в методе анализа иерархии представляет собой диаграмму (график), которая включает:
- набор альтернативных решений;
- основной критерий рейтинговых решений;
- совокупность однотипных групп факторов, влияющих на рейтинг;
- набор направленных ссылок, указывающих влияние решений, критериев и факторов друг на друга.
Структура модели отражает результат анализа ситуации принятия решения.
Первая группа понятий связана с описанием возможных структур моделей принятия решений.
Для расчета приоритетов альтернативных решений конструкции необходимо добавить информацию о силе влияний решений, критериев и факторов друг на друга.
Вторая группа концепций связана с описанием данных для моделей принятия решений.
После того, как структура сформирована и собраны все данные, модель принятия решений готова, т.е. в ней можно получить рейтинги приоритетов решений и факторов. Знание приоритетов используется для поддержки принятия решений.
Третья группа понятий связана с описанием результатов, полученных в моделях принятия решений.
Четвертая группа понятий связана с объяснением организации вычислений. Знание этих концепций необходимо только для понимания математических основ метода. Знание этих концепций не требуется для применения метода.
Метод анализа иерархии - междисциплинарная область науки.
Вычислительные процедуры метода обоснованы с использованием теории неотрицательных матриц.
Основным инструментом сбора данных, благодаря которому метод практически не имеет аналогов при работе с качественной информацией, является процедура попарных сравнений. Психологическое обоснование шкал сравнений основано на результатах исследований стимулов и реакций.
Анализ структуры модели, оперируемой методом анализа иерархий, проводится с использованием процедур, разработанных в теории графов.
При проведении процедуры согласования и решении обратной задачи используются методы оптимизации (нелинейное программирование).
Метод анализа иерархий кажется более оправданным при решении многокритериальных задач в сложной среде с иерархическими структурами, включающими как материальные, так и нематериальные факторы, чем подход, основанный на линейной логике. Применяя дедуктивную логику, исследователи проходят трудный путь построения тщательно осмысленных логических схем только для того, чтобы в конечном итоге, полагаясь только на интуицию, объединить различные выводы, полученные из этих дедуктивных предпосылок. Кроме того, подход логической цепочки может не привести к лучшему решению, поскольку в этом случае может быть потеряна возможность найти компромисс между факторами, лежащими в разных цепочках логического мышления.
Иерархия - это основной способ, с помощью которого исследователь может разделить всю совокупность данных исследования на кластеры и подкластеры. Основная задача МАИ - оценка высших уровней иерархии, основанная на взаимодействии различных уровней, а не на прямой зависимости от элементов на этих уровнях. Использование МАИ для определения влияния инновационных управляющих воздействий (автоматизированная среда обучения; интерактивное сетевое взаимодействие; управляемая независимая познавательная деятельность; посещение сеанса; автоматизированный рабочий процесс) на результат учебной деятельности и вклад влияния каждого управляющего воздействия на Конечный результат, повысит качество подготовки специалистов. Основная задача - оценить значимость рассматриваемых управляющих воздействий.
Процессы принятия решений в разных сферах деятельности во многом схожи. Следовательно, необходим универсальный метод поддержки принятия решений, соответствующий естественному ходу человеческого мышления.
Часто экономические, медицинские, политические, социальные, управленческие проблемы имеют несколько вариантов решения. Часто, выбирая одно решение из множества возможных, лицо, принимающее решение, руководствуется только интуитивными идеями. В результате принятие решения является неопределенным, что влияет на качество принимаемых решений.
Для наглядности процесс подготовки принятия решения на всех этапах сопровождается количественным выражением таких категорий, как предпочтение, важность, желательность.
Требуется присвоить каждой альтернативе приоритет (номер) - чтобы получить рейтинг альтернатив. Причем, чем предпочтительнее альтернатива по выбранному критерию, тем выше ее приоритет.
Принятие решений основано на приоритетных ценностях.
Метод анализа иерархий является методологической основой решения задач выбора альтернатив через их многокритериальное ранжирование.
Метод анализа иерархий теперь превратился в обширную междисциплинарную отрасль науки со строгими математическими и психологическими основами и многочисленными приложениями.
Основное применение метода - поддержка принятия решений посредством иерархической композиции проблемы и рейтинга альтернативных решений. Имея это в виду, перечислим возможности метода.
Метод позволяет проанализировать проблему. В этом случае задача принятия решения представлена в виде иерархически упорядоченных:
- основная цель (главный критерий) оценки возможных решений;
- несколько групп (уровней) однотипных факторов, так или иначе влияющих на рейтинг;
- группы возможных решений;
- система связей, указывающая на взаимное влияние факторов и решений. оперативный синтез иерархии
Также предполагается, что для всех перечисленных узлов задачи указаны их взаимные влияния друг на друга (связи друг с другом).
Метод позволяет собирать данные о проблеме.
По результатам иерархической декомпозиции модель ситуации принятия решений имеет кластерную структуру. Множество возможных решений и все факторы, влияющие на приоритеты решений, разбиты на относительно небольшие группы - кластеры. Разработанная в методе анализа иерархий процедура парных сравнений позволяет определить приоритеты объектов, входящих в каждый кластер. Для этого используется метод собственных векторов. Итак, сложная проблема сбора данных разбита на ряд более простых, которые можно решить для кластеров.
Метод позволяет оценить несогласованность данных и минимизировать ее.
Для этого в методе анализа иерархии разработаны процедуры согласования. В частности, можно выявить наиболее противоречивые данные, что позволяет выявить наименее ясные области проблемы и организовать более тщательное выборочное мышление о проблеме.
Метод позволяет синтезировать задачу принятия решения.
После анализа проблемы и сбора данных по всем кластерам окончательный рейтинг рассчитывается с помощью специального алгоритма - набора приоритетов альтернативных решений. Свойства этого рейтинга позволяют поддерживать принятие решений. Например, принято решение с наивысшим приоритетом. Кроме того, метод позволяет строить рейтинги по группам факторов, что позволяет оценить важность каждого фактора.
Метод позволяет организовать обсуждение проблемы, способствует достижению консенсуса.
Мнения, возникающие при обсуждении проблемы принятия решения, сами могут рассматриваться в данной ситуации как возможные решения. Таким образом, метод анализа иерархии может быть использован для определения важности учета мнений каждого участника обсуждения.
Метод позволяет оценить важность учета каждого решения и важность учета каждого фактора, влияющего на приоритеты решений.
В соответствии с постановкой задачи принятия решения, значение приоритета напрямую связано с оптимальностью решения. Поэтому решения с низким приоритетом отклоняются как неуместные. Как отмечалось выше, метод позволяет оценить приоритеты факторов. Следовательно, если при исключении какого-либо фактора приоритеты решений меняются незначительно, такой фактор можно считать несущественным для рассматриваемой проблемы.
Метод позволяет оценить устойчивость решения.
Принятое решение можно считать обоснованным только в том случае, если неточность данных или неточность структуры модели ситуации принятия решений существенно не влияет на рейтинг альтернативных решений.
Метод анализа иерархии имеет аналогии с различными теориями.
Метод анализа иерархий имеет аналогии с теорией вероятностей.
Приоритеты альтернатив (это положительные числа, их сумма равна единице) можно отождествить с вероятностями выбора альтернатив. Приоритеты факторов, влияющих на рейтинг альтернатив, можно рассматривать как вероятности гипотез. При таком подходе метод расчета приоритетов альтернатив аналогичен применению формулы полной вероятности.
При работе с моделями, учитывающими наличие обратных связей, можно установить многочисленные терминологические и идеологические соответствия между методом анализа иерархий и марковскими случайными процессами с дискретным набором состояний и дискретным временем (цепями Маркова).
Метод анализа иерархий имеет аналогии с теорией графов.
Структура ситуации принятия решения представлена в методе анализа иерархии в виде ориентированного графа. Узлами графа являются: альтернативы, основной критерий оценки альтернатив, факторы, влияющие на оценку альтернатив. Направленные дуги графа - это связи, указывающие на влияние одних узлов на приоритеты других узлов.
Метод анализа иерархий имеет аналогии с теорией неотрицательных матриц.
Расчеты рейтингов, проводимые в методе анализа иерархий, математически основаны на методах вычисления собственных векторов неотрицательных (и, в частности, стохастических) матриц.
Метод анализа иерархий имеет аналогии с экспертными системами.
Технологии принятия решений с использованием экспертных систем, основанных на байесовском методе вывода, являются частным случаем использования метода анализа иерархий.
Метод анализа иерархий имеет аналогии с идеологией искусственных нейронных сетей.
В частности, обратная задача в методе анализа иерархий методом решения и проведения процедуры согласования аналогична обучению нейронной сети.
Метод анализа иерархий имеет аналогии с синергетикой.
Модели, построенные методом анализа иерархии, имеют кластерную структуру. Кластеры - это, по сути, элементарные иерархические структуры. Внутри кластеров метод работает с концепцией вектора приоритета. При объединении кластеров в систему рейтинг альтернатив строится на основе векторов приоритета в отдельных кластерах. Сложные модели часто демонстрируют голографический эффект. Даже если вы удалите часть конструкции, итоговая оценка в целом сохраняется.
Применение метода анализа иерархий
Рассмотрим применение метода Саати. Суть метода заключается в определении собственного вектора с наибольшим собственным значением на основе попарного сравнения исследуемых характеристик. Анализ значений собственного вектора матрицы, построенной на основе попарного сравнения исследуемых параметров, обеспечивает упорядочение приоритетов оцениваемых характеристик в группе параметров исследования.
Для применения метода Саати воспользуемся нормализованной рейтинговой шкалой для попарного сравнения характеристик в соответствии со следующим подходом. Обычно при построении числовых предпочтений необходимо решить 2 задачи:
- какой из двух попарно сравниваемых объектов важнее;
- насколько сильна разница в важности изучаемых объектов, если использовать некоторую заданную шкалу.
Рассмотрим математическую постановку задачи, предложенную Саати, которая используется в исследованиях для анализа иерархии управляющих воздействий.
Если суждения таковы, что объекты имеют одинаковую относительную важность, то коэффициенты матрицы суждений = 1 (стоящие на главной диагонали).
После построения количественных суждений о парах в числовом выражении задача сводится к получению весовых коэффициентов, которые соответствовали бы записанным суждениям экспертов. Для выявления количественных показателей при рассмотрении значимости различных суждений в методе анализа иерархии предлагается следующая шкала важности объектов: - объекты одинаково важны, до 9 - один объект абсолютно важнее другого.
Собственный вектор матрицы суждений обеспечивает упорядочение приоритетов, а собственное значение является мерой согласованности суждений. Таким образом, следующим шагом после составления оценочной матрицы является вычисление вектора приоритета.
Определив вектор приоритета, можно найти главное собственное значение матрицы суждения, которое используется для оценки согласованности, отражающей пропорциональность предпочтений. Отклонение от согласованности может быть выражено значением индекса согласованности, который равен отношению разницы.
Индекс согласованности, генерируемый случайным образом по шкале от 1 до 9 для обратно симметричной матрицы с соответствующими обратными значениями элементов, называется случайным индексом. Среднее значение случайного индекса определяется из соответствующих таблиц согласно размерности матрицы суждений. Отношение случайного индекса к среднему случайному индексу для матрицы того же порядка называется отношением согласованности. Значение коэффициента консистенции меньше или равное 0,10 считается приемлемым для полученных результатов.
Таким образом, на основе метода анализа иерархии была сформирована матрица суждений, на основе которой были рассчитаны главное собственное значение, вектор приоритета, индекс согласованности и коэффициент согласованности.
При реализации AHI чаще всего выполняется строгое неравенство и компоненты вектора весов, найденные в соответствии с AHI, не согласуются с данными, содержащимися в матрице парных сравнений в том смысле, что чаще всего выполняется равенство нарушено. Это приводит к определенной модельной ошибке в реализации МАИ, которую невозможно оценить.
Согласно МАИ, для реализации метода необходимо выполнить следующие действия.
Обозначьте проблему и определите, чему следует научиться.
Проблема заключается в выборе адекватного метода моделирования.
Постройте иерархию, начиная с верхнего (цели - с точки зрения управления), через промежуточные уровни (характеристики, от которых зависят последующие уровни) до самого нижнего уровня (который обычно представляет собой список альтернатив).
Уникальность метода заключается в том, что он является как качественным, так и количественным. В основном качественная; используется информация о попарных качественных сравнениях по лингвистическим критериям, MAI позволяет количественно оценить приоритеты альтернатив или других элементов иерархии.
Кратко суть метода можно описать следующим образом. Саати нашел математически верный способ оперировать суждениями. В результате стало возможным свести изучение даже очень сложных систем к последовательности попарных сравнений правильно определенных компонентов. Это позволяет поднять метод экспертных оценок на более высокий логический уровень.
Непосредственное назначение метода - совместная работа экспертов, объединенных общей целью, по согласованию мнений по определенной проблеме, что позволяет видоизменить суждения и рационально их комбинировать. Результатами МАИ, как правило, являются, во-первых, установление иерархии целей, факторов, критериев, альтернатив и сценариев для обсуждаемой проблемы и, во-вторых, определение приоритетов элементов каждого уровня иерархия.
В классическом понимании метод анализа иерархий предполагает активное обсуждение всех его этапов группой экспертов под руководством организатора, начиная с этапа установления целей исследования, уровней и критериев иерархии, альтернатив и заканчивая обсуждение полученных результатов с целью исправления мнений.
MAИ основан на следующих положениях:
- любую сложную проблему можно разложить;
- результат декомпозиции можно представить в виде иерархической системы многоуровневых уровней, каждый из которых состоит из множества элементов (факторов);
- качественные сравнения экспертов попарной значимости элементов любого уровня иерархии (субъективные суждения) могут быть преобразованы в количественные отношения между ними, при этом они будут отражать объективную реальность:
- возможен синтез отношений между различными элементами и уровнями иерархии.
Этот метод может быть излишне громоздким для принятия решения в простых ситуациях из-за того, что для сбора данных требуется много парных сравнений. Однако, если рассматривается масштабная проблема и цена последствий неправильного решения высока, требуются адекватные инструменты. Метод анализа иерархий позволяет разбить сложную проблему на ряд простых, выявить противоречия.
В задачах принятия стратегических решений часто приходится больше полагаться на опыт и интуицию специалистов, нежели на имеющиеся объективные данные. В этом случае результаты, полученные методом анализа иерархии, могут быть более реалистичными, чем результаты, полученные другими методами.
Возможные рейтинги основаны на прозрачных принципах. Следовательно, они могут быть более убедительными, чем информация для поддержки принятия решений, полученная с использованием моделей черного ящика. В таких моделях входная информация о проблеме преобразуется в выходную информацию о принятии решения по непрозрачным принципам, а структура ситуации принятия решения не раскрывается.
Метод анализа иерархий не требует упрощения структуры задачи, априорного отказа от некоторых особенностей. Поэтому более эффективно, чем другие аналитические инструменты, учитывать влияние различных факторов на выбор решения.
Структурирование модели решения может занять много времени. Однако, если он скомпилирован, его можно применять несколько раз. Остается только исправить эту структуру и наполнить ее данными. В этом случае решение типовых задач можно поставить на поток. Таким образом, применение метода становится более эффективным.
Перспектива использования метода анализа иерархий не в последнюю очередь обусловлена относительно простой технологией и простой математикой.
Достоинства и недостатки метода
В рамках метода анализа иерархии не существует общих правил формирования структуры модели принятия решений. Это отражение реальной ситуации принятия решений, поскольку всегда существует целый спектр мнений по одной и той же проблеме. Метод позволяет учесть это обстоятельство, построив дополнительную модель согласования различных мнений, определив их приоритеты. Таким образом, метод позволяет учитывать человеческий фактор при подготовке принятия решения. Это одно из важных преимуществ этого метода перед другими методами принятия решений.
Формирование структуры модели принятия решений в методе анализа иерархий - довольно трудоемкий процесс. Однако в итоге можно получить подробное представление о том, как именно взаимодействуют факторы, влияющие на приоритеты альтернативных решений и сами решения. Как формируются рейтинги возможных решений и рейтинги, отражающие важность факторов. Процедуры расчета рейтингов в методе анализа иерархии достаточно просты (не похожи на черный ящик), что выгодно отличает этот метод от других методов принятия решений.
Сбор данных для поддержки принятия решений осуществляется в основном с использованием процедуры попарного сравнения. Результаты парных сравнений могут быть противоречивыми (метод предоставляет большие возможности для выявления несоответствий в данных). В этом случае возникает необходимость пересмотреть данные, чтобы минимизировать несоответствия. Процедура попарного сравнения и процесс проверки результатов сравнения для минимизации несоответствий часто бывают громоздкими. В конечном итоге, однако, лицо, принимающее решения, получает уверенность в значимости используемых данных.
В методе анализа иерархии нет средств для проверки данных. Это важный недостаток, который частично ограничивает применимость метода. Однако метод используется в основном в тех случаях, когда в принципе не может быть объективных данных, а ведущими мотивами для принятия решения являются предпочтения людей. В то же время процедура парных сравнений для сбора данных практически не имеет достойных альтернатив. Если сбор данных проводился с помощью опытных экспертов и в данных нет существенных противоречий, то качество таких данных считается удовлетворительным.
Схема применения метода совершенно не зависит от сферы деятельности, в которой принимается решение. Поэтому метод универсален, его применение позволяет организовать систему поддержки принятия решений.
Работа по подготовке принятия решения часто занимает слишком много времени для одного человека. Модель, построенная с использованием метода анализа иерархии, всегда имеет кластерную структуру. Применение метода позволяет разбить большую задачу на ряд небольших независимых задач. Благодаря этому для подготовки принятия решений можно привлекать экспертов, работающих независимо друг от друга над местными проблемами. Эксперты могут ничего не знать о характере принимаемого решения, что отчасти способствует сохранению. В частности, благодаря этому можно сохранить в секрете информацию о подготовке решения.
Метод только предоставляет способ оценки альтернатив, но не имеет внутренних средств интерпретации оценок, т.е. считается, что человек, принимающий решение, зная рейтинг возможных решений, должен сделать вывод в зависимости от ситуации.) Это следует признать недостатком метода.
Этот метод может служить надстройкой для других методов, предназначенных для решения плохо формализованных задач, где человеческий опыт и интуиция более адекватны, чем сложные математические вычисления. Метод предоставляет удобные средства учета экспертной информации для решения различных задач.
Этот метод отражает естественный ход человеческого мышления и предлагает более общий подход, чем метод логической цепочки. Он не только позволяет определить наиболее предпочтительное решение, но также позволяет количественно оценить степень предпочтения с помощью рейтинга. Это способствует полному и адекватному выявлению предпочтений лица, принимающего решения. Кроме того, оценка меры несогласованности используемых данных позволяет установить степень уверенности в полученном результате.
Заключение
Метод анализа иерархии - это систематическая процедура иерархического представления элементов системы, основанная на методе декомпозиции.
Элементы расположены на каждом уровне, каждый элемент характеризуется интенсивностью (теория весов - графов). Однако основная трудность заключается в том, что элемент не всегда характеризуется каким-либо номером и необходимо вводить в расчет шкалы сравнения.
Но многие предприятия применяют в своей практике результаты анализа финансов, производственных процессов, маркетинга и продаж. В то же время комплексное принятие решений на уровне разработки политики предприятия по-прежнему остается проблемой при наличии нескольких целей, неполной и неточной информации. Именно в таких условиях должны работать топ-менеджеры предприятий.
Самый распространенный способ найти решения на предприятиях - это выработать соответствующий курс действий путем коллективного обсуждения возникших проблем. Однако этот процесс занимает много времени, и лидер может доминировать над ним, что снижает важность мнений других участников встречи.
Альтернативой этому подходу может стать завоевавший приверженцев во всем мире метод иерархического анализа, предложенный, как уже упоминалось выше, около 20 лет назад Т. Саати, экспертом в области исследования операций. Впечатляющая история успешного применения этого метода в частных и государственных организациях разных стран показала его высокую практическую эффективность. Метод анализа иерархии обеспечивает интеграцию многих факторов, участвующих в решениях, упрощает поиск решений, представляя сложную проблему в форме последовательного анализа более простых проблем.
В основе метода лежит идея попарного сравнения. Метод позволяет заменить процесс принятия сложного решения сравнением более простых критериев, по которым легко сделать вывод об их относительной важности. При этом могут быть приняты во внимание как количественные факторы, характеризующие деятельность предприятия, так и опыт и интуиция руководства. Сложность структурирования, осуществляемая методом анализа иерархий, позволяет руководству достаточно формализовать процесс отбора и заменить длительные встречи анализом логики как своих собственных, так и чужих решений.
Однако в России такой подход имеет ограниченное применение, видимо, из-за плохой осведомленности руководителей предприятий с его возможностями.
Небольшая автоматизация метода анализа иерархии, который обеспечивает установление взаимосвязей между целями и вычисление приоритетов, может значительно упростить и ускорить процесс поиска решений.
Этот метод много раз использовался в промышленном планировании, включая банковское дело, сталелитейную промышленность и развитие энергетики. На данный момент MAI используются практически во всех странах мира, во всех отраслях.
В последние 30-40 лет принятие решений в мире поддерживалось использованием мощных многоуровневых иерархических методов прогнозирования и планирования. Метод анализа иерархий универсален и может объединить другие методы системного планирования вокруг общей цели.
Список литературы
- Сухарев М.Г. Методы прогнозирования. Учебник. Учебное пособие - М.: Российский государственный университет нефти и газа, 2004.
- Саати Т.Л. Принятие решений. Метод анализа иерархий - М.: Радио и связь, 1995.
- Карманов В.Г., Федоров В.В. Моделирование в исследовании операций. Учебник для вузов - М.: Твема, 2008.
- Насыров Р.В., Тайгина Е.А., Фарукшин Р.М. Управление в сложных системах. Учебник. пособие - Изд-во УФА: УГАТУ, 2008.
- Уварова В.И., Шуметов В.Г. Использование метода анализа иерархий. Учебник - Изд-во Орёл: Орловский ГТУ, 2006.
- Илларионов М.Г. Управленческие решения: методы обоснования альтернатив: методика обучения. разрешение. - Казань: Изд-во ИЭУП Знание. 2000.
- Реферат на тему: Индекс восприятия коррупции в России
- Реферат на тему: Валютная система в России
- Реферат на тему: Методология управления финансовыми результатами предприятий розничной торговли
- Реферат на тему: Инновации в России
- Реферат на тему: Эффективное управления предприятием как фактор повышения его конкурентоспособности
- Реферат на тему: Особенности движения товаров и услуг на мировом рынке
- Реферат на тему: Инструменты денежно-кредитной политики Центрального банка
- Реферат на тему: Эффективность денежно-кредитной политики
- Реферат на тему: Коммунальное самоуправление и управление коммунальным хозяйством
- Реферат на тему: Коррупция, причины коррупции и возможность её преодоления в советской экономике
- Реферат на тему: Причины ухудшения экономической устойчивости предприятия
- Реферат на тему: Международная экономика, экономическая история