![](/stc/img/evkova.png)
Операции, производимые с данными (Теоретические аспекты исследования данных)
Содержание:
ВВЕДЕНИЕ
Актуальность исследования. Во второй половине XX века мировая экономическая система претерпела колоссальные структурные и институциональные изменения, связанные с переходом к постиндустриальной стадии развития. Специфика и размах происходящих преобразований свидетельствуют о формировании качественно нового этапа развития общества.
В настоящее время в зарубежной и отечественной литературе можно встретить понятия, характеризующие экономику постиндустриального типа развития общества, к ним относятся «новая экономика», «экономика знаний», «постиндустриальная экономика», «экономика услуг», «сервисная экономика». Многообразие понятий подтверждает огромный интерес ученых к особенностям современного этапа развития экономики и общества. Каждое из определений отражает авторский вклад в развитие теоретического знания. В основе аргументации применения конкретного понятийного инструментария заложен подход, основанный на фундаментальной роли того или иного производственного ресурса.
Рассматривая сущность факторов производства можно отследить их эволюцию. Ресурсы, задействованные в производстве, в классической экономической науке традиционно подразделяются на труд, капитал, землю и предпринимательские способности. Позднее в качестве производственного ресурса стали рассматривать информацию, специфической формой которой является технология и наука. Возникает необходимость оценки целесообразности применения категорий «информация» и «знание» в качестве понятия фундаментального фактора в структуре общественного производства в условиях становления «новой» экономки.
Целью данной работы является изучение операций производимых с данными для достижения поставленной цели, были выделены следующие задачи:
- рассмотреть теоретические аспекты исследования данных;
- провести анализ практических аспектов операций проводимых с данными.
Объект исследования – данные.
Предмет исследования – операции производимые с данными.
Структура работы состоит из введения, основной части, заключения и списка литературы.
Теоретической и методологической базой данной работы послужили труды российских и зарубежных авторов в области экономики, информатики, материалы периодических изданий и сети Интернет.
ГЛАВА 1 ТЕОРЕТИЧЕСКИЕ АСПЕКТЫ ИССЛЕДОВАНИЯ ДАННЫХ
1.1 Понятия информации
Существует множество определений информации, обусловленных специфичностью и многообразием подходов к толкованию их сущности. Рассмотрим более распространённые, объясняющие собирательную и отраслевую сущность.
Первое собирательное понятие характеризует информацию, как объективное отражение, окружающего мира.
Второе понятие - в трактовке К. Шеннона, отражает количественно-вероятностный подход, определяющий информацию как меру, уменьшающую степень неопределённости знания о событии. Количество информации всегда зависит от вероятности его получения - чем более вероятно сообщение, тем меньше информации в нём содержится. Этот подход оказался весьма полезным в технике связи и вычислительных системах, хотя и не учитывает смысловую сторону информации.
Третье понятие рассматривает информацию как свойство материи. Оно предопределило появление кибернетики и основано на утверждении, что информация не материальна, но она не может существовать вне материи, а значит, она была, есть и будет существовать вечно и её можно накапливать, хранить и преобразовывать в отражённом виде.
Четвёртое понятие основано на подходе, при котором информация трактуется как знание, которое используется для ориентации и совершения активного управляющего действия. Этот подход даёт определение социальной информации, используемой в обществе и его деятельности.
Наиболее целесообразным для целей информатизации представляется следующее понятие: информация - это сведения, снижающие неопределённость знаний об окружающем мире и, являющиеся объектами хранения, преобразования и передачи, имеющие форму символов и сигналов доступную и понятную человеку, а также требующие глубокого анализа, осмысливания и расшифровки[9;124].
В управленческой деятельности информация представляет собой совокупность сведений о состоянии управляющей и управляемой систем, а также об их окружающей среде.
Итак, рассмотренные подходы успешно дополняют друг друга, раскрывая различные стороны понятия информации, и облегчают систематизацию её основных свойств. Учитывая экономический профиль информационных технологий в налогообложении, рассмотрим его более подробно.
Информация экономического профиля представляет собой совокупность сведений, отображающих состояние (спад или развитие) народного хозяйства, всех его уровней и структур.
Экономическая информация традиционно классифицируется по следующим признакам:
-структурно-отраслевой принадлежности – финансовую (казначейскую и банковскую), налоговую, таможенную и статистическую;
-временной направленности – прогнозную, плановую и учётную.
Исходя из приведённой классификации, можно сформировать банковские, казначейские, налоговые и др. информационные ресурсы, использующие те свойства, которыми они оперирует.
Одним из выдающихся свойств информации является возможность её многократного использования. Рассмотрим виды и формы информации, её ведущие компоненты, обеспечивающие высокий уровень информационных технологий.
1.2 Сигналы и данные
Известно, что нас окружает движущийся материальный мир, в котором всё, с чем мы взаимодействуем, относится к физическим телам или физическим полям. Изменение их состояния сопровождается обменом энергией и её трансформацией в другую форму. Указанный энергообмен сопровождается появлением сигналов, изменяющих свои свойства, при взаимодействии физических тел или сред. Такие изменения свойств физических тел называются явлениями регистрации, которые можно фиксировать, измерять или наблюдать любыми доступными способами. При регистрации сигналов возникают новые сигналы, образующие данные. Таким образом, данные - это зарегистрированные сигналы.
В соответствии с методами регистрации данные могут храниться и транспортироваться на носителях различных видов (бумага, магнитные диски, диски с отражающим слоем и др.). Для науки весьма интересны носители данных, поскольку их свойства тесно связаны со свойствами информации. Любой носитель характеризуется разрешающей способностъю (количеством данных, записанных в принятой для носителя единице измерения) и динамическим диапазоном (логарифмическое отношение интенсивности максимальных и минимальных амплитуд, регистрируемого сигнала).
Очевидно, что данные несут в себе информацию о событиях происходящих в материальном мире, но станут ли эти данные информацией, зависит от многих обстоятельств. Так прослушивая на незнакомом языке радиопередачу, получают данные, но не получают информацию, т.к. не владеют методом преобразования данных в известные языковые понятия. При записи этих данных на бумагу изменяется форма их представления, осуществляется новая регистрация и образуются новые данные. Для извлечения информации из данных необходим подбор метода отражения адекватного их новой форме (таким методом, в данном случае, является метод перевода со словарём). Заменив радиопередачу телевизионной, ведущейся на незнакомом языке, увидим, что наряду с данными, мы получим неполную информацию за счёт зрения, т.е. воспринимаем данные визуально.
Исходя из фактов взаимодействия данных и методов определения информации в момент её образования, приведём следующее понятие: информация - продукт взаимодействия данных и адекватных им методов.
В ходе информационного процесса данные преобразуются из одного вида в другой с помощью различных методов, а их обработка представляет собой множество различных операций. К основным операциям относят:
- сбор данных – накопление информации с целью принятия решения;
-формализация данных – приведение данных, поступающих из различных источников, к одинаковой форме;
-фильтрация данных – отсеивание "шумовых" данных, не требуемых при принятии решения;
-сортировка данных – упорядочение данных по заданному признаку с целью удобства пользования;
-архивация данных – организация хранения данных в удобной форме;
-транспортировка данных – приём и передача данных между участниками информационного обмена (источником данных называют сервером, а потребителем клиентом);
-преобразование данных – перевод данных из одной формы в другую (из бумажной формы в электронную и т.д.)[7;92].
С точки зрения управления информационными процессами наиболее важными являются свойства информации:
-полнота информации определяет качество информации и достаточность данных для принятия решения;
-адекватность информации – степень соответствия реальному объективному состоянию дел, т.е. адекватная информация образовывается при создании новой информации только на основе полных и достоверных данных, в случае применения к ним адекватных методов;
-достоверность информации – при возникновении данных в момент регистрации сигналов, всегда присутствуют посторонние сигналы, т.е. получение полезных данных сопровождается определённым уровнем "информационного шума", чем ниже уровень этого шума, тем выше достоверность информации;
-доступность информации – мера возможности получить ту или иную информацию, характеризующая степень доступности, как самих данных, так и адекватных им методов;
-актуальность информации – степень соответствия информации текущему моменту времени (своевременности).
Поскольку информационные процессы существуют во времени, то достоверная и адекватная, но устаревшая информация может приводить к ошибочным решениям.
1.3 Сведения, события и информация
Исключительная особенность информации заключается ещё в том, что, будучи материальным отражением явления, она не является ни материей, ни энергией, а лишь отражает одни объекты в других. Эта особенность позволяет принимать многочисленные формы отражения объектов, используя химические и физические свойства тел и веществ.
Замечательным свойством физического тела является оставление им собственного следа на поверхности другого тела или проявление этих свойств материальными средами.
Сведения – это разнообразные проявления различных свойств, состояний предметов, веществ, событий в обществе, форм их выражения, которые должны быть зафиксированы и представлены в виде конкретного отображения (звуковой сигнал, запись разговора, письмо на бумажном или машинном носителе). Это отображение является необходимым условием проявления сведения в форме фиксации.
Рассмотрим информацию, как модель информационного события и его основные компоненты.
Информация => Свойство + Субъект получения + Определённость (1)
Из модели видно, что информация предполагает совокупность следующих обязательных составляющих:
-свойство событий, явлений, тел или их состояний, фиксированных в форме любых физических проявлений (графика, электромагнитная волна и т.д., обусловленные зрением, осязанием и обонянием человека);
- субъект получения (адресат освоения) информации;
-определённость (восприятие и читаемость информации адресатом).
Из рассмотренного следует, что Информация представляет собой совокупность обязательных составляющих:
-свойство (события или явления и т.д.) фиксированное в конкретном физическом проявлении (в данном случае графика);
-субъект (получения) или адресат;
-определённость (восприятие и читаемость информации адресатом) [8;125].
Информация является основным предметом и продуктом труда руководителей и специалистов всех уровней, предполагающая различия в путях и способах сбора, хранения и обработки, а также использования информации.
Управленческая информация по виду источников разделяется на внешнюю и внутреннюю.
Внешняя информация может отражать влияние на объект деятельности непосредственного окружения или отдалённой внешней среды, когда объект деятельности сам этой информацией управлять не может (налоговая обстановка, форс-мажорные обстоятельства при сборах налогов и др. внешние воздействия).
Внутренняя информация характеризует состояние управляющей и управляемой систем объектов, их кадровое обеспечение, финансовые и материальные ресурсы, технологические и информационные процессы.
По времени её использования в информационных системах разделяют на постоянную и переменную информацию.
Постоянная информация – это стабильная форма информации в виде норм, нормативов, стандартов, численности служащих.
Переменная информация отражает меняющиеся обстоятельства, например, изменение результатов управления, числа объектов и задач и т.п.
По отношению к системе (объекту деятельности) информация делится на входную и выходную.
Входная – характеризует потоки информации, поступающие в данную систему, выходная – определяет продукт её деятельности и результаты решаемых задач.
По возможности использования, информацию различают на полезную, шумы, избыточную, лживую и ложную.
Шум – это посторонние помехи в канале связи, мешающие правильному восприятию информации. Эти помехи могут быть случайными и целенаправленными.
Помимо действительно полезной информации может восприниматься избыточная информация, являющаяся достоверной, но не несущая ничего нового, излишне детализирующая известные сведения – эта информация мусор, она только отвлекает ресурсы от анализа полезной информации.
Лживая информация (дезинформация) носит сознательный искажающий характер, что является её коренным отличием от ложной.
В качестве ложной информации зачастую воспринимаются слабые сигналы (сигналы, количественное значение которых меньше значения большинства других входных сигналов) о возможных изменениях во внутренних и внешних факторах, если они не согласуются с привычным ходом информационного процесса.
Использование информации в управлении требует тщательной подготовки, которая предполагает устранение из неё информационного шума - той информации, которая не имеет прямого отношения к процессам управления, при этом эффективность влияния информации на получателя зависит от соответствия характеристик информации возможностям и потребностям получателя.
Обмен информацией осуществляется только между объектами, представляющими собой систему с минимумом организованности. Обмен информации, обеспечивающий процесс управления, представляет собой потоки информации, отражающие результаты финансово-хозяйственной деятельности предприятий, организаций, отраслей народного хозяйства, общественной и экономической деятельности страны.
В экономике к информационным потокам предъявляются требования:
-полнота и достаточность информации для оценки организации в социуме;
-достоверность и возможность для оценки расходов государственных средств и конкуренции (технологичности, рационализации);
-объективность, позволяющая предоставлять истинную и подробную информацию о поставщиках и потребителях;
-разносторонность, включающая сферы финансов, производства, научных исследований, социальной, экономической, бюджетной и налоговой политики;
-возможность организации удобного доступа и поиска больших объёмов разнообразной информации;
-многократность использования информации для проведения планирования, прогноза и анализа динамики результатов
-прозрачность и документальность, обеспечивающие высокое качество контроля и отчётности;
-создание информационных моделей, позволяющих разработку эффективных автоматизированных информационных систем (АИС).
1.4 Показатели, реквизиты, коды и документы
Информационный поток экономической информации формируется из документов, представляемых в бумажном или электронном виде, документ состоит из показателей.
Показатель – это определение величины, позволяющей качественно либо количественно оценить отображаемый объект, процесс или явление, а также их простые и сложные характеристики. Такие экономические показатели, как объём товаров, объём услуг в размерах выручки от их реализации представляют показатели экономической деятельности предприятия, средний доход на семью в денежном эквиваленте – показатель благосостояния в обществе. Показатели состоят из реквизитов.
Реквизит – (носитель информации) логически неделимый информационный элемент, описывающий определенное свойство объекта, процесса, явления и т.п.
Синонимами к слову реквизит в информационных технологиях являются: слово, атрибут и элемент.
Реквизиты подразделяются на реквизиты – признаки (характеризующие качественные свойства отображаемой сущности) и реквизиты – основания (характеризующие количественную сущность показателя).
Показатель может иметь множество реквизитов – признаков и один реквизит – основание. Так в унифицированной отчётности статистической форме № П - 4 “Cведения о финансовом состоянии организации” заполняется показатель объёма прибыли (убытка) отчитывающегося предприятия, то он состоит из одного реквизита-основания (суммы – прибыли в рублях) и нескольких реквизитов – признаков: код предприятия и коды всех признаков предприятия (ОКАТО, ОКОНХ и др. классификаторов), даты отчётного периода и т.д. В информационных технологиях реквизиты – основания используются для вычислений и сравнений при расчётах количественного характера, а реквизиты – признаки – для поиска, идентификации и выбора показателя в базах данных. Обработка реквизитов – оснований осуществляется арифметическими операцямии, а реквизитов-признаков – логическими. Указанные реквизиты, взятые раздельно, не имеют экономического смысла и могут применяться лишь в сочетании. Из них формируются более сложные информационные компоненты – составные единицы информации. (СЕИ).
Показатель характеризует количественную и качественную стороны объекта, поэтому, обладая информативностью, он способен самостоятельно формировать документ и давать оценку объекту. Данная оценка играет важную роль при организации хранения информации и её обработке.
Набор показателей образует массив, из которого строится подсистема, которая входит в состав информационной базы. Количество реквизитов в документе характеризует уровень его информативности, что позволяет рассчитать объём информации в документе.
Документ (документированная информация) – зафиксированная на материальном носителе информация с реквизитами, позволяющими её идентифицировать. Документу должно быть присвоено название, отвечающее его содержанию, а также указано ответственное за содержание в этом документе лицо.
ГЛАВА 2. Анализ практических аспектов операций проводимых с данными
2.1 Операции с данными
В ходе информационного процесса данные преобразуются из одного вида в другой с помощью различных методов. Обработка данных включает в себя множество операций. По мере развития научно-технического прогресса и общего усложнения связей в человеческом обществе возрастают неуклонно трудозатраты на обработку данных. Прежде всего, это связано с постоянным усложнением условий управления производством и обществом. Второй фактор, также вызывающий общее увеличение объемов обрабатываемых данных, связан с научно-техническим прогрессом, а именно с быстрыми темпами появления и внедрения новых носителей данных, средств их хранения и доставки.
В структуре возможных операций с данными можно выделить следующие:
• сбор - накопление информации с целью обеспечения достаточной полноты для принятия решений;
• формализация - приведение данных, поступающих из разных источников, к одинаковой форме, чтобы сделать их сопоставимыми между собой, то есть повысить их уровень доступности;
• фильтрация - отсеивание «лишних» данных, в которых нет необходимости для принятия решений; при этом должен уменьшаться уровень «шума», а достоверность и адекватность данных должны возрастать;
• сортировка - упорядочение данных по заданному признаку с целью удобства использования; эта процедура повышает доступность информации;
• архивация - организация хранения данных в удобной и легкодоступной форме; служит для снижения экономических затрат по хранению данных и повышает общую надежность информационного процесса в целом;
• защита - комплекс мер, направленных на предотвращение утраты, воспроизведения и модификации данных;
• транспортировка - прием и передача (доставка и поставка) данных между удаленными участниками информационного процесса; при этом источник данных в информатике принято называть сервером, а потребителя - клиентом; • преобразование данных - перевод данных из одной формы в другую или из одной структуры в другую. Преобразование данных часто связано с изменением типа носителя, например книги можно хранить в обычной бумажной форме, но можно использовать для этого и электронную форму, и микрофотопленку. Необходимость в многократном преобразовании данных возникает также при их транспортировке, особенно если она осуществляется средствами, не предназначенными для транспортировки данного вида данных. В качестве примера можно упомянуть, что для транспортировки цифровых потоков данных по каналам телефонных сетей (которые изначально были ориентированы только на передачу аналоговых сигналов в узком диапазоне частот) необходимо преобразование цифровых данных в некое подобие звуковых сигналов, чем и занимаются специальные устройства - телефонные модемы.
Приведенный здесь список типовых операций с данными далеко не полон. Миллионы людей во всем мире занимаются созданием, обработкой, преобразованием и транспортировкой данных, и на каждом рабочем месте выполняются свои специфические операции, необходимые для управления социальными, экономическими, промышленными, научными и культурными процессами. Полный список возможных операций составить невозможно, да и не нужно. Сейчас нам важен другой вывод: работа с информацией может иметь огромную трудоемкость, и ее надо автоматизировать.
Процедура доступа к данным может быть инициирована как самим компьютером (для решения каких-либо своих технических задач), так и конечным пользователем. В последнем случае пользователь формирует запрос, куда включает, в частности, обозначение требуемого вида доступа или действия и указание на то, над какими данными это действие надо выполнить. Как отмечалось ранее, идентификация данных осуществляется с помощью ключей. В качестве же требуемого действия может производиться одно из следующих: добавление, удаление, изменение, просмотр элемента или обработка данных из элемента.
При добавлении элемента информационный массив пополняется новыми данными в виде записи файла или файла в целом, соответственно, для структурированных и неструктурированных данных. В запросе в этом случае, помимо указанной выше информации, приводится и сам новый элемент. При этом объем информационного массива увеличивается.
Удаление, наоборот, является обратным действием, вызывающим исключение упомянутых данных. Это действие приводит к уменьшению объема информационного массива.
Изменение относится не к элементу, а к его составляющим – полям записи файла или тексту, хранящемуся в файле, и означает, в свою очередь, удаление прежних значений полей или строк текста и/или добавление новых. В запрос включается дополнительная информация, указывающая на требуемые составляющие изменяемого элемента, а также сами новые значения этих составляющих. Объем информационного массива при этом не меняется для структурированных данных и, возможно, меняется для неструктурированных;
Просмотр связан с предоставлением данных пользователю на устройстве вывода компьютера, как правило, на дисплее. В запросе в этом случае дополнительно указывается, какие составляющие элемента требуется просмотреть (по умолчанию просматривается весь элемент).
Обработка предусматривает выполнение некоторых арифметических операций над данными элемента, например, накопление суммы и т.д., и относится только к структурированным данным, а потому далее не рассматривается.
Чтобы выполнить любое их указанных выше действий, нужный элемент должен быть предварительно найден в информационном массиве, для чего выполняется его поиск (для добавления нового элемента тоже делается попытка его поиска, которая заканчивается неудачно, и тогда элемент добавляется). Под поиском элемента понимается определение его местонахождения в информационном массиве. Таким образом, любой доступ включает поиск, что делает эту фазу доступа наиболее значимой.
Технологии доступа при выполнении действий изменения элемента показана на рис. 2.1.
Здесь и далее сплошные линии означают управляющие связи, пунктирные - информационные связи.
Рисунок 2.1 - Технологии доступа при выполнении действий изменения элемента
Технологии доступа при выполнении действий добавления элемента показаны на рис. 2.2:
Рисунок 2.2. Технологии доступа при выполнении действий добавления элемента
Технология удаления изображена на рис. 2.3.
Рисунок 2.3. Технология удаления элемента
Технология просмотра элемента приведена на рис. 2.4. Различие в схемах состоит в том, что по технологии рис. 2.1 и 2.2 выполняется воздействие на информационный массив с целью его изменения, для чего в него передаются данные, по технологии рис. 2.3 воздействие не связано с передачей данных, а по схеме рис. 2.4 данные выводятся из информационного массива без его изменения.
При выполнении рассмотренных действий над элементами информационного массива на практике важны два фактора, противоречащие друг другу: временной фактор, в соответствии с которым запрос пользователя должен обрабатываться в минимальные сроки, и фактор минимизации требуемого объема памяти для хранения данных.
Рисунок 82. Технология просмотра элемента
Для уменьшения времени обработки запроса особые усилия прилагаются к применению таких структур хранения данных, которые позволяли бы оптимизировать поисковые операции, возможно, за счет дополнительных описаний данных. Это, очевидно, повышает расход памяти. Поэтому при проектировании моделей данных учитывается предполагаемый режим эксплуатации информационного массива: если это интерактивный режим, то основное внимание уделяется минимизации времени доступа к данным, если же режим пакетный, то минимизируют требуемую память. Кроме того, на выбор модели влияют особенности той предметной области, которая отражается в структурах хранения.
В силу вышесказанного, основное внимание в данном разделе уделено задачам организации хранения данных разных видов и поиска по ключам, входящим в запросы пользователей, поскольку поисковые операции и определяют, в основном, продолжительность различных действий над информационным массивом. Из приведенных типов действий в рассмотрение включены добавление и просмотр элементов данных, поскольку добавление связано с воздействием на информационный массив и изменением его объема (напомним, что удаление является обратным действием по отношению к добавлению), а просмотр - это наиболее часто выполняемые действия на практике. При этом рассматриваются общие вопросы работы с текстовой и структурированной информацией, методы и модели, используемые при организации хранения, поиска и добавления данных.
Излагаемые модели данных и алгоритмы доступа к ним составляют “brainware” современной информатики, носят универсальный характер и применяются в большинстве систем, связанных с хранением и обработкой информационных массивов.
2.2 Индексирование
Одна из основных задач, возникающих при работе с базами данных, – это задача поиска. При этом, поскольку информации в базе данных, как правило, содержится много, перед программистами встает задача не просто поиска, а эффективного поиска, т.е. поиска за сравнительно короткое время и с достаточно большой точностью. Для этого (для оптимизации производительности запросов) производят индексирование некоторых полей таблицы. Использовать индексы полезно для быстрого поиска строк с указанным значением одного столбца. Без индекса чтение таблицы осуществляется по всей таблице, начиная с первой записи, пока не будут найдены соответствующие строки. Чем больше объем таблицы, тем выше накладные расходы. Если же таблица содержит индекс по рассматриваемым столбцам, то база данных может быстро определить позицию для поиска в середине файла данных без просмотра всех данных. Это происходит потому, что база данных помещает проиндексированные поля поближе в памяти, так, чтобы можно было побыстрее найти их значения. Для таблицы, содержащей 1000 строк, это будет как минимум в 100 раз быстрее по сравнению с последовательным перебором всех записей. Однако в случае, когда необходим доступ почти ко всем 1000 строкам, быстрее будет последовательное чтение, так как при этом не требуется операций поиска по диску. Так что иногда индексы бывают только помехой. Например, если копируется большой объем данных в таблицу, то лучше не иметь никаких индексов. Однако в некоторых случаях требуется задействовать сразу несколько индексов (например, для обработки запросов к часто используемым таблицам).
Если говорить о MySQL, то там существует три вида индексов: PRIMARY, UNIQUE, и INDEX, а слово ключ (KEY) используется как синоним слова индекс (INDEX). Все индексы хранятся в памяти в виде B-деревьев.
PRIMARY – уникальный индекс (ключ) с ограничением, устанавливающим, что все индексированные им поля не могут иметь пустого значения (т.е. они NOT NULL). Таблица может иметь только один первичный индекс, который может состоять из нескольких полей.
UNIQUE – ключ (индекс), задающий поля, которые могут иметь только уникальные значения.
INDEX – обычный индекс (как описано выше). В MySqL, кроме того, можно индексировать строковые поля по заданному числу символов от начала строки.
2.3 Организация журнала операции с базой данных в информационной системе ООО «РУСПРОМКОМ»
Одним из основных требований к СУБД является надежность хранения данных во внешней памяти. Это означает, что СУБД должна суметь восстановить последнее согласованное состояние базы данных (БД) после любого аппаратного или программного сбоя. Обычно рассматриваются два возможных вида аппаратных сбоев: «мягкие сбои» - внезапная остановка работы компьютера (например, аварийное выключение питания), и «жесткие сбои», характеризуемые потерей информации на носителях внешней памяти.
В любом случае для восстановления БД нужно иметь дополнительную информацию. Поддержание надёжности хранения данных в БД требует избыточности хранения данных. При этом особо надёжно должны храниться данные, используемые для восстановления. Распространённым методом поддержания такой избыточной информации является ведение журнала изменений БД.
Журнал - это поддерживаемая с особой тщательностью часть БД, недоступная пользователям СУБД. В неё поступают записи обо всех изменениях основной части БД. Иногда поддерживают две копии журнала, размещая их на разных физических дисках.
Во всех случаях придерживаются стратегии «упреждающей» записи в журнал. Это означает, что запись об изменении любого объекта БД должна попасть во внешнюю память журнала раньше, чем измененный объект попадёт во внешнюю память основной части БД. Если в СУБД корректно соблюдается протокол WAL (WriteAheadLog), то с помощью журнала можно решить все проблемы восстановления БД после любого сбоя.
Целью процесса восстановления после мягкого сбоя является состояние внешней памяти основной части БД, которое возникло бы при фиксации во внешней памяти изменений всех завершившихся транзакций и которое не содержало бы никаких следов незаконченных транзакций. Для этого сначала производят откат незавершенных транзакций (undo), а потом повторно воспроизводят (redo) те операции завершенных транзакций, результаты которых не отображены во внешней памяти. Этот процесс содержит много тонкостей, связанных с общей организацией управления буферами и журналом.
Для восстановления БД после жесткого сбоя используют журнал и архивную копию БД. Архивная копия - это полная копия БД к моменту начала заполнения журнала. Для нормального восстановления БД после жесткого сбоя необходимо, чтобы журнал не пропал. К сохранности журнала во внешней памяти в СУБД предъявляются особо повышенные требования. Тогда восстановление БД состоит в том, что, исходя из архивной копии, по журналу воспроизводится работа всех транзакций, которые закончились к моменту сбоя. В принципе, можно даже воспроизвести работу незавершенных транзакций и продолжить их работу после завершения восстановления.
При эксплуатации информационных систем возможны не только сбои в работе оборудования, но также и ошибки оператора. В первом случае может потребоваться выполнить восстановление БД с ее резервной копии. Для этого используются стандартные утилиты, входящие в комплект системы управления базами данных (СУБД). Такие утилиты имеются и в составе СУБД PostgreSQL. В случае же ошибок оператора, особенно если они обнаружены с опозданием, выполнение восстановления базы данных посредством системной утилиты приведет к тому, что будут утрачены и корректные изменения базы данных, выполненные после проведения последнего резервного копирования. Таким образом, даже небольшая ошибка оператора может привести к необходимости повторного выполнения ввода или корректировки значительного объема данных.
Если бы в базе данных сохранялась вся история изменений каждой реляционной таблицы, то администратор имел бы возможность выполнять восстановление не только всей таблицы целиком, но и каждой конкретной строки в таблице.
В докладе предлагается организовать такую систему учета изменений базы данных, которая была бы построена на основе системы правил (rules) СУБД PostgreSQL.
Основные принципы и правила ее построения следующие.
- В каждую таблицу базы данных вводятся следующие атрибуты, содержащие служебную информацию:
who_chgtext DEFAULT USER - кем добавлена (изменена) запись;
when_chg timestamp;
DEFAULTCURRENT_TIMESTAMP - когда добавлена (изменена) запись.
- Для каждой таблицы базы данных, которые назовем рабочими таблицами, должна быть создана таблица, которую будем называть журнальной. Эта таблица содержит все атрибуты рабочей таблицы и дополнительно еще три атрибута:
db_operationtext - операция над БД;
who_addtextDEFAULTUSER - кем добавлена запись;
when_addtimestampDEFAULTCURRENT_TIMEST AMP - когда добавлена запись.
- Журнальные таблицы создаются без каких-либо ограничений целостности. Ограничения целостности не нужны, поскольку записи в журнальные таблицы добавляются только из рабочих таблиц, а в рабочих таблицах ограничения целостности присутствуют, поэтому данные в них согласованные.
- Для каждой рабочей таблицы создается три так называемых правила (CREATERULE). Это расширение языка SQL, поддерживаемое СУБД PostgreSQL.
Правила позволяют с каждой операцией, выполняемой над таблицей базы данных, связать некоторые дополнительные операции, выполняемые, возможно, над другими таблицами. В нашей технологии правила создаются для операций вставки записей в таблицу (INSERT), обновления записи в таблице (UPDATE) и удаления записей из таблицы (DELETE).
Правило для операции вставки записей выглядит так:
CREATE RULE Langs_rule_1 AS ON INSERT TO sost_zayvki DO INSERT INTO sost_zayvki_2 (id,id_zayavki,naimenovanie,sechenie, kol-vo, m2, stoim, itogo, skidka,who_chg,when_chg,db_operation )VALUES(
NEW.id,NEW.id_zayavki,NEW.naimenovanie,NEW.sec henie,NEW.kol-vo,NEW.m2, NEW.stoim, NEW.itogo,NEW.skidka, NEW.who_chg, NEW.when_chg, 'INSERT' );
В этой команде таблица sost_zayvki - это основная таблица, а sost_zayvki_2 - журнальная таблица. Атрибут db_operation будет содержать значение 'INSERT', атрибут who_add - значение по умолчанию, т. е. имя пользователя, добавившего запись в рабочую таблицу, атрибут when_add - значение по умолчанию, т. е. временную отметку выполнения операции.
Правило для операции обновления записей выглядит так:
CREATE RULE Langs_rule_2 AS
ON UPDATE TO sost_zayvki
DO INSERT INTO sost_zayvki_2 (id, id_zayavki, naimenovanie, sechenie, kol-vo, m2, stoim, itogo, skidka,who_chg, when_chg, db_operation )VALUES (NEW.id,NEW .id_zayavki,NEW. naimenovanie,NEW.sec henie,NEW.kol-vo,NEW. m2, NEW.stoim, NEW.itogo,NEW.skidka,NEW.who_chg, NEW.when_chg, 'UPDATE' );
Правило для операции удаления записей выглядит так:
CREATE RULE Langs_rule_3 AS
ON DELETE TO sost_zayvki
DO INSERT INTO sost_zayvki_2 (id, id_zayavki, naimenovanie, sechenie, kol-vo, m2, stoim, itogo, skidka,who_chg, when_chg, db_operation )VALUES (OLD.id,OLD.id_zayavki,OLD. naimenovanie,OLD.seche nie,OLD.kol-vo,OLD. m2, OLD.stoim,
OLD.itogo,OLD .skidkaOLD .who_chg, OLD.when_chg, 'DELETE' );
- В журнальные таблицы записи только добавляются, но не обновляются и не удаляются из них. Поэтому сохраняется вся история изменения каждой записи из рабочей таблицы.
Предложенный подход позволит повысить безопасность выполнения операций с базой данных. В случае ошибки оператора администратор базы данных сможет отыскать запись в журнальной таблице и восстановить то состояние конкретной записи в рабочей таблице, которое требуется.
ЗАКЛЮЧЕНИЕ
Само слово «данные» происходит от латинского слова data, что означает информация. Таким образом, в самом общем значении это слово обозначает информацию, которая передаётся в каком-либо формализованном виде: слова, цифры, коды.[1]
Из всего многообразия подходов к определению понятия "данные" справедливо то, которое говорит о том, что данные несут в себе информацию о событиях, произошедших в материальном мире, поскольку они являются регистрацией сигналов, возникших в результате этих событий. Однако данные не тождественны информации. Станут ли данные информацией, зависит от того, известен ли метод преобразования данных в известные понятия. То есть, чтобы извлечь из данных информацию необходимо подобрать соответствующий форме данных адекватный метод получения информации. Данные, составляющие информацию, имеют свойства, однозначно определяющие адекватный метод получения этой информации. Причем необходимо учитывать тот факт, что информация не является статичным объектом - она динамически меняется и существует только в момент взаимодействия данных и методов. Все прочее время она пребывает в состоянии данных. Информация существует только в момент протекания информационного процесса. Все остальное время она содержится в виде данных.[2]
Одни и те же данные могут в момент потребления представлять разную информацию в зависимости от степени адекватности взаимодействующих с ними методов.[3]
По своей природе данные являются объективными, так как это результат регистрации объективно существующих сигналах, вызванных изменениями в материальных телах или полях. Методы являются субъективными. В основе искусственных методов лежат алгоритмы (упорядоченные последовательности команд), составленные и подготовленные людьми (субъектами). В основе естественных методов лежат биологические свойства субъектов информационного процесса. Таким образом, информация возникает и существует в момент диалектического взаимодействия объективных данных и субъективных методов.[4]
СПИСОК ЛИТЕРАТУРЫ
- Александров В. В. Экологическая роль электромагнетизма. - СПб.: Изд-во Поли- техн. ун-та, 2015. - 736 с.
- Барабанов А. А., Косов А. А., Ярославцев Н. А. Влияние энергетических форм природы на жизнедеятельность человека // Академический вестник УралНИИпроект РААСН. - 2015. - № 1. - С. 91-96.
- Бугакова Т. Ю. Вовк И. Г. Математическое моделирование пространственно-временного состояния систем по геометрическим свойствам и оценка техногенного риска методом экспоненциального сглаживания // Вестник СГГА. - 2012. - Вып. 4 (20). - С. 47-58.
- Винер Н. Кибернетика, или управление и связь в животном и машине; или Кибернетика и общество. - 2-е издание. - М.: Наука; Главная редакция изданий для зарубежных стран, 2013. - 344 с.
- Галль Л. Н. В мире сверхслабых. Нелинейная квантовая биоэнергетика: Новый взгляд на природу жизни. - 2016. - 317 с.
- Гуревич И. М. Оценка основных информационных характеристик Вселенной // Приложение к журналу «Информационные технологии». - 2016. - № 12. - С. 2-17.
- Дубров А. П. Когнитивная психофизика: основы. - 2-е изд., исп. и доп. - Ростов н/Д.: Феникс, 2012. - 301 с.
- Егоров В. В. Физические поля и излучения организма (на примере человека). Проблемная лекция. - М.: ФГОУ ВПО МГАВМиБ, 2016. - 64 с.
- Информация // Большой энциклопедический словарь. - 2-е изд., перераб. и доп. - М.: Большая Российская энциклопедия, 2015. — 1434 с.
- Карпик А. П., Осипов А. Г., Мурзинцев П. П. Управление территорией в геоинформационном дискурсе. - Новосибирск: СГГА, 2016. - 279 с.
- Концепции целостности эволюции материального мира / Ю. С. Ларионов, Н. А. Ярославцев, С. М. Приходько, Е. В. Екимов // VI Международный конгресс «Слабые и сверхслабые поля и излучения в биологии и медицине». Санкт-Петербург, 2 июня 2012 г.: сб. научных трудов. - Спб., 2012. - С. 268-269.
- Ларионов Ю. С. Основы эволюционной теории (Концепции естествознания и аксиомы современной биологии в свете эволюции материи): учеб. пособие. - Омск, изд. ИП Скорнякова Е. В., 2012. - 233 с.
- Ларионов Ю. С., Ярославцев Н. А. Зависимость скорости роста растительных тест- объектов семян пшеницы от действия электромагнитных излучений низкой интенсивности естественного происхождения // Вестник СГГА. - 2012. - Вып. 4 (20). - С. 100-106.
- Моисеев Н. Н. Расставание с простотой. - М.: АГРАФ, 2012. - С. 98.
- Першин С. М. Слабое когерентное излучение ОН и орто-Н2О мазеров как несущая в биокоммуникации: орто-Н2О, как резонансный сенсор // Человек и электромагнитные поля: сб. докладов III Международной конференции. - Саров: РФЯЦ-ВНИИЭФ, 2016. - С. 4- 12.
- Петров Н. В. Живой Космос. - СПб.: ООО «Береста», 2015. - 420 с.
- Сборник научных трудов VI Международного конгресса «Слабые и сверхслабые поля и излучения в биологии и медицине». - СПб., 2012. - 309 с.
- Семенков О. И. Информация. Новейший философский словарь / Сост. и гл. науч. ред. А. А. Грицанов. 3-е изд., испр. - Минск: Книжный дом, 2013. - С. 431-434.
- Чернавский Д. С. Синергетика и информация (динамическая теория информации). Изд. 2-е. - М.: Едиториал УРСС, 2014. - 288 с.
- Электромагнитный информационный подход к целостной естественнонаучной картине материального мира / Ю. С. Ларионов, В. С. Ларионов, Н. А. Ярославцев, Н. М. При- ходько, Е. И. Баранова // Вестник СГГА. - 2014. - Вып. 4 (28). - С. 158-174.
- Энергоинформационные взаимодействия как основа понимания целостной картины мира / Н. А. Ярославцев, Ю. С. Ларионов, С. М. Приходько, Е. В. Екимов // VI Международный конгресс «Слабые и сверхслабые поля и излучения в биологии и медицине». Санкт- Петербург, 2-6 июля 2012 г.: сб. научных трудов. - СПб., 2012. - С. 280-281.
- Systems and software engineering - Vocabulary: Although information will necessarily have a representation form to make it communicable, it is the interpretation of this representation (the meaning) that is relevant in the first place [Электронный ресурс]. - Доступ из: https://www/ISO org/obp/ui/#ISO:std: ISO/IEC/IEEE 24765:2010.
- Разработка регламента выполнения процесса «Управление персоналом» (Аналитическая часть)
- Методы выбора проектов(Сущность инвестиционного проекта на предприятии и его структура)
- Управление процессом реализации изменений и нововведений (Теоретические аспекты управления процессом реализации изменений и нововведений в организации)
- Основные принципы управления затратами (ООО «ВИДЖИЛ-ИНВЕСТ»)
- Рынок ценных бумаг
- Понятие и виды вещных прав (Вещные права и их система. Ограничение вещных прав в теории и на практике)
- Технологии и методы продаж в гостиничном бизнесе (Теоретические аспекты технологий и методов в гостиничном бизнесе)
- Технологии и методы продаж в гостиничном бизнесе.
- Формирование корпоративного имиджа компании
- Нотариальные действия (Понятие и функции нотариата)
- Понятия и виды наследования(Общая характеристика наследственных прав)
- Особенности федерализма в России (Тенденции развития российского федерализма)