Операции, производимые с данными (Методы для извлечения информации из данных)

Содержание:

Введение

Неотъемлемой частью в жизни людей, независимо от сферы их занятости, является работа с данными различной структуры.

Данные – это сведения, факты, показатели, выраженные как в числовой, так и в любой другой форме.

Данные - это зарегистрированные сигналы (сообщения). Данные – это, в конце концов, материальная форма информации.

В свою очередь, информация - это продукт взаимодействия данных и адекватных им методов. Она существует только в момент взаимодействия данных и методов (в момент протекания информационных процессов). Все прочее время информация пребывает в состоянии данных.

Создание, обработка, преобразование и транспортировка данных, некие специфические операции над данными – этим занимаются миллионы людей ежедневно. При этом невозможно составить как полный список всех операций, производимых над данными, так и различные методы, с помощью которых данные преобразуются из одного вида в другой.

По мере развития человеческого общества и усложнения связей в нём возрастают неуклонно трудозатраты на обработку данных. Прежде всего, это связано с постоянным усложнением условий управления производством и обществом. Второй фактор, также вызывающий общее увеличение объемов обрабатываемых данных, связан с научно-техническим прогрессом, а именно с быстрыми темпами появления и внедрения новых носителей данных, средств их хранения и доставки.

В наше время, технологии окружают человека во всех сферах его деятельности, помогая решать различные задачи, как на работе, так и дома. Информационные технологии развиваются очень стремительно, и сложно назвать развитую страну, в которой не осуществлялись бы широкомасштабные программы по информатизации. Государство, которое не внедряет и не поддерживает информационные технологии, не может считаться экономически успешным. Любая организация, независимо от масштаба её деятельности, не представляется без использования компьютерных технологий. Информатизация позволяет контролировать основные бизнес-процессы организации – от закупки материалов до формирования внутренней и внешней отчётности. Автоматизация обработка данных позволяет исключить человеческий фактор из многих критичных операций, снижая тем самым риск принятия неверных управленческих решений.

Организация, которая не использует информационные технологии, не может быть конкурентоспособной и не может достичь успеха на современном рынке – больше времени тратится на обработку информации, задействованы лишние трудовые ресурсы, увеличивается себестоимость производимых товаров и услуг, медленнее принимаются стратегически важные управленческие решения.

Информационные процессы (сбор, обработка и передача информации) всегда играли важную роль в науке, технике и жизни общества.

В  ходе эволюции человечества просматривается  устойчивая тенденция к автоматизации  этих процессов, хотя их внутреннее содержание по существу осталось неизменным.

Информация не существует сама по себе, она проявляется в  информационных процессах. Человек  живет в мире информации и на протяжении всей жизни участвует во всевозможных информационных процессах.

Действия, выполняемые  с информацией, называются информационными  процессами.

Процессы, связанные  с получением, хранением, обработкой и передачей информации, называются информационными. 
Информация проявляется  именно в информационных процессах, которые всегда протекают в каких-либо системах (социальных, социотехнических, биологических и пр).

Информационные процессы, осуществляемые по определенным информационным технологиям, составляет основу информационной деятельности человека.

Компьютер является универсальным устройством для автоматизированного выполнения информационных процессов.

Целью курсовой работы является рассмотрение и анализ основных информационных процессов: поиск, сбор, хранение, передача, обработка, использование и защита информации.

1. Операции, производимые с данными

1.1.Методы для извлечения информации из данных

Одни и те же данные могут в момент потребления поставлять разную информацию в зависимости от степени адекватности взаимодействующих с ними методов.

Существуют следующие методы для извлечения информации из данных:

• Естественные методы - основаны на органах чувств (зрение, осязание, обоняние, слух, вкус).

• Методы мышления: воображение, сравнение, сопоставление, анализ, прогнозирование.

• Аппаратные методы воспроизведения и обработки данных.

• Методы воспроизведения данных - телефоны, магнитофоны, рентгеновские аппараты, телескопы, микроскопы и др.

С точки зрения информатики эти устройства выполняют общую функцию - преобразуют данные из формы, недоступной для естественных методов человека, в форму доступных для них.

Данные являются объективными, а применяемые к ним методы являются субъективными.

Для того чтобы данные стали информацией, обычно требуется не один, а несколько взаимосвязанных методов. Например, для обычного текста, напечатанного темными буквами на светлом фоне:

• чтобы рассмотреть текст, читатель должен обладать методом зрения. Это естественный метод, присущий большинству людей.

• необходимо достаточное освещение. Освещение - физический метод, основанный на использовании естественного и искусственного света.

• Необходимо знать азбуку (систему кодирования звуков) того языка, на котором написан текст.

• Надо знать язык, на котором написан текст.

• Надо понимать термины и понятия, использованные в сообщении.

Последние три метода - логические. Они связаны с мышлением человека и не доступны от рождения, а приобретаются в результате обучения.

Возможность извлекать разную информацию из одних и тех же данных объясняется тем, что различные пользователи по-разному используют доступные им методы, поэтому по-разному трактуют эти данные.

Правильно сказать, что в компьютере хранятся данные, однако в силу установившейся практики говорят, что в компьютере хранится информация. Поэтому в некоторых источниках информацию определяют как сведения об объектах и явлениях окружающей среды, их параметрах, свойствах и состоянии, которые воспринимают информационные системы (живые организмы, управляющие машины и др.) в процессе жизнедеятельности и работы.

Нас интересуют аппаратные операции над данными.

1.2. Аппаратные операции над данными

Над любыми структурами данных могут выполняться четыре общие операции:

- создание;

- уничтожение;

- выбор (доступ);

- обновление.

Операция создания заключается в том, что выделяется память для структуры данных. Память может выделяться в процессе выполнения программы или на этапе компиляции. В ряде языков (например, в С) для структурированных данных, конструируемых программистом, операция создания включает в себя также установку начальных значений параметров, создаваемой структуры.

Для структур данных, объявленных в программе, память выделяется автоматически средствами систем программирования либо на этапе компиляции, либо при активизации процедурного блока, в котором объявляются соответствующие переменные. Программист может и сам выделять память для структур данных, используя имеющиеся в системе программирования процедуры и функции выделения освобождения памяти. В объектно-ориентированных языках программирования при разработке нового объекта для него должны быть определены процедуры создания и уничтожения.

Главное заключается в том, что независимо от используемого языка программирования, имеющиеся в программе структуры данных, не появляются «из ничего», а явно или неявно объявляются операторами создания структур. В результате этого всем экземплярам структур в программе выделяется память для их размещения.

Операция уничтожения структур данных противоположна по своему действию операции создания. Операция уничтожения помогает эффективно использовать память.

Операция выбора используется программистами для доступа к данным внутри самой структуры. Форма операции доступа зависит от типа структуры данных, к которой осуществляется обращение. Метод доступа — один из наиболее важных свойств структур, особенно в связи с тем, что это свойство имеет непосредственное отношение к выбору конкретной структуры данных.

Операция обновления позволяет изменить значения данных в структуре данных. Примером операции обновления является операция присваивания, или, более сложная форма — передача параметров.

Вышеуказанные четыре операции обязательны для всех структур и типов данных. Помимо этих общих операций для каждой структуры данных могут быть определены операции специфические, работающие только с данными данного типа (данной структуры). Специфические операции рассматриваются при рассмотрении каждой конкретной структуры данных.

В структуре возможных операций с данными можно выделить следующие:

• Сбор.

Сбор представляет собой накопление информации с целью обеспечения достаточной полноты для принятия решений;

• Хранение.
Сбор информации не является самоцелью. Чтобы полученная информация могла использоваться, причем многократно, необходимо ее хранить.  
Хранение информации - это способ распространения информации в пространстве и времени.

Способ хранения информации зависит от ее носителя (книга- библиотека, картина - музей, фотография- альбом).

ЭВМ предназначен для компактного хранения информации с возможностью быстрого доступа к ней.

Информационная система - это хранилище информации, снабженное процедурами ввода, поиска и размещения и выдачи информации. Наличие таких процедур - главная особенность информационных систем, отличающих их от простых скоплений информационных материалов. Например, личная библиотека, в которой может ориентироваться только ее владелец, информационной системой не является. В публичных же библиотеках порядок размещения книг всегда строго определенный. Благодаря ему поиск и выдача книг, а также размещение новых поступлений представляет собой стандартные, формализованные процедуры. 

• Зашита.

Защита информации - предотвращение, несанкционированного доступа, недозволенного использования, непредумышленных или  преднамеренного изменения или  разрушения информации.

В более широком  смысле - это комплекс организованных  правовых, технических и технологических  мер по предотвращению угроз информации безопасности и устройству их последствий.

Методы защиты информации:

1) Создание препятствий на пути доступа к информации: особые условия хранения, механические преграды, турникеты, остекление, сейфы, закрытые шкафы и т.п.

2) Разграничение доступа - это система паролей, идентификация пользователя, контроль доступа.

3) Учет и регистрация использования информации.

4) Кодирование информации.

5) Обеспечение надежного хранения документов или данных.
6) Страхование от утечки, хищения, подделки информации, от разрушения.

Эффективность  достигается путем специальных  средств: это технические, программные средства, предназначенные или используемые для защиты информации.

Средства можно  разделить на следующие группы:

1. Обеспечение разграничение доступа к информации в автоматизированную систему.
2. Обеспечение защиты информации при передаче по каналам связи.
3. Обеспечение защиты от утечки информации по различным  физическим полям, которые возникают  при работе технических средствами.

• Формализация.

Представляет собой приведение данных, поступающих из разных источников, к одинаковой форме, чтобы сделать их сопоставимыми между собой, то есть повысить их уровень доступности;

• Фильтрация.

Это отсеивание «лишних» данных, в которых нет необходимости для принятия решений; при этом должен уменьшаться уровень «шума», а достоверность и адекватность данных должны возрастать;

• Сортировка.

Это упорядочение данных по заданному признаку с целью удобства использования; эта процедура повышает доступность информации;

• Архивация.

Это  организация хранения данных в удобной и легкодоступной форме; служит для снижения экономических затрат по хранению данных и повышает общую надежность информационного процесса в целом;

• Транспортировка.

Транспортировка представляет собой прием и передача (доставка и поставка) данных между удаленными участниками информационного процесса; при этом источник данных в информатике принято называть сервером, а потребителя - клиентом;  

• Преобразование данных.

Это перевод данных из одной формы в другую или из одной структуры в другую. Преобразование данных часто связано с изменением типа носителя, например книги можно хранить в обычной бумажной форме, но можно использовать для этого и электронную форму, и микрофотопленку. Необходимость в многократном преобразовании данных возникает также при их транспортировке, особенно если она осуществляется средствами, не предназначенными для транспортировки данного вида данных. В качестве примера можно упомянуть, что для транспортировки цифровых потоков данных по каналам телефонных сетей (которые изначально были ориентированы только на передачу аналоговых сигналов в узком диапазоне частот) необходимо преобразование цифровых данных в некое подобие звуковых сигналов, чем и занимаются специальные устройства - телефонные модемы.

- Поиск информации.

Процесс выявления  и отбора по заданным, содержательным и формальных признакам документов или данных из информационных массивов. Т.е. извлечение хранимой информации. 

Алгоритм поиска:

1) Формулировка запроса, выделение в его структуре основных поисковых признаков: ключевых слов и  понятий, предметы и аспекты поиска
2) Идентификация данных: сравнение поисковых признаков с данными в информационном массиве

3) Отбор: проверка выявленного подмассива документов или данных на соответствии заданным критериям поиска
Структурирование (упорядочение документов или да в соответствии с логикой запроса)

Виды информационного  поиска:

1. Документальный (поиск документов)
   Библиографический (поиск информации о документах)
2. Тематический (поиск библиографической информации по теме запроса)
3. Адресный (установление наличия или местонахождения)
4. Уточняющий (это выявление ил корректировка библиографических данных о документе)
5. Фактографический (поиск информации по существу запроса).

1.3. Характеристика и назначение

Информационная технология обработки данных предназначена для решения хорошо структурированных задач, по которым имеются необходимые входные данные и известны алгоритмы и другие стандартные процедуры их обработки. Эта технология применяется на уровне операционной (исполнительской) деятельности персонала невысокой квалификации в целях автоматизации некоторых рутинных постоянно повторяющихся операций управленческого труда. Поэтому внедрение информационных технологий и систем на этом уровне существенно повысит производительность труда персонала, освободит его от рутинных операций, возможно, даже приведет к необходимости сокращения численности работников.

На уровне операционной деятельности решаются следующие задачи:
- обработка данных об операциях, производимых фирмой;
- создание периодических контрольных отчетов о состоянии дел в фирме;
- получение ответов на всевозможные текущие запросы и оформление их в виде бумажных документов или отчетов.

Примером может послужить ежедневный отчет о поступлениях и выдачах наличных средств банком, формируемый в целях контроля баланса наличных средств, или же запрос к базе данных по кадрам, который позволит получить данные о требованиях, предъявляемых к кандидатам на занятие определенной должности.

Существует несколько особенностей, связанных с обработкой данных, отличающих данную технологию от всех прочих:
- выполнение необходимых фирме задач по обработке данных. Каждой фирме предписано законом иметь и хранить данные о своей деятельности, которые можно использовать как средство обеспечения и поддержания контроля на фирме. Поэтому в любой фирме обязательно должна быть информационная система обработки данных и разработана соответствующая информационная технология;
- решение только хорошо структурированных задач, для которых можно разработать алгоритм;
- выполнение стандартных процедур обработки. Существующие стандарты определяют типовые процедуры обработки данных и предписывают их соблюдение организациями всех видов;
- выполнение основного объема работ в автоматическом режиме с минимальным участием человека;
- использование детализированных данных. Записи о деятельности фирмы имеют детальный (подробный) характер, допускающий проведение ревизий. В процессе ревизии деятельность фирмы проверяется хронологически от начала периода к его концу и от конца к началу;

-акцент на хронологию событий;
- требование минимальной помощи в решении проблем со стороны специалистов других уровней.

1.4. Основные компоненты информационной технологии обработки данных

Представим основные компоненты информационной технологии обработки данных и приведем их характеристики (Рис. 2.4.1).

Рис. 2.4.1. Основные компоненты информационной технологии обработки данных

Сбор данных.

По мере того как фирма производит продукцию или услуги, каждое ее действие сопровождается соответствующими записями данных. Обычно действия фирмы, затрагивающие внешнее окружение, выделяются особо как операции, производимые фирмой.

Обработка данных.

Для создания из поступающих данных информации, отражающей деятельность фирмы, используются следующие типовые операции:
- классификация или группировка. Первичные данные обычно имеют вид кодов, состоящих из одного или нескольких символов. Эти коды, выражающие определенные признаки объектов, используются для идентификации и группировки записей.

Например, при расчете заработной платы каждая запись включает в себя код (табельный номер) работника, код подразделения, в котором он работает, занимаемую должность и т. п. В соответствии с этими кодами можно произвести разные группировки.

- сортировка, с помощью которой упорядочивается последовательность записей;
- вычисления, включающие арифметические и логические операции. Эти операции, выполняемые над данными, дают возможность получать новые данные; - укрупнение или агрегирование, служащее для уменьшения количества данных и реализуемое в форме расчетов итоговых или средних значений.

Хранение данных.

Многие данные на уровне операционной деятельности необходимо сохранять для последующего использования либо здесь же, либо на другом уровне. Для их хранения создаются базы данных.

Создание отчетов (документов).

В информационной технологии обработки данных необходимо создавать документы для руководства и работников фирмы, а также для внешних партнеров. При этом документы могут создаваться как по запросу или в связи с проведенной фирмой операцией, так и периодически в конце каждого месяца, квартала или года.

1.5. Автоматизация доступа к данным

Процедура доступа к данным может быть инициирована как самим компьютером (для решения каких-либо своих технических задач), так и конечным пользователем. В последнем случае пользователь формирует запрос, куда включает, в частности, обозначение требуемого вида доступа или действия и указание на то, над какими данными это действие надо выполнить. Как отмечалось ранее, идентификация данных осуществляется с помощью ключей. В качестве же требуемого действия может производиться одно из следующих: добавление, удаление, изменение,  просмотр элемента или обработка данных из элемента.

При добавлении элемента информационный массив пополняется новыми данными в виде записи файла или файла в целом, соответственно, для структурированных и неструктурированных данных. В запросе в этом случае, помимо указанной выше информации, приводится и сам новый элемент. При этом объем информационного массива увеличивается.

Удаление, наоборот, является обратным действием, вызывающим исключение упомянутых данных. Это действие приводит к уменьшению объема информационного массива.

Изменение относится не к элементу, а к его составляющим – полям записи файла или тексту, хранящемуся в файле, и означает, в свою очередь,  удаление прежних значений полей или строк текста и/или добавление новых. В запрос включается дополнительная информация, указывающая на требуемые составляющие изменяемого элемента, а также сами новые значения этих составляющих. Объем информационного массива при этом не меняется для структурированных данных и, возможно, меняется для неструктурированных;

Просмотр связан с предоставлением данных пользователю на устройстве вывода компьютера, как правило, на дисплее. В запросе в этом случае дополнительно указывается, какие составляющие элемента требуется просмотреть (по умолчанию просматривается весь элемент).

Обработка предусматривает выполнение некоторых арифметических операций над данными элемента, например, накопление суммы и т.д., и относится только к структурированным данным, а потому далее не рассматривается.

Чтобы выполнить любое их указанных выше действий, нужный элемент должен быть предварительно найден в информационном массиве, для чего выполняется его поиск (для добавления нового элемента тоже делается попытка его поиска, которая заканчивается неудачно, и тогда элемент добавляется). Под поиском элемента понимается определение его местонахождения в информационном массиве. Таким образом, любой доступ включает поиск, что делает эту фазу доступа наиболее значимой.

Технологии доступа при выполнении действий изменения элемента показана на рис. 2.5.1.

Здесь и далее сплошные линии означают управляющие связи, пунктирные - информационные связи.

Рисунок 2.5.1 Технологии доступа при выполнении действий изменения элемента

Технологии доступа при выполнении действий добавления элемента показаны на рис. 2.5.2:

Рисунок 2.5.2. Технологии доступа при выполнении действий добавления элемента

 Технология удаления изображена на рис. 2.5.3.

Рисунок 2.5.3. Технология удаления элемента

Технология просмотра элемента приведена на рис. 2.5.4. Различие в схемах состоит в том, что по технологии рис. 2.5.1 и 2.5.2 выполняется воздействие на информационный массив с целью его изменения, для чего в него передаются данные, по технологии рис. 2.5.3 воздействие не связано с передачей данных, а по схеме рис. 2.5.4 данные выводятся из информационного массива без его изменения.

При выполнении рассмотренных действий над элементами информационного массива на практике важны два фактора, противоречащие друг другу: временной фактор, в соответствии с которым запрос пользователя должен обрабатываться в минимальные сроки, и фактор минимизации требуемого объема памяти для хранения данных.

Рисунок 2.5.4. Технология просмотра элемента

Для уменьшения времени обработки запроса особые усилия прилагаются к применению таких структур хранения данных, которые позволяли бы оптимизировать поисковые операции, возможно, за счет дополнительных описаний данных. Это, очевидно, повышает расход памяти. Поэтому при проектировании  моделей данных учитывается предполагаемый режим эксплуатации информационного массива: если это интерактивный режим, то основное внимание уделяется минимизации времени доступа к данным, если же режим пакетный, то минимизируют требуемую память. Кроме того, на выбор модели влияют особенности той предметной области, которая отражается в структурах хранения.

В силу вышесказанного, основное внимание в данном разделе уделено задачам организации хранения данных разных видов и поиска по ключам, входящим в запросы пользователей, поскольку поисковые операции и определяют, в основном, продолжительность различных действий над информационным массивом. Из  приведенных типов действий в рассмотрение включены добавление и просмотр элементов данных, поскольку добавление связано с воздействием на информационный массив и изменением его объема (напомним, что удаление является обратным действием по отношению к добавлению), а просмотр - это наиболее часто выполняемые действия на практике. При этом рассматриваются общие вопросы работы с текстовой и структурированной информацией, методы и модели, используемые при организации хранения, поиска и добавления данных.

Одна из основных задач, возникающих при работе с базами данных, – это задача поиска. При этом, поскольку информации в базе данных, как правило, содержится много, перед программистами встает задача не просто поиска, а эффективного поиска, т.е. поиска за сравнительно короткое время и с достаточно большой точностью. Для этого (для оптимизации производительности запросов) производят индексирование некоторых полей таблицы. Использовать индексы полезно для быстрого поиска строк с указанным значением одного столбца. Без индекса чтение таблицы осуществляется по всей таблице, начиная с первой записи, пока не будут найдены соответствующие строки. Чем больше объем таблицы, тем выше накладные расходы. Если же таблица содержит индекс по рассматриваемым столбцам, то база данных может быстро определить позицию для поиска в середине файла данных без просмотра всех данных. Это происходит потому, что база данных помещает проиндексированные поля поближе в памяти, так, чтобы можно было побыстрее найти их значения. Для таблицы, содержащей 1000 строк, это будет как минимум в 100 раз быстрее по сравнению с последовательным перебором всех записей. Однако в случае, когда необходим доступ почти ко всем 1000 строкам, быстрее будет последовательное чтение, так как при этом не требуется операций поиска по диску. Так что иногда индексы бывают только помехой. Например, если копируется большой объем данных в таблицу, то лучше не иметь никаких индексов. Однако в некоторых случаях требуется задействовать сразу несколько индексов (например, для обработки запросов к часто используемым таблицам).

Если говорить о MySQL, то там существует три вида индексов: PRIMARY, UNIQUE, и INDEX, а слово ключ (KEY) используется как синоним слова индекс (INDEX). Все индексы хранятся в памяти в виде B-деревьев.

PRIMARY – уникальный индекс (ключ) с ограничением, устанавливающим, что все индексированные им поля не могут иметь пустого значения (т.е. они NOT NULL). Таблица может иметь только один первичный индекс, который может состоять из нескольких полей.

UNIQUE – ключ (индекс), задающий поля, которые могут иметь только уникальные значения.

 INDEX – обычный индекс (как описано выше). В MySqL, кроме того, можно индексировать строковые поля по заданному числу символов от начала строки.

Список литературы

1. Распределенные системы. Принципы и парадигмы Э. Таненбаум, М. ван Стеен. — СПб.: Питер, 2003.
2. Степанов А.Н. Информатика. Базовый курс гуманитарных специальностей. СПб.: Питер, 2010. - 719 с.
3. ФЗ от 20.02.1995 г. № 24 ФЗ «Об информации, информационных технологиях и о защите информации» (СЗ РФ, 2006, № 31, часть 1, ст. 3448.)
4. Захаров В.П. Информационные системы (документальный поиск). - СПб., 2002. Защита персональных данных: Опыт правового регулирования. - М.: Галерия, 2001
5. Кузнецов, С.Д. Ландшафт области управления данными [Электронный ресурс]: аналитический обзор / С.Д. Кузнецов, М.Н. Гринев. – Режим доступа: http://citforum.ru/database/ data_management_overview/ (01.12.2014).
6. Кузовкин, А.В. Управление данными [Текст]: учебник для студ. высших учеб. заведений / А.В. Кузовкин, А.А. Цыганов, Б.А. Щукин. – М.: Издательский центр «Академия», 2010. – 256 с
7. Швецов, В.И. Базы данных [Электронный ресурс] / В.И. Шве- цов. – Электрон. текстовые данные. – М.: Интернет-Университет Информационных Технологий (ИНТУИТ), 2009. – 155 c. – Режим доступа: http://www.iprbookshop.ru/16688. – ЭБС «IPRbooks», по паролю.
8. Рузаков, А.А. Управление данными: учеб. пособие / А.А. Рузаков. – Челябинск: Изд-во Челяб. гос. пед. ун-та, 2015. – 132 с
9. Касаткин В.Н. Информация, алгоритмы, ЭВМ. М.: Просвещение, 1991, 192 с.
10. Технологии обработки информации: учебное пособие СКФУ 2014 г.  175 страниц
11. Информатика. Базовый курс: учебное пособие / [Г. В. Алехина и др.]. – Москва: Московская финансово-промышленная академия: Маркет ДС, 2010. – 730 с. http://www.zavtrasessiya.com/index.pl?act=PRODUCT&id=701
12. Основы информатики: учебное пособие / [Г. В. Алехина и др.]. – Москва: Московская финансово-промышленная академия: Маркет ДC, 2009. – 464 с. http://www.zavtrasessiya.com/index.pl?act=PRODUCT&id=701
13. Симонович, С. В. Общая информатика / С. В. Симонович. – Санкт-Петербург: Питер, 2008. – 431 с.