Как изменить рейтинг Windows
SQL и индексная оценка геофеноменов
Док. Др. Владимир Хомола, к.б.н.
Аннотация
Значительный объем данных хранится в компьютерной среде, в основном управляемой системами реляционных баз данных. Для некоторых методов их обработки нет необходимости использовать дорогостоящее специализированное программное обеспечение. Забытый, но очень мощный инструмент для формулирования запросов к базе данных, язык структурированных запросов (SQL), сослужит вам хорошую службу. Его основной компонент, команда SELECT, является подходящим инструментом как для группировки запросов, так и для объединения данных в таблицы. Примером первого типа задач является оценка геофеноменов с помощью суммарного показателя, полученного на основе взвешенной оценки отдельных факторов, способствующих возникновению явления. Примером второго типа задач является так называемая «сеточная», т.е. оценка значений в узлах регулярной сети на основе значений в нескольких местах местности. В постепенном использовании запроса сначала один, потом другой тип соединения, например. оценка уязвимости водоносного горизонта к поверхностному загрязнению. С помощью всего двух вопросов вы можете не только выполнить собственную оценку, но и подготовить данные для поверхностного или пространственного отображения с помощью стандартного программного обеспечения. Даже сам MS Office можно практически использовать на компьютерах класса ПК: система реляционных баз данных Access и электронные таблицы Excel.
Аннотация
В компьютерной среде большое количество геоданных хранится в основном в формате таблиц реляционной базы данных. Некоторые частные методы обработки этих данных не требуют мощных, дорогостоящих специализированных программных комплексов. Язык структурированных запросов (SQL), мощный, но незнакомый инструмент обработки данных, достаточен как для группировки запросов, так и для их объединения. Оценка явления индекса на основе взвешенных коэффициентов факторов является примером первого типа такого запроса. Второй типпредставляет сетку, т.е. оценка чистых значений узлов в зависимости от известных значений пространственных данных. Всего одного запроса SELECT, за которым следует второй, достаточно не только для правильного перечисления, но и для вывода данных в стандартном формате пакетов программ. В среде ПК Microsoft Office можно использовать как для обработки данных (Access), так и для графического представления (Excel).
Между источниками геоданных (хранящихся в компьютерной среде систем баз данных) и конечной информацией (требуемой профессиональной общественностью) находится программное обеспечение. Его приобретение — особенно программное обеспечение категории ГИС — сегодня в несколько раз превышает стоимость самих компьютеров и не всегда позволяет анализировать данные именно так, как того требует пользователь.
С другой стороны, существуют общие инструменты для формулирования запросов к реляционным базам данных (которые являются наиболее распространенной формой организации общих данных), поставляемые как часть некоторой программной системы. Например, язык структурированных запросов (аббревиатура SQL) может быть реализован как в ряде операционных систем напрямую (Unix), так и в виде различных программных промежуточных слоев (SQL server от Microsoft), но и непосредственно в большинстве СУБД (Oracle, SyBase, Informix, Access, Fox и т. д.).
Геоданные характеризуются значительным количеством типов. После преобразования реальных типов в типы данных систем баз данных количество типов как таковых уменьшится, но значения отдельных типов (даже если они будут одинаковыми) останутся несопоставимыми.
Для задач, оценивающих уровень геоявления («зависимая переменная») на основе нескольких других, несопоставимых друг с другом геоатрибутов («независимых переменных», факторов), можно использовать методы расчета индекс явления ; тогда его значение становится критерием оценки (зависимого) явления по отношению к (независимым) факторам.
Это всего лишь один из способовот методов, которые напрямую не решаются в специализированных программных комплексах. Однако его использование для оценки геофеноменов возможно быстро и легко с помощью SQL, как описано ниже.
Суть метода
Математическая сущность метода заключается в следующем (см. также Homola, 1998):
Пусть n делит F 1 на F n . Каждому фактору F i присваивается вес v i , который обычно является действительным числом. Каждый фактор F i приобретает одно из конечного числа значений, что определяет разложение множества всех значений фактора на классы . Таким образом, коэффициент F i принимает одно из значений
Индекс оценки I затем дается как сумма взвешенных оценок.
 | (1) |
где он чувствует себя через все факторы.
Практическая оценка
На практике факторов не так много (до десяти), поэтому расчет одного индекса по (1) не представляет проблемы.
Однако в другом месте возникают две проблемы. Прежде всего, на практике, особенно в науках о земле, исследующих большие площади и геологические тела, требуется вычислять не один, а сотни показателей. Это практическая проблема.
Теоретической проблемой является определение весов отдельных факторов и оценка отдельных классов таким образом, чтобы результирующий индекс соответствовал действительности в местах, где оценка также может быть проведена напрямую. Для обновления и «тонкой настройки» внутренних значений весов и оценок снова необходимо выполнить сотни и тысячи повторных вычислений по (1).
С точки зрения упомянутых двух проблем расчет по (1) становится критической точкойкак теоретической подготовки, так и практического применения. В следующих главах показано использование SQL для решения этой задачи вне дорогих программных продуктов, которые к тому же не содержат простого прямого решения этой задачи (если вообще содержат).
Пример модели
Довольно широко описанный метод. применяется, например при оценке уязвимости водоносных горизонтов (Aller, 1987); в Агентстве по охране окружающей среды США он известен как DRASTIC, его модификация как SINTACS. В обоих приложениях используются семь факторов.
В качестве модельного примера будет использована реальная оценка уязвимости водоносного горизонта, однако в сокращенном виде как по количеству факторов, так и по количеству классов.
Итак, пусть даны три фактора:
- тип пщда,
- уклон местности,
- количество просачивания от осадков.
Это необходимо для оценки риска, с которым возможное местное поверхностное загрязнение будет просачиваться в грунтовые воды.
- передачу лучше осуществлять сбоку. в молниях, а не в желудях,
- ровная местность быстрее впитает воду, с наклонной местности вода быстрее стечет,
- в районах с большим количеством осадков риск выше, чем в засушливых районах.
Примечание : Те, кто интересуется этой самой проблемой, найдут ее полное применение для района Остравы и Карвины в (Paganelli, 1996) и, в более общем плане, в (Fabbri, 1995)..
Носитель данных
Рис. 1: Пример привязки данных
Поскольку запрос SELECT позволяет создать реляционную модель данных (далее именуемую таблица ) по существу путем любого выбора из любых других таблиц, будет указано, что запросы здесь работают с таблицы данных сокращенной структуры. Схема подключения данных показана на предыдущем рисунке (DATA — таблица данных, TABVAH — таблица весов, TABOCEN — таблица оценок):
В то же время таблица данных может иметь следующее. следующую структуру (РАСПОЛОЖЕНИЕ — кодlokality, KУDF — kуd faktoru zjiљtмnйho na danй lokalitм, KУDT — kуd tшнdy danйho faktoru zjiљtмnйho na danй lokalitм):
| DATA | |||||
| lokalita | kуdf | kуdt | lokalita | kуdf | kуdt |
| A02 | P | gr | A31 | P | lm |
| A02 | S | 02 | A31 | S | 02 |
| A02 | V | 05 | A31 | V | 05 |
| A04 | P | gr | A33 | P | lm |
| A04 | S | 04 | A33 | S | 04 |
| A04 | V | 05 | A33 | V | 05 |
| A05 | P | gr | A37 | P | lm |
| A05 | S | 02 | A37 | S | 02 |
| A05 | V | 10 | A37 | V | 10 |
| A07 | P | gr | A39 | P | lm |
| A07 | S | 04 | A39 | S | 04 |
| A07 | V | 10 | A39 | V | 10 |
Tab. 1: Pшнklad dat
Vбhy jednotlivэch faktorщ mohou bэt uvedeny v nбsledujнcн tabulce (KУDF — kуd faktoru, FAKTOR — popis faktoru, VБHA — vбha danйho faktoru):
| TABVAH | ||
| kуdf | faktor | vбha |
| P | Typ pщdy | 2 |
| S | Sklon terйnu | 1 |
| V | Vsak ze srбћek | 4 |
Tab. 2: Pшнklad vah faktorщ
Obdobnм lze ocenмnн jednotlivэch tшнd jednotlivэch faktorщ umнstit napш. do tabulky(КУДФ — код фактора, КУДТ — код класса, ТШНДА — описание класса, ОЦЕНМНН — оценочное значение данного класса данного фактора):
| TABOCEN | |||
| kуdf | kуdt | класс | оценка |
| P | гр | Строки | 10 |
| P | lm | Спины | 5 |
| … | … | … | … |
| S | 02 | до 2% | 10 |
| S | 04 | от 2% до 4% | 9 |
| … | … | … | … |
| V | 05 | ИНДЕКСЫ | |
| населенный пункт | индекс | ||
| A05 | 50 | ||
| A07 | 49 | ||
| A02 | 42 | ||
| A04 | 41 | ||
| A37 | 40 | ||
| A39 | 39 | ||
| A31 | 32 | ||
| A33 | 31 |
Таб. 4: Результат запроса
Соответственно, участок A05 имеет самый большой индекс уязвимости водоносного горизонта (50), т. е. участок, состоящий из гравия, с минимальным уклоном и большим количеством осадков, а участок A33, состоящий из суглинка на более крутом рельефе и с небольшим количеством осадков, имеет наименьший индекс уязвимости водоносного горизонта. Этот вывод не противоречит фактам. Однако целью статьи является обсуждение не конкретного приложения, а общего механизма.
Примечание . При вычислении индекса для одного сайта (например, A37) будет выполняться тот же запрос, что и выше, с добавлением условия
.
где
населенный пункт = ”A37” и . ;
Индексы на поверхности
В предыдущем абзаце показано, как рассчитать индекс в определенных местах (точках поверхности). Особенно в науках о Земле часто требуется оценить поведение этой величины на основе значений некоторой величины в нескольких изолированных точках на определенной территории.во всей области. Пусть местоположения на местности, заданные координатами системы координат, известны для вышеуказанных местоположений:
| МЕСТОПОЛОЖЕНИЕ | |||||
| местоположение | x | y | место | x | y |
| A05 | 4283 | 5516 | A37 | 4311 | 5498 |
| A07 | 4294 | 5491 | A39 | 4302 | 5492 |
| A02 | 4297 | 5509 | A31 | 4262 | 5503 |
| A04 | 4318 | 5511 | A33 | 4276 | 5484 |
Таб. 5: Расположение сайтов
Поэтому локации расположены в прямоугольной области
[4260;5480] x [4320;5520]
Принцип оценки площади присоединения при охвате площади прямоугольным п.с. квадратная сеть (нужной плотности) и обнаружение точечных оценок во всех узлах сети. Затем значения в узлах с соответствующей плотностью аппроксимируют значения поверхности, выражающие поведение контролируемой величины на поверхности.
В упрощенном виде модифицированный принцип показан на следующем рисунке:
Рис. 2: Расчет сна на рабочем столе
Процедура, указанная на предыдущем рисунке, подходит для ситуаций, когда значения всех факторов известны не для всех местностей. Если они известны, предпочтительнее обратная процедура: сначала объединить все индексы и только потом (один раз) сделать оценки числа.
Вопрос для общей оценки
Площадь, покрывающая прямоугольную область, задается набором координат x и набором координат y его узлов. Разместим эти значения в двух таблицах:
| XSIT | YSIT |
| x | y |
| 4260 | 5480 |
| 4265 | 5485 |
| 4270 | 5490 |
| 4275 | 5495 |
| 4280 | 5500 |
| 4285 | 5505 |
| 4290 | 5510 |
| 4295 | 5515 |
| 4300 | 5520 |
| 4305 | |
| 4310 | |
| 4315 | |
| 4320 |
Таб. 6: определяется
Все узлы сети затем задаются комбинациями «каждый из X с каждым из Y».
Для расчета оценок в узлах можно использовать метод обратного расстояния, в котором оценочное значение в узле P определяется соотношением
 | (2) |
где i проходит через все известные точки со значениями M i и r i — расстояние i-й известной точки от узла P.
Создание таблицы со всеми узлами сети и оценками в них будет производиться запросом
ВЫБЕРИТЕ x, y,
СУММ (индекс/((x-x0)^2+(y-y0)^2)) / СУММ (1/((x-x0)^2+(y- y0)^2)) AS оценка
ИЗ xsit, ysit, индексы c, позиция d
В ТАБЛИЧНЫЕ оценки
ГДЕ c.locality = d.locality
ГРУППИРОВАТЬ ПО x, y
ПОРЯДОК ПО х, у
Результирующая таблица имеет вид
| ОЦЕНКА | ||
| X | Y | ОЦЕНКА |
| 4260 | 5480 | 35,85 |
| 4260 | 5485 | 35,61 |
| 4260 | 5490 | 35,26 |
| 4260 | 5495 | 34,19 |
| 4260 | 5500 | 32,62 |
| 4260 | 5505 | 32,42 |
| … | … | … |
Таб. 7: Оценки в узлах sнтм
и на самом деле содержит все 13 x 9 = 117 значений узлов. Затем эта таблица может быть обработана непосредственно системами реляционных баз данных (Oracle, Access, Fox) и процессорами электронных таблиц (Lotus, Excel) ипутем открытия или импорта в специализированные системы (ГИС, Surfer, картографические системы и т.д.).
Обсуждение, закрыть
В статье указывалось на запущенный, но дешевый и быстрый метод обработки данных и предварительной обработки без необходимости покупки и установки дорогостоящего специализированного программного обеспечения. Преимуществом является стандартизированное ведение данных в обычно используемых таблицах систем реляционных баз данных (файлы с расширением .DBF в компьютерной системе DOS). Их можно без проблем использовать напрямую (или, по крайней мере, без проблем перенести) на все коммерчески успешные специализированные системы.
Следующее изображение подтверждает это. Таблица ESTIMATES была открыта в Excel и построена в виде пространственного графика (рис. 3).
Рис. 3: Оценки значений на поверхности
Таким же образом таблица INDEX может быть дополнительно обработана, например, в числовом и графическом виде. системой Surfer, как показано на рис. 4.
Рис. 4: Пример обработки результата запроса в виде топографической карты
Историческая перспектива
Эта статья была создана в середине 1999 года и переработана в середине 2016 года, то есть спустя 17 лет. За это время развивалось программное обеспечение, но в основном аппаратное обеспечение. Интересно, что софт менялся гораздо менее явно по сравнению с железом. Конечно, были созданы новые программные блоки, охватывающие различные области жизни и науки. Однако программное обеспечение, пережившее конкуренцию, более или менее сохранило свою логическую сущность. В связи с увеличением производительности оборудования и более совершенной средой операционных систем были добавлены дополнительные вычислительные функции, например, других типов. вывод, общение с пользователем было адаптировано под интерфейс — но суть осталась.
В контексте данной статьи это можно задокументировать следующим образом. на более вариативном продукте Surfer от Golden Software. Система баз данных Fox теперь называется Microsoft.Visual Fox, но все, что было описано выше, работает в нем без изменений. Даже упомянутые команды самого языка запросов SQL можно использовать в других СУБД после незначительных модификаций. Однако, что существенно изменилось, так это огромное увеличение скорости обработки.
Статья изначально заканчивалась следующими абзацами. В 2016 году приведенные в них данные, конечно, совершенно бессмысленны. Однако автор считает, что такой взгляд на прошлое может быть не только ностальгическим, но и указывать на тенденции будущего. Просто для иллюстрации — описываемая задача занимает очень трудно измеряемую долю секунды в 2016 году.
А теперь исходный текст 1999 года:
В заключение следует изменить скорость обработки. Показанный здесь первый запрос SELECT (созданная таблица INDEX) совершенно беспроблемный, он выполняется последовательно, и даже тысячи данных не критичны с точки зрения времени. С другой стороны, запрос SELECT для обнаружения данных на поверхности уже в принципе квадратично зависит от количества рабочих осей.
На следующем рисунке показана зависимость времени расчета от количества данных (=здесь местоположений) и от плотности квадратной сети. Расчет производился на компьютере класса ПК с процессором Pentium 150MHz, 64MB встроенной памяти — иными словами, вполне средний компьютер осенью 1999 года. Обычный FoxPro 2.0, работающий под Windows 95, служил RDBS.
Рис. 4: Расчетное время
Для интереса ниже приведена таблица времени расчета на одном компьютере для 70 x 70 и 10 сайтов с разными версиями RDBS в разных средах. Зависимость от времени для разного количества данных и разной плотности сети пропорциональна рис. 4.
