Обмен XML (выписки из кадастровой)

Vict0r, вы КПТ закажите так "за дешево" попробуйте. А по вашей ссылке на архив прямо написано, что там не далеко не 100% кварталов хранится.

 

Тот неловкий момент, когда "Бесплатный" - не значит "свободный". Как отменят баллы, так цены им не будет. А еще есть kadnet.ru, где так-же часть выписок в публичном доступе. Больше велосипедов хороших и не очень!

 

На kadnet.ru довольно мизерная часть представлена КПТшек....В свое время они тоже за баллы КПТэхи собирали....собирали собирали....потом решили что все, нормально хапнули, можно эти же кптшки, которые пользователи загружали, им же и продавать...Кароче какое то время назад попытался я качнуть кптэх, и хоп...бабла запросили...Вот я удивился такой безразмерной щедрости...типа 200 р заплатите, подписавшись на месяц...
Сейчас попробовал, кптэхи скачиваются без бабла....видимо не поперла 200 рублевая подписка...и опять отдают бесплатно...
Хотя может и не стоит обвинять предприимчивых товарищей с kadnet.ru...в инете никто никому ничего не должен и не обязан :)))

 

Здравствуйте коллеги! Установил демо версию Арго7. Там есть возможность импорта кварталов, ЗУ, и ОКС. Можно все сразу, или только то, что надо. Это не КПТ конечно, но для схем вполне подходит.

 

Посмотрите здесь: http://pbprog.ru/webservices/fir/, сервис постоянно обновляется.

 

На днях выложу архив выписок в веб, с поиском по кад.номеру
По след. регионам: 55, 58, 59, 66, 67, 72, 74, 89

Для актуальзиции выписок в архиве присылайте ваши КПТ на freexml@kadata.ru

Скриншот (раскрыть) Скриншот (свернуть)

 

Выложил здесь http://kadata.ru

 

Привет. Какие еще регионы есть?

 

Есть еще какие-то, но их объем/важность меньше опубликованных

Всего (раскрыть) Всего (свернуть)

101M 70
113M 23
12M 16
12M 75
137M 86
14M 34
14M 36
14M 62
1,5G 66
1,6G 58
16M 77
17M 73
188M 50
18M 65
198M 64
19M 25
20M 22
20M 24
20M 39
211M 76
21M 52
224M 61
22M 53
22M 57
28M 13
28M 26
28M 45
2,9G 72
3,1M 17
31M 71
32M 31
3,5M 01
3,5M 08
36K 10
372M 47
372M 89
37M 38
37M 68
384K 21
396K 44
39M 28
3,9M 48
4,0M 81
4,1M 56
43M 14
440M 74
45M 32
460M 59
5,2M 04
540K 07
560K 43
5,6M 60
571M 00
6,2M 27
6,2M 37
6,5M 05
65M 54
693M 67
71M 33
728K 46
7,4M 35
7,5M 19
776K 30
77M 02
792K 11
7,9M 40
83M 42
8,4M 63
853M 55
864K 03
9,1M 69

Постараюсь на неделе опубликовать присланные с посленего клича
Опубликованы те, объем которых более весом. Бесплатное место на файловом хостинге ограниченно, а платить за доп.объем (хотя сумма в районе нескольких сотен рублей в год) из своего кармана мне не очень хочется. Сейчас потолок в 10 Гб.

Сейчас может пригодится КИ которые работают с КТП, пока новые не выдали.
В любом случае можно использовать для геокодирования и т.п., т.к. аналогичных бесплатных выгрузок я не встречал.

В любом случае присылайте свои КПТ на freexml@kadata.ru, после появления КПТ из ЕГРН они уж точно для кадастровых работ не пригодятся, однако как набор данных оно все равно интересно. Не жоптесь!

 

А как увидеть то, что по региону залито? Чтобы не дублировать

 

По идеи если не присылали, то дубликатов не может и быть т.к. выписки по оному кварталу за разные даты - это разные выписки.
В любом случае дубликаты удаляются автоматом.

 

Починил выдачу на сайте архива
Может кто в курсе: Есть ли какая официальная база дынных (табличка) соответствия кадастровых районов/округов кодам КЛАДР (ФИАС)?!

 

А можешь поподробнее о проекте? На чем сайт писал? Django/Python? Скрипты на чем? БД создаешь для списка КПТ? Анализируешь ли присланные XML на соответствие схеме? Если да то как? Minidom?

Блин, одни вопросы получились)

Спасибо тебе, о добрый человек только за то, что другим стараешься помочь! И не слушай тут некоторых людей (земляков) с фотографиями. Тема начатая тобой - хорошая. Давно у меня идея была эта, да все руки не доходили. Дотянул, пока Батищев не запустил у себя. Обмен помогает иметь представление о кадастровом делении особенно для больших линейных объектов. Откровенно позволяет экономить кучу бабла, особенно с последним подорожанием до 300 р. Правда не актуальная база у тебя, себе ничего не взял, но восхищен скоростью работы фильтра)). Нужно автоматизировать систему по загрузке данных.

ИМХО загружать только файлы с подписями и проверкой на оригинальность. А то, нетрудно понять, что при желании любую КПТ можно подправить или хлама другого загрузить. Да и заказчики часто просят подпись. Нужны качественные данные! Двух зайцев убьешь.

 

На самом деле ВСЕ намного проще. И почти обо всем уже рассказывалось на форуме.
Основная цель проекта - собрать и "открыть" доступ к пространственным данным (навеяно гислабом, ОСМ и вообще opensource идеями), а так же минимизировать мое затрачиваемое время (и деньги) на проект.

Исходя из этих целей и подбирались инструменты:

1.1. Сбор данных по почте. С небольшой (несколько раз в год) периодичностью они скачиваются и складываются в одно место. При этом абсолютно некритично в каком они виде и что это за данные.

1.2. На скаченное натравливаются скрипты на bash и python - чтобы отделить мусор от полезных данных. Здесь идет распаковка вложенных архивов, прохождение по дереву каталогов, в общем все возможное чтобы достать xml и sig (определяется по сигнатуре файла) файлы, проверяется . Обо всем с чем не справились скрипты выводится в лог и там руками можно посмотреть, что не удалось обработать и стоит ли обрабатывать. у всех файлов xml считаются md5 hash и складываются вместе, таким образом исключается дублирование данных на самом раннем этапе обработки.

1.3. У xml читаются заголовки файла, чтобы определить что за данные в файле (КПТ, КВЗУ и тд). Далее содержание КПТ в виде blob помещается в sqlite базу в cжатом виде, а также заносятся идентификатор схемы, дата выписки, хэш и тд.

2.1. Из sqlite базы делается выгрузка файлов в виде дерева каталогов (одно время они рассылались на почту людям), в котором все разложено по округам, районам

2.2. Это дерево каталогов загружается в доступное облако, на пример Amazon, Yandex в общем любое которое имеет API (раньше был Аmazon, сейчас Yandex Disk). Тут смысл чтобы хранить несколько десятков гигабайт данных в интернет как можно дешевле.

3.1. Сайт получает от облака список всех файлов в виде json файла и с помощь javascript выводит ссылки на скачивание.
На сайте самые простые и распространенные инструменты: php фреймворк silex, bootstrap css, jquery + datatable

В общем то и все. Остальное мелочи и нюансы (docker контейнеры, tmpfs и тд)

Были идеи сделать сделать все по красоте (пользовательская загрузка данных, аккаунты, подписи к xml) и даже есть какие-то наработки в эту сторону. Но все это требует больше ресурсов (как времени, так и денег), а исходя их количества полученного доната с сайта - оно все не оправдается, да и у меня есть другие хобби.
К тому же в таком варианте все работает, все довольно просто и отказоустойчиво. Развернуть можно на любом компе и любом хостинге. Затраченные усилия окупились полученными скилами.

PS: Технически цифровые подписи есть где-то на половину данных, но не вижу смысла заморачиваться с их публикацией.
Было бы у меня данных в 10-100 раз больше - можно было бы ковыряться и выкидывать без подписей, а так - чем богаты тем и рады. К тому же это сделано ради opensource и если кто-то хочет на этом зарабатывать - это его личная драма.

 

А есть наработки по обработкой python данных из xml? Ну на том же minidom для любой из схем Росреестра?

А аккаунты вводить есть смысл, если как Батищев, баллами торговать, да и разгрузить сервер от огромных объемов передаваемой информации, если будут пользователи выкачивающие все подряд и надо будет ограничить объемы.

ЗЫ: что сайт на bootstrap видел), но возможно для таких данных лучше вместо sqlite было подтянуть postgresql + postgis с дальнейшей возможностью показывать на карте квартал и информацию по нему и прочую графику. Ну это лишь мои мысли. Это тоже хобби, на которое до зимы не будет времени (сезон сейчас). Так, интересуюсь в целом, кто и как с бубном танцует)

 

Когда-то копал в эту сторону (делал csv для выноса точек, dxf для autocad и jpeg - для визуального просмотра), но Росреестр наплодилось кучу схем и разбираться в них не хочется. К томе же я не программист и делать какой то программный продукт - не моя стезя.

В моей схеме нет проблем с нагрузкой вообще (в этом и смысл отказа от работы сайта напрямую с БД и предподготовка данных на локальном компе), к тому же стоят некоторые ограничения на количество скачиваний в день.
Баллы это все от лукавого. Понятно, что создатели таких систем пытаются оградиться от халявщиков и заставить пользователей вносить свою лепту, но это не путь опенсорса (хотя я и не истинный адепт последнего). В этом есть смысл если идти в сторону монетизации базы или продажи сопутствующего ПО, иначе считать кто сколько положил и сколько взял это по меньшей мере странно.

Эммм... Лучше для чего?! И вообще для чего визуализировать архивные КПТ?! Составить конкуренцию росреестру с его публичкой?! К тому же для этого есть kadnet, у меня же совсем другая песня.

 

внес свои 5 копеек

 

+1

 

Сегодня дошли руки до обновления базы данных Архива КПТ.
Предыдущее обновление было практически ровно год назад.

И вот немного информации по данным собранным за прошедший год:
- Добавлено чуть более 10 тысяч выписок и теперь их количество перевалило за 22 тысячи.
- Общий объем данных в несжатом виде чуть более 35Гб
- Около 30 человек за это время прислало свои архивы (кто-то регулярно по немного, кто-то большим архивом).

Получилась самая большая, публичная и бесплатная база архива КПТшек !!! (ну по крайней мере из известных мне)

Благодарю всех кто писал фидбек и присылал данные!!!

Сбор данных продолжается и вы все также можете прислать их на freexml@kadata.ru

 

А можно как то все одним файлом скачать?
Или дать временный логин\пароль для ftp доступа
Заранее спасибо!