Обмен XML (выписки из кадастровой)

Gan, ANAT01, куда послать свои выписки по кварталам чтобы их включили в обмен через BitTorrent Sync?
Ну и меня к раздаче/скачиванию всего "богатства" добавили?

 

Свои выписки можете отправить на freexml@yandex.ru
Для скачивания всего "богатства" в программе битторентсинк нажмите на "ввести ключ" и укажите BUT3FQ23W7IGM42O2JUXFJM3JAFHN5JU5
Вся база в архивах 7z. (Для распаковки понадобится архиватор 7z)
Сейчас все работает так сказать в пробном режиме.

 

данных не жалко. только вопрос:я заказал кпт для работ-скинул вам-провел работы-кпт изменился. кому нужен не правильный?

 

геоволк, я писал на прошлой странице... ДДЗ, генпланы, проекты планировок и т.п. по кадастрам удобно сажать.
Для проведения статистики, там +/- участок - не важно.
Есть ещё задачи по выбору участков, определению землепользователей при проектировании линейных объектов, хотя бы примерно понять перечень пересекаемых лиц. Ну а наличие ЗОУИТ - помощь при выявлении коммуникаций при изысканиях. Пользы - вагон.

 

Скиньте на почту!
Про тех кто это использует могу только сказать:
Не знаю кто они, но апельсины xml'ки любят

 

Выкроил день позаниматься "нашей базой" и провел, так сказать, аудит данных в ней.
В итоге на сегодня в ней
- данных КПТ ~9000 файлов
- данных КВЗУ ~2000 файлов
- данных ЕГРП ~100 файлов
(по крайней мере это те файлы что у меня есть в наличии. из-за различия версий выписок не получается выложить их все. Выкладываются только 8ой версии и похожие по заголовкам)

Столкнулся с проблемой, что парсер на php не может обработать файлы больше 20мб из за недостатка памяти (сейчас оперативки 3Гб).
Это были пробные наскоки и как появится время попробую поточные парсеры.

PHP мне принципиален, т.к. завязываю на нем все управление данными (использую фреймворк laravel)
Сейчас он используется для задач по поиску и конвертированию кпт'шек, например:
php artisan kpt:search 66:12:0100201
php artisan kpt:convert --type=mif 66:12:0100201
и т.д.

Надеюсь, что хватит сил и времени допилить задуманное!

 

немного не разобрался, как скачать только интересующий регион, поэтому скачал все, что было ... :(
все никак времени и ресурсов (нормального интернета) нет, чтобы свои выписки выложить...

 

adon73, засылайте авторам сайта и обмена. В этом и суть - всё для всех.

 

В раздаче есть файл "Инструкция.txt" - там все написано о том как качать только интересующие регионы.
Смысл в том, чтобы указать все ненужное в файле IgnoreList (он находится в папке .sync директории куда идет загрузка раздачи)

Тот регион который вам нужен пометьте "решеткой" # или удалите из списка.

IgnoreList (раскрыть) IgnoreList (свернуть)

01*.7z
02*.7z
03*.7z
04*.7z
05*.7z
06*.7z
07*.7z
08*.7z
09*.7z
10*.7z
11*.7z
12*.7z
13*.7z
14*.7z
15*.7z
16*.7z
17*.7z
18*.7z
19*.7z
20*.7z
21*.7z
22*.7z
23*.7z
24*.7z
25*.7z
26*.7z
27*.7z
28*.7z
29*.7z
30*.7z
31*.7z
32*.7z
33*.7z
34*.7z
35*.7z
36*.7z
37*.7z
38*.7z
39*.7z
40*.7z
41*.7z
42*.7z
43*.7z
44*.7z
45*.7z
46*.7z
47*.7z
48*.7z
49*.7z
50*.7z
51*.7z
52*.7z
53*.7z
54*.7z
55*.7z
56*.7z
57*.7z
58*.7z
59*.7z
60*.7z
61*.7z
62*.7z
63*.7z
64*.7z
65*.7z
66*.7z
67*.7z
68*.7z
69*.7z
70*.7z
71*.7z
72*.7z
73*.7z
74*.7z
75*.7z
76*.7z
77*.7z
78*.7z
79*.7z
80*.7z
81*.7z
82*.7z
83*.7z
84*.7z
85*.7z
86*.7z
87*.7z
88*.7z
89*.7z
90*.7z
91*.7z
92*.7z
93*.7z

 

Добрый день! А есть там КПТ-шки по Крыму?

 

Yar_26, нет.

 

Прислали выписки XML. Архив около 600 мб.
В архиве около 10000 тысяч файлов, в том числе различный хлам вроде файлов Mapinfo, картинок (jpeg, tif), PDF-файлов и прочее. Все в папках и подпапках различной структуры.

Для добавления в базу потребовалось "отделить зерна от плевел". В этом очень выручает консоль linux.
Поместив все файлы в папку alldata натравливаем на нее find для поиска и вытягивания всех XML и SIG файлов в папку unsorted

Код:

find ./alldata -type f -iname "*.xml" -o -iname "*.sig" -exec mv {} unsorted/ \;

,далее там могли остаться архивы и другие файлы. Чтобы не лазать по папкам переместим все файлы в папку tmpdata и вручную посмотрим остатки.

Код:

find ./alldata -type f -exec mv {} tmpdata/ \;

т.к. есть вероятность того что одинаковые файлы могли называться по разному (например выписка была в формате doc_32432423.xml, а человек положил ее копию в другое место и назвал 73-16-0000000.xml), а так же есть вероятность, что фалы с расширением XML - вовсе не xml файлы, то натравим на папку unsorted скрипт
В итоге получим все валидные xml'ки без дубликатов в папке xml. К слову изначальный архив похудел после обработки с ~600мб до ~150мб.

Внимание! Перед всеми манипуляциями сделайте копию исходных данных, чтобы потом не пришлось долго и мучительно откусывать себе пальцы.

 

Количество файлов по типу выписки

Количество	Тип
1	EGRP/Reestr_Extract_Object/03/Common.xsl
1	EGRP/Reestr_Extract_Object/04/Common.xsl
2	GKN/KPT/09/common.xsl
2	GKN/Decision/01/common.xsl
3	GKN/KVOKS/01/common.xsl
7	GKN/KPOKS/02/common.xsl
7	GKN/RefusalByDecision/01/common.xsl
9	GKN/Vidimus/06/common.xsl
12	GKN/Vidimus_KP/04/common.xsl
18	GKN/Vidimus/03/common.xsl
30	GKN/RefusalNoData/03/common.xsl
37	GKN/Vidimus_KP/03/common.xsl
98	GKN/KPT/01/common.xsl
137	EGRP_FIR/Reestr_Extract_Object/03/Common.xsl
1102	GKN/Vidimus/05/common.xsl
1938	GKN/Vidimus/04/common.xsl
4308	GKN/KPT/07/common.xsl
8142	GKN/KPT/08/common.xsl

Ссылка на полный архив файлов здесь. (размер архива 800мб, после распаковки 10Гб !!!)
Не забывайте присылать XML-выписки на freexml@yandex.ru

PS: Потерял скрипты сортировщики/упаковщики, поэтому пока что данные в раздаче не обновляются.

 

--- Сообщения объединены, 26 мар 2015, Оригинальное время сообщения: 26 мар 2015 ---

Какие данные должны быть в раздаче?
Я считаю, что КПТ и моооожет быть КВЗУ. Все остальное пустить под нож.

 

ЕГРП можно оставить...

 

Мда, весьма не однородно. жадничают кадастровые инженеры. Не понимаю, ведь всё равно через пару-тройку месяцев КПТ устаревает и нужен новый.

По моему вполне достаточно.
ЕГРП устаревают ещё быстрее чем КПТ и выписки.

 

Обновил раздачу (Убрано все кроме КПТ, только самые "свежие")

Только не знаю как. Или префикс ставить (EGRP_66-05....) или отдельной раздачей раздавать.

С упаковкой в архивы думаю завязывать надо... Упаковка базы заняла 40 минут (Core i3, SSD, 16GBRAM)
К тому же из-за пары новых файлов перепаковывать затратно, да и трафика много уходит на обновление архива.

 

ANAT01, нужно как-то тему распространять, залежи у людей есть, особенно работающих по конкретной местности.
Я не вижу пользы, кроме как контурная основа для привязки ДДЗ и белее-менее свежей статистики при анализе территорий. Обмен полезен всем кто касается кадастра опосредованно при работе в какой либо местности без акцентирования работ для кадастра. Жаль сам не богат, также сижу в одном районе, базой владею, но не XML.
Знаю, что многие запрашивают районы целиком для своих работ, но не "светят" из жадности, всё же получение стоит десятки тысяч рублей.

 

ANAT01, то, что я выложил на http://kpt.kadnet.ru/ за 2014 г есть смысл вам присылать? Или данные оттуда есть в вашей обновлённой раздаче?

 

С данным сайтом никак не связан, поэтому не знаю что там есть.
Присылайте. Пока что место на харде и безлимитный интернет позволяют принимать все.
К тому же очистка от дубликатов данных происходит довольно быстро (см. на несколько сообщений выше)