Добро пожаловать!

Войдите или зарегистрируйтесь сейчас!

Войти

Обмен XML (выписки из кадастровой)

Тема в разделе "Исходные данные", создана пользователем ANAT01, 23 апр 2014.

?

У меня есть xml данные запросов и я :

  1. поделюсь ими, мне не жалко

    91,6%
  2. оставлю у себя, пусть кто хочет сами делают запросы и платят деньги

    2,1%
  3. отпишусь в комментариях

    6,3%
  1. stavr

    Форумчанин

    Регистрация:
    8 окт 2010
    Сообщения:
    633
    Симпатии:
    320
    Адрес:
    Екатеринбург
    Vict0r, вы КПТ закажите так "за дешево" попробуйте. А по вашей ссылке на архив прямо написано, что там не далеко не 100% кварталов хранится.
     
    #61
  2. ANAT01

    Форумчанин

    Регистрация:
    20 янв 2011
    Сообщения:
    428
    Симпатии:
    288
    Тот неловкий момент, когда "Бесплатный" - не значит "свободный".::biggrin24.gif:: Как отменят баллы, так цены им не будет. А еще есть kadnet.ru, где так-же часть выписок в публичном доступе. Больше велосипедов хороших и не очень!
     
    #62
    -=13=- нравится это.
  3. Evgen80

    Форумчанин

    Регистрация:
    21 апр 2013
    Сообщения:
    204
    Симпатии:
    46
    На kadnet.ru довольно мизерная часть представлена КПТшек....В свое время они тоже за баллы КПТэхи собирали....собирали собирали....потом решили что все, нормально хапнули, можно эти же кптшки, которые пользователи загружали, им же и продавать...Кароче какое то время назад попытался я качнуть кптэх, и хоп...бабла запросили...Вот я удивился такой безразмерной щедрости...типа 200 р заплатите, подписавшись на месяц...
    Сейчас попробовал, кптэхи скачиваются без бабла....видимо не поперла 200 рублевая подписка...и опять отдают бесплатно...
    Хотя может и не стоит обвинять предприимчивых товарищей с kadnet.ru...в инете никто никому ничего не должен и не обязан :)))
     
    #63
    Tail565 нравится это.
  4. semk

    Форумчанин

    Регистрация:
    20 ноя 2012
    Сообщения:
    196
    Симпатии:
    26
    Здравствуйте коллеги! Установил демо версию Арго7. Там есть возможность импорта кварталов, ЗУ, и ОКС. Можно все сразу, или только то, что надо. Это не КПТ конечно, но для схем вполне подходит.
     
    #64
  5. vorph

    Форумчанин

    Регистрация:
    18 авг 2010
    Сообщения:
    446
    Симпатии:
    77
    #65
  6. ANAT01

    Форумчанин

    Регистрация:
    20 янв 2011
    Сообщения:
    428
    Симпатии:
    288
    На днях выложу архив выписок в веб, с поиском по кад.номеру
    По след. регионам: 55, 58, 59, 66, 67, 72, 74, 89

    Для актуальзиции выписок в архиве присылайте ваши КПТ на freexml@kadata.ru

    Скриншот (раскрыть)

    [​IMG]
     
    #66
  7. ANAT01

    Форумчанин

    Регистрация:
    20 янв 2011
    Сообщения:
    428
    Симпатии:
    288
    #67
    Наташонок нравится это.
  8. Dmit_ry

    Регистрация:
    8 фев 2017
    Сообщения:
    4
    Симпатии:
    0
    Привет. Какие еще регионы есть?
     
    #68
  9. ANAT01

    Форумчанин

    Регистрация:
    20 янв 2011
    Сообщения:
    428
    Симпатии:
    288
    Есть еще какие-то, но их объем/важность меньше опубликованных

    Всего (раскрыть)

    101M 70
    113M 23
    12M 16
    12M 75
    137M 86
    14M 34
    14M 36
    14M 62
    1,5G 66
    1,6G 58
    16M 77
    17M 73
    188M 50
    18M 65
    198M 64
    19M 25
    20M 22
    20M 24
    20M 39
    211M 76
    21M 52
    224M 61
    22M 53
    22M 57
    28M 13
    28M 26
    28M 45
    2,9G 72
    3,1M 17
    31M 71
    32M 31
    3,5M 01
    3,5M 08
    36K 10
    372M 47
    372M 89
    37M 38
    37M 68
    384K 21
    396K 44
    39M 28
    3,9M 48
    4,0M 81
    4,1M 56
    43M 14
    440M 74
    45M 32
    460M 59
    5,2M 04
    540K 07
    560K 43
    5,6M 60
    571M 00
    6,2M 27
    6,2M 37
    6,5M 05
    65M 54
    693M 67
    71M 33
    728K 46
    7,4M 35
    7,5M 19
    776K 30
    77M 02
    792K 11
    7,9M 40
    83M 42
    8,4M 63
    853M 55
    864K 03
    9,1M 69


    Постараюсь на неделе опубликовать присланные с посленего клича
    Опубликованы те, объем которых более весом. Бесплатное место на файловом хостинге ограниченно, а платить за доп.объем (хотя сумма в районе нескольких сотен рублей в год) из своего кармана мне не очень хочется. Сейчас потолок в 10 Гб.

    Сейчас может пригодится КИ которые работают с КТП, пока новые не выдали.
    В любом случае можно использовать для геокодирования и т.п., т.к. аналогичных бесплатных выгрузок я не встречал.

    В любом случае присылайте свои КПТ на freexml@kadata.ru, после появления КПТ из ЕГРН они уж точно для кадастровых работ не пригодятся, однако как набор данных оно все равно интересно. Не жоптесь!
     
    #69
    Последнее редактирование: 10 фев 2017
  10. Zheka1976

    Форумчанин

    Регистрация:
    4 фев 2012
    Сообщения:
    293
    Симпатии:
    99
    Адрес:
    Богородский район
    А как увидеть то, что по региону залито? Чтобы не дублировать
     
    #70
  11. ANAT01

    Форумчанин

    Регистрация:
    20 янв 2011
    Сообщения:
    428
    Симпатии:
    288
    По идеи если не присылали, то дубликатов не может и быть т.к. выписки по оному кварталу за разные даты - это разные выписки.
    В любом случае дубликаты удаляются автоматом.
     
    #71
  12. ANAT01

    Форумчанин

    Регистрация:
    20 янв 2011
    Сообщения:
    428
    Симпатии:
    288
    Починил выдачу на сайте архива
    Может кто в курсе: Есть ли какая официальная база дынных (табличка) соответствия кадастровых районов/округов кодам КЛАДР (ФИАС)?!
     
    #72
  13. Smopuim

    Форумчанин

    Регистрация:
    11 фев 2013
    Сообщения:
    196
    Симпатии:
    102
    Адрес:
    Rostovnadonu, Rostovskaya Oblast', Russia
    А можешь поподробнее о проекте? На чем сайт писал? Django/Python? Скрипты на чем? БД создаешь для списка КПТ? Анализируешь ли присланные XML на соответствие схеме? Если да то как? Minidom?

    Блин, одни вопросы получились)

    Спасибо тебе, о добрый человек только за то, что другим стараешься помочь! И не слушай тут некоторых людей (земляков) с фотографиями. Тема начатая тобой - хорошая. Давно у меня идея была эта, да все руки не доходили. Дотянул, пока Батищев не запустил у себя. Обмен помогает иметь представление о кадастровом делении особенно для больших линейных объектов. Откровенно позволяет экономить кучу бабла, особенно с последним подорожанием до 300 р. Правда не актуальная база у тебя, себе ничего не взял, но восхищен скоростью работы фильтра)). Нужно автоматизировать систему по загрузке данных.

    ИМХО загружать только файлы с подписями и проверкой на оригинальность. А то, нетрудно понять, что при желании любую КПТ можно подправить или хлама другого загрузить. Да и заказчики часто просят подпись. Нужны качественные данные! Двух зайцев убьешь.
     
    #73
  14. ANAT01

    Форумчанин

    Регистрация:
    20 янв 2011
    Сообщения:
    428
    Симпатии:
    288
    На самом деле ВСЕ намного проще. И почти обо всем уже рассказывалось на форуме.
    Основная цель проекта - собрать и "открыть" доступ к пространственным данным (навеяно гислабом, ОСМ и вообще opensource идеями), а так же минимизировать мое затрачиваемое время (и деньги) на проект.

    Исходя из этих целей и подбирались инструменты:

    1.1. Сбор данных по почте. С небольшой (несколько раз в год) периодичностью они скачиваются и складываются в одно место. При этом абсолютно некритично в каком они виде и что это за данные.

    1.2. На скаченное натравливаются скрипты на bash и python - чтобы отделить мусор от полезных данных. Здесь идет распаковка вложенных архивов, прохождение по дереву каталогов, в общем все возможное чтобы достать xml и sig (определяется по сигнатуре файла) файлы, проверяется . Обо всем с чем не справились скрипты выводится в лог и там руками можно посмотреть, что не удалось обработать и стоит ли обрабатывать. у всех файлов xml считаются md5 hash и складываются вместе, таким образом исключается дублирование данных на самом раннем этапе обработки.

    1.3. У xml читаются заголовки файла, чтобы определить что за данные в файле (КПТ, КВЗУ и тд). Далее содержание КПТ в виде blob помещается в sqlite базу в cжатом виде, а также заносятся идентификатор схемы, дата выписки, хэш и тд.

    2.1. Из sqlite базы делается выгрузка файлов в виде дерева каталогов (одно время они рассылались на почту людям), в котором все разложено по округам, районам

    2.2. Это дерево каталогов загружается в доступное облако, на пример Amazon, Yandex в общем любое которое имеет API (раньше был Аmazon, сейчас Yandex Disk). Тут смысл чтобы хранить несколько десятков гигабайт данных в интернет как можно дешевле.

    3.1. Сайт получает от облака список всех файлов в виде json файла и с помощь javascript выводит ссылки на скачивание.
    На сайте самые простые и распространенные инструменты: php фреймворк silex, bootstrap css, jquery + datatable

    В общем то и все. Остальное мелочи и нюансы (docker контейнеры, tmpfs и тд)

    Были идеи сделать сделать все по красоте (пользовательская загрузка данных, аккаунты, подписи к xml) и даже есть какие-то наработки в эту сторону. Но все это требует больше ресурсов (как времени, так и денег), а исходя их количества полученного доната с сайта - оно все не оправдается, да и у меня есть другие хобби.
    К тому же в таком варианте все работает, все довольно просто и отказоустойчиво. Развернуть можно на любом компе и любом хостинге. Затраченные усилия окупились полученными скилами. ::biggrin24.gif::

    PS: Технически цифровые подписи есть где-то на половину данных, но не вижу смысла заморачиваться с их публикацией.
    Было бы у меня данных в 10-100 раз больше - можно было бы ковыряться и выкидывать без подписей, а так - чем богаты тем и рады. К тому же это сделано ради opensource и если кто-то хочет на этом зарабатывать - это его личная драма.
     
    #74
    Последнее редактирование: 7 июл 2017
    lsv1283 нравится это.
  15. Smopuim

    Форумчанин

    Регистрация:
    11 фев 2013
    Сообщения:
    196
    Симпатии:
    102
    Адрес:
    Rostovnadonu, Rostovskaya Oblast', Russia
    А есть наработки по обработкой python данных из xml? Ну на том же minidom для любой из схем Росреестра?

    А аккаунты вводить есть смысл, если как Батищев, баллами торговать, да и разгрузить сервер от огромных объемов передаваемой информации, если будут пользователи выкачивающие все подряд и надо будет ограничить объемы.

    ЗЫ: что сайт на bootstrap видел), но возможно для таких данных лучше вместо sqlite было подтянуть postgresql + postgis с дальнейшей возможностью показывать на карте квартал и информацию по нему и прочую графику. Ну это лишь мои мысли. Это тоже хобби, на которое до зимы не будет времени (сезон сейчас). Так, интересуюсь в целом, кто и как с бубном танцует)
     
    #75
  16. ANAT01

    Форумчанин

    Регистрация:
    20 янв 2011
    Сообщения:
    428
    Симпатии:
    288
    Когда-то копал в эту сторону (делал csv для выноса точек, dxf для autocad и jpeg - для визуального просмотра), но Росреестр наплодилось кучу схем и разбираться в них не хочется. К томе же я не программист и делать какой то программный продукт - не моя стезя.

    В моей схеме нет проблем с нагрузкой вообще (в этом и смысл отказа от работы сайта напрямую с БД и предподготовка данных на локальном компе), к тому же стоят некоторые ограничения на количество скачиваний в день.
    Баллы это все от лукавого. Понятно, что создатели таких систем пытаются оградиться от халявщиков и заставить пользователей вносить свою лепту, но это не путь опенсорса (хотя я и не истинный адепт последнего). В этом есть смысл если идти в сторону монетизации базы или продажи сопутствующего ПО, иначе считать кто сколько положил и сколько взял это по меньшей мере странно.

    Эммм... Лучше для чего?! И вообще для чего визуализировать архивные КПТ?! Составить конкуренцию росреестру с его публичкой?! ::biggrin24.gif:: К тому же для этого есть kadnet, у меня же совсем другая песня.
     
    #76
  17. ViruS_worm

    Форумчанин

    Регистрация:
    22 сен 2014
    Сообщения:
    61
    Симпатии:
    7
    внес свои 5 копеек
     
    #77
  18. ViruS_worm

    Форумчанин

    Регистрация:
    22 сен 2014
    Сообщения:
    61
    Симпатии:
    7
    +1
     
    #78
  19. ANAT01

    Форумчанин

    Регистрация:
    20 янв 2011
    Сообщения:
    428
    Симпатии:
    288
    Сегодня дошли руки до обновления базы данных Архива КПТ.
    Предыдущее обновление было практически ровно год назад.

    И вот немного информации по данным собранным за прошедший год:
    - Добавлено чуть более 10 тысяч выписок и теперь их количество перевалило за 22 тысячи.
    - Общий объем данных в несжатом виде чуть более 35Гб
    - Около 30 человек за это время прислало свои архивы (кто-то регулярно по немного, кто-то большим архивом).

    Получилась самая большая, публичная и бесплатная база архива КПТшек !!! (ну по крайней мере из известных мне)

    Благодарю всех кто писал фидбек и присылал данные!!!

    Сбор данных продолжается и вы все также можете прислать их на freexml@kadata.ru
     
    #79
    Grotesk, Major, ViruS_worm и ещё 1-му нравится это.
  20. kpec

    Регистрация:
    21 июн 2018
    Сообщения:
    1
    Симпатии:
    0
    А можно как то все одним файлом скачать?
    Или дать временный логин\пароль для ftp доступа
    Заранее спасибо!
     
    #80

Поделиться этой страницей

  1. Этот сайт использует файлы cookie. Продолжая пользоваться данным сайтом, Вы соглашаетесь на использование нами Ваших файлов cookie.
    Скрыть объявление