Обновление справочника ФИАС (+)
0 (0)
Обновление справочника ФИАС (+) ( Александр 03.04.2018 01:22 )5(1)Кто как обновляет данный справочник?
Обновление с домами (а без них никак, т.к. почтовые индексы) занимает 4-5 часов. При этом полностью останавливается работа в АБС.
Обновления по 2 раза в неделю. Приходится грузить по всем регионам, т.к. не угадаешь какой понадобится.
>> Ответить- КЛАДР ( Outcast 04.04.2018 09:50 )5(1)загружаю пока dbf КЛАДР, благо пока обновляют
загрузка занимает около часа новый snp.dbt стал весить ~3Гб, до увеличения структуры в связи с ФИАС 1,8Гб
Что касается ФИАС грузить его в один snp.dbt не самая хорошая идея у RS.
Сколько он у вас весит после загрузки с домами?
>> Ответить- Полный вес (+) ( Александр 04.04.2018 10:25 )5(1)
- На 12-м первазиве есть такая интересная штука - дефрагментатор ( Волшебник 04.04.2018 14:00 )5(1)Сейчас тестируем 12-й первазив и данный механизм в том числе.
После дефрагментации база из ~3 гигов стала 1.8Гб
Причем дефрагментировать можно на горячую, прям при использовании базы РС-банком.
После дефрагментации кстати и скорость доступа к базе возрастает, за счет упорядочивания записей по видимому.
В целом уменьшение объема базы составляет от 30 до 50%, в зависимости от первоначальной фрагментации и размера неиспользуемого пространства в базе данных.
Интересно было бы посмотреть, насколько уменьшится snp.dbt с данными ФИАС.
Ну и еще надо выяснить у РС одобряют ли они вообще использование дефрагментации для своего продукта, хотя я не выявил ничего подозрительного - наоборот только скорость возросла.
Ну, это было все лирическое отступление, а по существу вопроса хотелось бы спросить - а зачем обновляться два раза в неделю, если на сайте фиас даже рекомендовано это делать раз в неделю, а по факту и того реже можно.
Ну и по поводу обновления - РС писал что только первое обновление с домами будет занимать больше суток, а дальнейшие обновления независимо от того с домами или без будут выполняться быстро. Сам не проверял правда.
Но если там все так плохо, то я вижу только два выхода:
1. Обновляться на тестовом сервере и перекладывать на реал обновленные базы.
2. Сделать ход конем - проанализировать свои справочник клиентов на предмет наиболее часто используемых регионов и грузить каждую неделю только их. Вряд ли их будет больше 4-5, если только у вас не многофилиальный розничный банк. А все остальные регионы загружать раз в месяц-два-три или по необходимости.
Как то так пока мыслю.
После проведения тестовой загрузки может еще какие идеи будут.
Кстати, в каком формате справочник ФИАС качать? В dbf или в xml?
>> Ответить- а зачем обновляться два раза в неделю (+) ( Александр 05.04.2018 01:10 )5(1)Дельта обновление скачивать 20-40Мб, полная база порядка 4-5 Гб.
Если раз в неделю обновлять, то это или каждый раз заново грузить полную базу.
Одна дельта у нас обновляется 4-5 часов (32 Гб RAM, Raid10). Самые тормоза в финальной стадии - сопоставление записей.
Тему в саппорт создал, может разработчики что придумают. Настоящая реализация тупо в лоб никуда не годится.
>> Ответить- Т.е. вот это несколько не соответствует действительности? ( Волшебник 11.04.2018 11:43 )5(1)Not specified
>> Ответить- пардон - ткнул ентер случайно :) ( Волшебник 11.04.2018 11:44 )5(1)
Первоначальная полная загрузка ФИАС (с домами и квартирами) занимает более 2-х суток, поэтому рекомендуется с помощью переменной реестра MVODB\СУБЪЕКТ\КЛАДР\ИМПОРТ ДОМОВ И КВАРТИР отключать загрузку домов и квартир (в этом случае полная загрузка занимает около часа), либо загружать данные по отдельным регионам. Последующие загрузки обновлений (с домами или без) занимают время в пределах получаса.
Обновления у вас грузятся не полчаса, а 4-5?
>> Ответить- Без домов (+) ( Александр 12.04.2018 01:11 )5(1)обновление занимало действительно не более 20 минут. Теперь с домами занимает 4-5 часов (причем полностью останавливается вся работа в АБС, база ложится).
Пока идет загрузка работать можно, а в конце начинается сопоставление записей... и все.
Причем сервер до этого не испытывал проблем с производительностью. Сейчас докупаем еще памяти к 32 Гб установленным, посмотрим как будет.
>> Ответить- но у нас Pervasive 11, может с 12 быстрее будет. (-) ( Александр 12.04.2018 01:14 )5(1)Not specified
>> Ответить - Сейчас докупаем еще памяти к 32 Гб установленным, посмотрим как будет ( Волшебник 12.04.2018 11:10 )5(1)Лучше не будет.
В общем, загрузка полной базы ФИАС с домами, но без квартир, на сервере с 64 гигагми оперативы, двумя физическими 8-миядерными процессорами (32 логических ядра в сумме), дисковым массивом RAID 10 из дисков со скоростью вращения 15к. заняла 8 часов 12 минут и 23 секунды.
При этом при сопоставлении записей база так же легла - терминалку открыть нереально.
После загрузки базы выдало 148 ошибок такого типа:
Для записи 000d1736-096c-4230-98ca-cf0b780b2395//120020005090003 не найдена вышестоящая запись по PARENTGUID = 568515c0-d3ca-4db3-b81d-6105f2d9e5f5
Завтра выйдет дельта - посмотрю сколько будет она грузиться с домами.
И да - база snp.dbt после импорта ФИАС стала весить 28 гигабайт - это почти половина от всего объема базы, который был у нас до этого. А если из того объема вычесть оперлог - то и больше половины. В общем, база выросла на треть почти в итоге, после загрузки данных ФИАС.
Это действительно никуда не годится!
>> Ответить- И кстати, она почему то не дефрагментируется ( Волшебник 12.04.2018 13:22 )5(1)
- Получилось дефрагментировать ( Волшебник 13.04.2018 13:32 )5(1)
