Cлонопотам по кличке osm2pgsql

Запустил импорт планеты в postgis, чтобы посмотреть покрытия для всех стран, но osm2pgsql за сутки планету не переварил. Эх, osm2pgsql такая большая заноза :(

Причем даже не сказать, что комп нагружен.

CPU 8%, рабочий диск 45%. 8% – это значит что одно ядро нагружено из 12, а про диск вообще не понятно. Кто кого сдерживает? где здесь узкое место? Поможет ли RAID, которым хвастают в на вики бенчмарках?:

Ладно, ждем вторые сутки.

UPD.

Чуть подшаманив с параметрами, и разумеется начав всё с начала, таки удалось заставить пройти импорт планеты за ~15 часов.

Выяснилось, что с ключом –flat-nodes, т.е. с отдельным временным файлом для кэширования nodes, работает в 10 раз быстрее (Еще интересный вопрос, в 10 раз быстрее чем что. чем хранить точки в оперативной памяти\postgis?)

1
2
3
4
5
6
7
8
osm2pgsql -d gis -U XXX -W --create --slim  -G --hstore --tag-transform-script z:\home\zkir\src\openstreetmap-carto\openstreetmap-carto.lua -C 0 --flat-nodes d:\nodes.bin --number-processes 8 -S z:\home\zkir\src\openstreetmap-carto\openstreetmap-carto.style -r pbf "d:\_planet.osm\planet-231211.osm.pbf"

2023-12-20 17:08:00  osm2pgsql version 1.10.0
Password:
2023-12-20 17:08:04  Database version: 14.10 (Ubuntu 14.10-0ubuntu0.22.04.1)
2023-12-20 17:08:04  PostGIS version: 3.2
...
2023-12-21 08:05:45  osm2pgsql took 53860s (14h 57m 40s) overall.

Теперь посмотрим, пройдут ли скрипты с генерализацией, и сколько это займет.