Dlaczego trudno to odtworzyć

Zasób nie jest zrzutem jednej strony, lecz zbiorem 73 pojedynczo wywalczonych integracji, z których każda miała własne pułapki, pokonywane jedna po drugiej:

• Portale ucinające wyniki przy 2 000 rekordów na zapytanie — rozwiązane przez podział dzień × kategoria; odkryte dopiero po tym, jak naiwnie zbudowany zasób po cichu utracił 60 % rekordów.
• Portale blokujące adresy IP centrów danych — ruch przekierowano przez łącze prywatne.
• Stronicowanie zależne od sesji, kodowania ISO-8859-1, interfejsy, których sortowanie kłamie, kanały publikujące na nowo przy każdej zmianie statusu.
• Archiwa sięgające 2002 r. — części z nich same źródła już nie udostępniają. Tej historii nie da się pozyskać ponownie za żadną cenę.

Odtworzenie tego to nie tylko kwestia budżetu, lecz 18 miesięcy następujących po sobie odkryć — każdy portal ujawnia swoje pułapki dopiero w rzeczywistej pracy.

Jak to działa

Cały łańcuch — zbieranie, normalizacja, tłumaczenie, weryfikacja i publikacja — działa samodzielnie: ponad 50 zaplanowanych usług z rejestrowaniem błędów, modele odczytu odbudowujące się co noc, redakcja sygnałów pisana przez maszyny i przez maszyny krzyżowo weryfikowana oraz publiczny kanał na żywo pokazujący pracę samego systemu. Koszty infrastruktury: poniżej 100 € miesięcznie, ze wszystkimi składnikami. Koszt krańcowy kolejnego kraju: jedna integracja, nie zespół.

Struktura, nie tylko magazyn danych

Zamawiający znormalizowani w 19,3 mln ogłoszeniach; rozstrzygnięcia powiązane z przedsiębiorstwami z rejestrów (NIF, SIREN, CUI, EIK, Y-tunnus…); spójna klasyfikacja CPV w całym zasobie; kryteria kwalifikacji ustrukturyzowane dla 87 % otwartych postępowań powyżej progów; tłumaczenie tytułów jako osobna warstwa; cykle aktywności każdego zamawiającego, gotowe do prognozowania.