Innsetting av store mengder data i database?

[DrDoogie]

Hei!

 

Bruker nå Postgre<hvem er egentlig Hr. Post Gre?>SQL, og tenkte da å sette inn alle freedb-filene (eller, det vesentlige innholdet i dem) som jeg har på hd'en min.

 

Det er vel da en litt under 1M filer tror jeg... og i den forbindelse lurer jeg på hva den mest effektive (raskeste) måten for å liste opp filer, parse dem, sette dem inn i databasen etc. er.

 

Begynte da i min godtroenhet med:

find exec cat | sed >> heile_skiten

og hadde tenkt å jobbe videre med fila 'heile_skiten', men det tok litt mer tid enn jeg hadde forventet.

 

Noen tips?

[kilogram]

Dei fleste databasesystem har ein eksport til CSV (Comma Separated Values). Om du eksporterer til CSV og lagar ein tilsvarande database i PostgreSQL, vil du kunne importere det rett inn. Dersom du har mange tabellar kan dette derimot vere eit lite personlig h*lvete.

 

Veit ikkje om din tidligare database støtter eksport til SQL-statements, eller om det finns verktøy for det; men i så fall er dette eit svært godt alternativ.

[DrDoogie]

Ja... ok, nå dreier det seg altså om databasen freedb, som kan lastes ned og innstalleres på hd'en - som jeg har gjort.

 

Jeg trodde da ikke at jeg kunne 'telnet localhost 888' (freedb-dæmonen lokalt) og gi den en kommando for å schpy ut alt i ei diger fil... men når jeg tenker meg om (doh!) så kan jeg vel egentlig bare parse tar-ballen som freedb kommer i, og på den måten unngå alle filene?

 

Samt at det viser seg at postgre har en COPY funksjon for store mengder data.

 

Case closed.