Δεν είναι σπάνιες οι φορές που χρειάζεται να μεταφερθούν δεδομένα από ένα πίνακα σε ένα άλλο οι λόγοι αρκετοί όπως table archiving, table partitioning κ.α.

Όταν οι εγγραφές είναι λίγες (<10000) ένα απλό INSERT SELECT statement είναι η εύκολη λύση με αρκετά καλό χρόνο απόκρισης και κάνεις μας δεν σκέφτεται κάτι άλλο εκτός από το να έχει όσο το δυνατό μικρότερο locking impact.

Τι γίνεται όμως όταν έχεις να μεταφέρεις δεδομένα που είναι πολλά;

Πρόσφατα χρειάστηκε να κάνω ένα table partitioning σε ένα πίνακα που είχε περίπου 1B rows σε ένα αρκετά καλό infrastructure.

Εξαρχής ήμουν πεπεισμένος για το ποια είναι η βέλτιστη διαδικασία και με αυτή ξεκίνησα αλλά ήθελα να δω και τις συμπεριφορές των άλλων περιπτώσεων.

Θα πρέπει να επισημάνω επίσης ότι σε τέτοιες διαδικασίες πέρα από τον βασικό σκοπό που είναι η μεταφορά των δεδομένων και του χρόνου που θα χρειαστεί είναι και το πόσο χώρο θα χρειαστεί το transaction log και το όσο το μικρότερο δυνατό locking impact.

Για τις μετρήσεις μου πήρα τα δεδομένα ενός μήνα που ήταν περίπου στα 20Μ rows και εκτέλεσα τρία σενάρια.

Το ένα ήταν με απλό INSERT SELECT το άλλο με ένα SSIS package και το άλλο κάνοντας χρήση του BCP και τα αποτελέσματα φαίνονται παρακάτω.

Θα πρέπει να επισημάνω ότι δεν υπήρχαν απαιτήσεις transformation καθώς το BCP σε αυτή την περίπτωση έχει περιορισμένες δυνατότητες σε σχέση με τις άλλες λύσεις.

Τέλος να πως ότι για να έχω τον καλύτερο έλεγχο της διαδικασίας με το BCP έκανα export/import τα δεδομένα ανά μήνα και όλη διαδικασία δεν πήρε πάνω από 15 ώρες καθώς ήταν 60 μήνες.

//antonch