sqlschool.gr logo

articles

Articles of SQLschool.gr Team

Fast copy data from table to table

Antonios Chatzipavlis
Sunday 20 August 2017

Δεν είναι σπάνιες οι φορές που χρειάζεται να μεταφερθούν δεδομένα από ένα πίνακα σε ένα άλλο οι λόγοι αρκετοί όπως table archiving, table partitioning κ.α.

Όταν οι εγγραφές είναι λίγες (<10000) ένα απλό INSERT SELECT statement είναι η εύκολη λύση με αρκετά καλό χρόνο απόκρισης και κάνεις μας δεν σκέφτεται κάτι άλλο εκτός από το να έχει όσο το δυνατό μικρότερο locking impact.

Τι γίνεται όμως όταν έχεις να μεταφέρεις δεδομένα που είναι πολλά;

Πρόσφατα χρειάστηκε να κάνω ένα table partitioning σε ένα πίνακα που είχε περίπου 1B rows σε ένα αρκετά καλό infrastructure.

Εξαρχής ήμουν πεπεισμένος για το ποια είναι η βέλτιστη διαδικασία και με αυτή ξεκίνησα αλλά ήθελα να δω και τις συμπεριφορές των άλλων περιπτώσεων.

Θα πρέπει να επισημάνω επίσης ότι σε τέτοιες διαδικασίες πέρα από τον βασικό σκοπό που είναι η μεταφορά των δεδομένων και του χρόνου που θα χρειαστεί είναι και το πόσο χώρο θα χρειαστεί το transaction log και το όσο το μικρότερο δυνατό locking impact.

Για τις μετρήσεις μου πήρα τα δεδομένα ενός μήνα που ήταν περίπου στα 20Μ rows και εκτέλεσα τρία σενάρια.

Το ένα ήταν με απλό INSERT SELECT το άλλο με ένα SSIS package και το άλλο κάνοντας χρήση του BCP και τα αποτελέσματα φαίνονται παρακάτω.


chart 1

chart 2

Θα πρέπει να επισημάνω ότι δεν υπήρχαν απαιτήσεις transformation καθώς το BCP σε αυτή την περίπτωση έχει περιορισμένες δυνατότητες σε σχέση με τις άλλες λύσεις.

Τέλος να πως ότι για να έχω τον καλύτερο έλεγχο της διαδικασίας με το BCP έκανα export/import τα δεδομένα ανά μήνα και όλη διαδικασία δεν πήρε πάνω από 15 ώρες καθώς ήταν 60 μήνες.


//antonch


Antonios Chatzipavlis

Antonios Chatzipavlis

Antonios Chatzipavlis is a highly experienced Data Solutions Consultant and Trainer. He has been working in the IT industry since 1988, holding various roles such as senior developer, IT Manager, Data & AI Solutions Architect and Consultant.

Since 1995, Antonios has focused on modern technologies and software development tools, primarily by Microsoft. He has specialized in Data & AI since 2000, with expertise in Microsoft Data Platform (SQL Server, Azure SQL Databases, Azure Synapse Analytics, Microsoft Fabric, Power BI, AI) and Databricks.

Antonios is also a Microsoft Certified Trainer (MCT) for over 25 years, has been recognized as a Microsoft Most Valuable Professional (MVP) in Data Platform since 2010 and he is in the Data Expert 40 Powerlist 2024 by Boussias. He is the co-founder and visionary behind XLYTiCA, a company dedicated to Data & AI solutions.

Episode

Task Flows in Microsoft Fabric

image

More Episodes...

Tip

Get Certified: Become a Fabric Data Engineer

More Tips...

Become a member

If you want to receive updates from us become a member to our community.

Connect

Explore

Learn

sqlschool.gr © 2010-2025 All rights reserved

This site uses cookies for operational and analytics purposes only. By continuing to browse this site, you agree to their use.