首页 > 大数据 > 正文

MySQL大数据量导入导出方法比较

2008-05-30 10:07:14  来源:IT专家网

摘要:本文详细介绍了MySQL大数据量导入导出的方法,并对其作了比较。
关键词: 数据库 MySQL

    硬件: Intel(R) Xeon(R) CPU 5130 @ 2.00GHz * 2, 4G RAM, 564G SAS

    软件: Red Hat Enterprise Linux AS release 4 (Nahant Update 4) 2.6.9 42.ELsmp (32-bit), MySQL 5.0.27-standard-log

    总记录数: 1016126, 每行平均大小 46822

    1. 导出测试

    1.1 导出成文本

    方法: SELECT * INTO OUTFILE '/backup/yejr.txt' FROM yejr;

    耗时: 3252.15 秒

    1.2 导出成 .sql 文件

    方法: mysqldump -t -n --default-character-set=latin1 test yejr > /backup/yejr.sql

    耗时: 2124 sec

    结论: 用 mysqludmp 导出数据是相对较快的方法.

    2. 导入测试

    2.1 导入 txt 文件

    方法: mysql test < /backup/yejr.txt

    耗时: 3317.62 sec

    2.2 导入 sql 文件

    方法: mysql test < /backup/yejr.sql

    耗时: 4706.618 sec

    结论:

    1. 用 load data 是较快的方法

    2. 大数据量情况下, 最好是创建好表之后, 同时也要创建好相关的索引. 虽然说没有索引时导入更快, 但是数据导入完成之后再创建索引总共的耗时比事先创建好了再导入要来的多多了.

    另外,如果是myisam表,则最好是导入之前先禁用表的索引,导完之后再启用;或者是一开始不创建索引,导完之后再创建,都会比导入的同时更新索引来的快很多.


第三十八届CIO班招生
国际CIO认证培训
首席数据官(CDO)认证培训
责编:

免责声明:本网站(http://www.ciotimes.com/)内容主要来自原创、合作媒体供稿和第三方投稿,凡在本网站出现的信息,均仅供参考。本网站将尽力确保所提供信息的准确性及可靠性,但不保证有关资料的准确性及可靠性,读者在使用前请进一步核实,并对任何自主决定的行为负责。本网站对有关资料所引致的错误、不确或遗漏,概不负任何法律责任。
本网站刊载的所有内容(包括但不仅限文字、图片、LOGO、音频、视频、软件、程序等)版权归原作者所有。任何单位或个人认为本网站中的内容可能涉嫌侵犯其知识产权或存在不实内容时,请及时通知本站,予以删除。