<font face="arial" size="2"><p style="margin:0;padding:0;">If you can't change the throughput of the MySQL server, any other tweaks elsewhere would probably make no difference.  If your client machine has a very slow NIC on an otherwise fast network, you could use NIC bonding to improve your throughput, but the bottleneck is more likely to be between AWS and your client</p>
<p style="margin:0;padding:0;"> </p>
<p style="margin:0;padding:0;">-----Original Message-----<br />From: "tid" <td@bloogaloo.co.uk><br />Sent: Monday, April 7, 2014 9:24am<br />To: "The mailing list for the Greater London Linux User Group" <gllug@mailman.lug.org.uk><br />Subject: [GLLUG] crossloading a mysql db - improvements to shell script?<br /><br /></p>
<div id="SafeStyles1396862415">
<div dir="ltr"><span style="font-family: arial,sans-serif; font-size: 13.333333969116211px;">Hi Folks, </span>
<div style="font-family: arial,sans-serif; font-size: 13.333333969116211px;">I'm seeking to improve a database crossload from one mysql server to another and am looking for any ideas / suggestions.</div>
<div style="font-family: arial,sans-serif; font-size: 13.333333969116211px;">Previously, the client was using :</div>
<div style="font-family: arial,sans-serif; font-size: 13.333333969116211px;">-------------------------------------------------</div>
<div style="font-family: arial,sans-serif; font-size: 13.333333969116211px;">dump fromserver db1 > file1.sql</div>
<div style="font-family: arial,sans-serif; font-size: 13.333333969116211px;">dump fromserver db2 > file2.sql</div>
<div style="font-family: arial,sans-serif; font-size: 13.333333969116211px;">cat file1 | mysql toserver db1</div>
<div style="font-family: arial,sans-serif; font-size: 13.333333969116211px;">cat file2 | mysql toserver db2</div>
<div style="font-family: arial,sans-serif; font-size: 13.333333969116211px;">-------------------------------------------------</div>
<div style="font-family: arial,sans-serif; font-size: 13.333333969116211px;">which I've speeded ( sped?) up by</div>
<div style="font-family: arial,sans-serif; font-size: 13.333333969116211px;">-------------------------------------------------</div>
<div style="font-family: arial,sans-serif; font-size: 13.333333969116211px;">
<div>dump fromserver db1 > file1.sql &</div>
<div>dump fromserver db2 > file2.sql &</div>
<div>wait</div>
<div>cat file1 | mysql toserver db1 &</div>
<div>cat file2 | mysql toserver db2 &</div>
</div>
<div style="font-family: arial,sans-serif; font-size: 13.333333969116211px;">wait</div>
<div style="font-family: arial,sans-serif; font-size: 13.333333969116211px;">-------------------------------------------------</div>
<div style="font-family: arial,sans-serif; font-size: 13.333333969116211px;"></div>
<div style="font-family: arial,sans-serif; font-size: 13.333333969116211px;">I can obviously do this:</div>
<div style="font-family: arial,sans-serif; font-size: 13.333333969116211px;">dump fromserver db1 | mysql toserver db1</div>
<div style="font-family: arial,sans-serif; font-size: 13.333333969116211px;">at which point the network becomes the bottleneck. Is it possible to improve performance by bonding network interfaces? The only fly in the ointment here is that the mysql server is an AWS RDS instance, and therefore I can't add interfaces to it - only to the server where my script runs.</div>
<div style="font-family: arial,sans-serif; font-size: 13.333333969116211px;">Any thoughts / suggestions / guffahs of laughter gratefully received.</div>
<div style="font-family: arial,sans-serif; font-size: 13.333333969116211px;">Cheers,</div>
<div style="font-family: arial,sans-serif; font-size: 13.333333969116211px;"></div>
<div style="font-family: arial,sans-serif; font-size: 13.333333969116211px;">Tid</div>
</div>
</div></font>