<div dir="ltr"><div><div><div>Sorry James, could not reply earlier.<br><br></div>I see almost 5ms when I ping between hosts (TCP or UDP are  pretty similar).<br><br></div>I haven't checked the network cards, but I am pretty certain we are using at least 1Gb ones, I'll review that tomorrow.<br>
<br></div>Thanks.<br><div><div><br><br></div></div></div><div class="gmail_extra"><br><br><div class="gmail_quote">On 11 June 2014 13:23, James Courtier-Dutton <span dir="ltr"><<a href="mailto:james.dutton@gmail.com" target="_blank">james.dutton@gmail.com</a>></span> wrote:<br>
<blockquote class="gmail_quote" style="margin:0 0 0 .8ex;border-left:1px #ccc solid;padding-left:1ex"><div class="HOEnZb"><div class="h5">On 11 June 2014 06:52, James Courtier-Dutton <<a href="mailto:james.dutton@gmail.com">james.dutton@gmail.com</a>> wrote:<br>

><br>
> On Jun 11, 2014 1:16 AM, "JLMS" <<a href="mailto:jjllmmss@googlemail.com">jjllmmss@googlemail.com</a>> wrote:<br>
>><br>
>> HI,<br>
>><br>
>> I am wondering what are people out there doing to transfer high volumes of<br>
>> data (100 GB or more every time) between geographically distant sites.<br>
>><br>
>> I started using rsync (over ssh, including using a version of ssh<br>
>> optimized for performance during file transfers) and got very poor<br>
>> performance (3-7 MB/s).<br>
>><br>
>> I started to play with sending data in parallel (going as far as splitting<br>
>> some files) and although I improved speed by a factor of 3 or 4 times, the<br>
>> time the transfers take is still unsatisfactory.<br>
>><br>
>> I started by opening many instances of rsync and my bottleneck became the<br>
>> amount of sessions ssh can handle before starting to drop connections, at<br>
>> the end I had to settle for running around 10 rsync instances, this works<br>
>> much better but would be considered still slow by the powers that be.<br>
>><br>
>> I would appreciate any ideas, pointers, etc that may make possible to<br>
>> transfer such amounts of data in an efficient manner as possible. I am<br>
>> looking for expertise in the field rather than assisted googling (although<br>
>> if you find something very,very interesting I would of course love to hear<br>
>> about it) :-)<br>
>><br>
><br>
> What is the latency of the link?<br>
> What is the bandwidth of the link?<br>
> You might need to use transfer protocols more suited to satellite links.<br>
><br>
> James<br>
<br>
</div></div>Do you have answers to my questions?<br>
I am asking them because "latency" is a very important factor that<br>
limits file transfer speed when using TCP.<br>
You could have a 10Gig Bandwidth link, but if your latency is high you<br>
will get rather slow file transfers.<br>
In order to predict file transfer speeds you need "bandwidth" and<br>
"latency" as input to the calculations.<br>
<br>
Kind Regards<br>
<span class="HOEnZb"><font color="#888888"><br>
James<br>
</font></span><div class="HOEnZb"><div class="h5"><br>
_______________________________________________<br>
GLLUG mailing list<br>
<a href="mailto:GLLUG@mailman.lug.org.uk">GLLUG@mailman.lug.org.uk</a><br>
<a href="https://mailman.lug.org.uk/mailman/listinfo/gllug" target="_blank">https://mailman.lug.org.uk/mailman/listinfo/gllug</a><br>
</div></div></blockquote></div><br></div>