Interesting, assuming linear acceleration across parallel computing, lets do some math...<div><br></div><div>1 dual core AMD CPU (assume ~2.4 Ghz) = 20 days</div><div>1 Quad core AMD CPU 2.4 Ghz = 10 days</div><div>2 Quad core AMD CPU 2.4 Ghz = 5 days</div>
<div>4 Quad core AMD CPU 2.4 Ghz = 2.5 days</div><div>8 Quad core AMD CPU 2.4 Ghz = 1.25 days</div><div><br></div><div>This means that you should be able to run the entire data set over a weekend using 8 Quad Core machines, or 16 dual core machines. I would definitely contact your school about a condor pool. Even a small one would make this very manageable.</div>
<div><br></div><div>Also, many of the systems shipped by HP and other server companies are now shipping quad socket six core CPUs.  With one of these beasts you could also run it over a weekend pretty easily.  If you have any contacts in industry, you might ask about and see if someone has a server (or servers) being burned in you could use for a weekend.</div>
<div><br></div><div>Andy</div><div><br></div><div><br></div><div><br><div class="gmail_quote">On Thu, Jun 30, 2011 at 6:05 PM, Adrian McMenamin <span dir="ltr"><<a href="mailto:adrian@mcmen.demon.co.uk">adrian@mcmen.demon.co.uk</a>></span> wrote:<br>
<blockquote class="gmail_quote" style="margin:0 0 0 .8ex;border-left:1px #ccc solid;padding-left:1ex;">I have struggled to find an algorithmic way out of this - but cannot see one.<br>
<br>
I have some code which is very parallelisable but requires huge computing<br>
resources - on a AMD 64 dual box I have here I reckon it will take about<br>
20 days to run - but if I had access to about 600 CPUs it might take 20 -<br>
30 minutes (it's run against a massive XML file - 800 MB or so - with<br>
different parameters)<br>
<br>
I am also doing this for a student project so have no big budget to spend<br>
- but would be willing to spend some money.<br>
<br>
Is Amazon EC2 a possible answer - it seems less than clear to me if this<br>
is about web serving or computing - so I thought I'd ask where people will<br>
know the answer straight away :)<br>
<font color="#888888"><br>
--<br>
Gllug mailing list  -  <a href="mailto:Gllug@gllug.org.uk">Gllug@gllug.org.uk</a><br>
<a href="http://lists.gllug.org.uk/mailman/listinfo/gllug" target="_blank">http://lists.gllug.org.uk/mailman/listinfo/gllug</a><br>
</font></blockquote></div><br></div>