
<html>

<head>

<meta http-equiv="Content-Type" content="text/html; charset=us-ascii">

<meta name="Generator" content="Microsoft Exchange Server">

<!-- converted from text --><style><!-- .EmailQuote { margin-left: 1pt; padding-left: 4pt; border-left: #800000 2px solid; } --></style>

</head>

<body>

<div>Thanks Martin,

<div><br>

</div>

<div>Most of our critical stuff is in various cloud systems. We mostly have lab servers in the office. One thing working on a support desk has taught me is naivety exists especially in things people should know for their jobs. It's sad in many ways.</div>

<div><br>

</div>

<div>TJ</div>

<div><br>

</div>

<div><br>

</div>

<div>-------- Original message --------</div>

<div>From: Martin via Nottingham <nottingham@mailman.lug.org.uk> </div>

<div>Date: 25/07/2018 20:04 (GMT+00:00) </div>

<div>To: "T.J long thing via Nottingham" <nottingham@mailman.lug.org.uk> </div>

<div>Cc: Martin <martin@ml1.co.uk> </div>

<div>Subject: Re: [Nottingham] Office server rooms </div>

<div><br>

</div>

</div>

<font size="2"><span style="font-size:11pt;">

<div class="PlainText">T J,<br>

<br>

sounds like a goodly frustrating hot comedy of high heat...<br>

<br>

Unfortunately, also something that I guess is being repeated throughout<br>

Europe and around the 'developed' world... Especially with our present<br>

"global warming" spike!<br>

<br>

<br>

To summarise:<br>

<br>

On 25/07/18 18:45, T.J long thing via Nottingham wrote:<br>

> Hi All,<br>

> <br>

> An interesting event happened in the office I work in today. We host<br>

> some servers in our rented office server room no guarantee of up time<br>

> but usually we have no problems. But today the air con in the server<br>

> room packed up. We weren't informed of this at any point. <br>

<br>

> ... noticed the door was open and heard the server fans in the server<br>

> room going nuts ... check the air con settings (these<br>

> have been turned up by the centre manager or maintenance guy to save<br>

> energy in the past) ... set to 18 like usual <br>

<br>

> ... air con unit ... is off.<br>

<br>

> ... they know and it will be<br>

> fixed today and that they had no intention of telling us.<br>

> checking of cpu temps we decided to shut down all none critical services<br>

<br>

> ... check the air con myself to find the door still<br>

> open and the air con on. At no point today have we been informed of the<br>

> situation ...<br>

> already started discussing moving our servers out of such a poor managed<br>

> system with my managers. Rant over<br>

<br>

Sorry, but all completely normal and to be expected from such a setup.<br>

<br>

Sounds like the usual case of ignorant management +<br>

incompetent/non-existent facilities people with no concern for<br>

consequences or for the cost to others.<br>

<br>

Can you most reasonably expect them to consider that room to be an<br>

irritating cost and unwanted hassle for them?...<br>

<br>

<br>

> On a side note could we hold the centre responsible if any of our<br>

> servers fail in the next 6 months?<br>

<br>

Extremely unlikely unless you sort of catch them red-handed physically<br>

reprogramming your equipment with an axe.<br>

<br>

<br>

And... I've got far more fun stories to tell of abuse of server rooms<br>

and data centre equipment and of management ignorance and support staff<br>

incompetence, all with added supposed "nobody's problem" syndrome. Makes<br>

the BOFH look like a sweet helpful guardian angel!<br>

<br>

<br>

So, do you have...<br>

<br>

Any SLA?<br>

<br>

Any live monitoring?<br>

<br>

Any alarms with responsible people to jump to the rescue?<br>

<br>

(Including out-of-hours?)<br>

<br>

Any pre-planned emergency procedures? And practised?<br>

<br>

Any automated emergency procedures?<br>

<br>

<br>

And can we guess that the servers are critical to the business and hold<br>

all the live work?<br>

<br>

Is your (ignorant) management (in their ignorance) aware of the<br>

vulnerability and whatever (likely/unlikely) consequential costs?<br>

<br>

<br>

Also, it sounds like that room cannot be trusted... Open access, only<br>

one aircon, and unknown people can adjust the aircon settings...<br>

<br>

I'd guess that the Centre Manager and the aircon engineer have no clue<br>

as to what all the fuss and frustration is all about. After all, you<br>

wouldn't expect to be informed when a plumber dives into the basement<br>

there to unblock the janitor's toilet...<br>

<br>

<br>

In other worlds, I have some unbelievable but real stories to tell...<br>

(Could be good for a few TheRegister articles! :-) )<br>

<br>

<br>

(Jason, keep quiet! ;-) )<br>

<br>

One of the better ones that comes to mind has got to be where a certain<br>

technician, a second technician, and two others from the Facilities<br>

Dept, each, individually, checked a server room where there was a loud<br>

piercing alarm screaming away. Others in the office were complaining<br>

about the noise! There is an emergency list pinned to the door.<br>

<br>

Over about a one hour period, each of those personnel individually<br>

unlocked and opened the door to peer inside. Each saw that all the<br>

lights were on and flashing and heard that the fans and disks were<br>

humming away as usual. The aircon temperature felt ok. And so they all<br>

carried on to go get their morning break and engaged their "somebody<br>

else will sort it" SEP field.<br>

<br>

While the two technicians were still on their break in the kitchen room<br>

opposite, one by one, the multiple UPSes exhausted their batteries. The<br>

sirens scream died away.<br>

<br>

To be replaced by the scream of the MD...<br>

<br>

Facilities had inadvertently left the room mains power OFF.<br>

<br>

<br>

All gobsmacking and all too often repeated...<br>

<br>

There's lots more first hand stories of abuse of backup generators...<br>

Circuit breakers... Crazy plumbing/piping with no care for electricity<br>

or access... Bad earths... And...<br>

<br>

More beer? ;-)<br>

<br>

<br>

Also sounds like:<br>

<br>

A fantastic opportunity to sort them out and gain a pay rise!? :-)<br>

<br>

<br>

Good luck!<br>

<br>

Cheers,<br>

Martin<br>

<br>

<br>

BOFH: B*****d Operator From Hell<br>

<br>

SLA: Service Level Agreement<br>

(Special note: This is in reality only the 'maximum that can be hoped<br>

for' from a supplier. Be sharp about penalties and 'who pays'<br>

regardless. Be aware of the consequences!)<br>

<br>

SEP: Somebody Else's Problem<br>

<br>

UPS: Uninterruptible Power Supply (until they are interrupted)<br>

<br>

MD: Managing Director<br>

<br>

<br>

Disclaimer: All just my own humble personal opinion! Enjoy! :-)<br>

<br>

-- <br>

Nottingham mailing list<br>

Nottingham@mailman.lug.org.uk<br>

<a href="https://mailman.lug.org.uk/mailman/listinfo/nottingham">https://mailman.lug.org.uk/mailman/listinfo/nottingham</a></div>

</span></font>

</body>

</html>