incubatec system status

Alle ore 10:30 circa si sono rotti due alimentatori del nostro core-switch (probabilmente hanno risentito dei blackouts delle ultime settimane). Abbiamo subito provveduto a mandare un tecnico in datacenter che ha sostituito le parti difettose e ripristinato i servizi, che erano di nuovo disponibili a partire dalle ore 12:26 circa (ca. 2 ore di downtimes per i servers coinvolti).

The last night starting from 22:16:14.503 a power-outage caused by an overload of a 50 Ampere fuse (probably by a housing-customer who inserted new hardware) on two of the three circuits in the datacenter we are using happened. After escalating the problem within 20 minutes our technicians were on-site and after about 90 minutes the problem was partially solved. We moved three cabinets and the corresponding power-supplies to a new electricity-circuit; at the moment the electricity-load is well balanced with about 20% of capacity load on each of the three circuits used.

L’ultima notte a partire dalle ore 22:16:14.503 vi e’ stato un calo corrente su due dei tre circuiti elettrici che utilizziamo in datacenter. Dopo aver escalato il problema nel giro di 20 minuti il nostro personale era sul posto e dopo circa 90 minuti il problema era in parte risolto. Infine 3 cabinets sono stati rilocati su di un circuito elettrico completamente nuovo; al momento il carico su tutti i circuiti e’ in equilibrio con ca. 20% d’utilizzo.

Ab 22:16:14.503 gab es Stromausfälle auf zwei von drei Stromkreisen, die wir verwenden. Unser Personal war innerhalb von 20 Minuten vor Ort und nach ca. 90 Minuten war das Problem teilweise gelöst. Anschließend haben wir drei Cabinets an einen neuen Stromkreis gekoppelt sodass jetzt alle Stromkreise mit einer Last von ca. 20% ausgeglichen sind.

UPDATE:
Some pictures to show the quality of the equipment used.
Alcune foto per mostrare la qualita’ dell’equipment in uso in datacenter.
Einige Fotos des Equipments, das im Rechenzentrum im Einsatz ist.

Colo entrance:

Power-Distribution-Units:

In cabinet/cage PDUs:

Cabling:

Router and infrastructure:

NOC & spare parts:

Segnaliamo ai clienti che al momento vari provider di connettivita’ in Italia hanno problemi di routing e connettivita’, specialmente i servers DNS sembrano molto lenti. Purtroppo i problemi riguardano anche Telecom Italia e quindi molti utenti ADSL riscontrano difficolta’, come peraltro anche confermato dai tecnici di Telecom Italia.

A quanto pare il problema e’ causato da malware, virus e spam che stanno sovraccaricando la rete. Ma ovviamente le flat ADSL da oramai 20 Mbit/s allacciate sempre sulla stessa rete dell’incumbent che poco fa ospitava flat ADSL da 2 Mbit/s soltanto (un decimo!) inevitabilmente fanno pensare ad un problema di saturazione di banda come abbiamo segnalate varie volte nei mesi precedenti come causa principale.

LINKS PER ARTICOLI ESTERNI:

http://punto-informatico.it/p.aspx?id=1806243

http://www.pcalsicuro.com/main/2006/12/la-rete-italiana-in-ginocchio-non-e-tutta-colpa-dei-malware/

Due to a kernel panic the java shared hosting server (webhosting24 customers) crashed; we are currently examining the root cause and will get the services back online as soon as possible.

UPDATE: All services are online again, the root-cause of the problem is still being analyzed.

We are experiencing some problems with the Cogent-connectivity to Italy and therefore have switched all traffic to our primary carrier Level3 for the moment.

Al momento ci sono dei problemi di connettivita’ nella rete Cogent verso l’Italia ed abbiamo provveduto a riconfigurare il routing in modo tale che venga utilizzato soltanto il carrier Level3..

Im Moment gibt es Connectivity-Probleme über die Cogent-Leitung nach Italien und daher haben wir das Routing komplett auf Level3 umgestellt.

After some configuration changes the core-router was rebooted this morning. Connectivity and performance was affected from 04:15 CET until 07:00 CET; full performance restored at 07:15 CET.

Dopo alcuni cambiamenti di configurazione il core-router e’ stato riavviato questa mattina. Connectivity e performance erano diminuite dalle ore 04:15 CET alle ore 07:00 CET; piena performance ripristinata alle ore 07:15 CET.

Nach einigen Einstellungsänderungen wurde der Core-Router morgens neu gestartet. Connectivity und Performance waren von 04:15 Uhr bis 07:00 Uhr eingeschränkt; volle Performance wurde um 07:15 Uhr wiederhergestellt.