El incremento sostenido de la llegada de spam y el volumen creciente de la entrada de correos a través de nuestras pasarelas de correo remotas, puede llegar a ser un problema si no se efectúan tareas de mantenimiento en las bases de datos que soportan el proceso de filtrado. Estas tareas de mantenimiento requieren la eliminación total de los logs y entradas anteriores a 4 meses, que en estos momentos ya superan las 60 GB de datos (no se almacenan adjuntos de correos de más de 7 días).

El proceso de eliminación y revisión posterior de las bases de datos se iniciará a partir de las 16:00 horas, de hoy martes 9 de febrero de 2010. No se requiere la desconexión de los servicios, por lo que todo seguirá funcionando correctamente, aunque es posible que en algún momento del proceso sea necesario detener el servicio antispam durante unos segundos.

Esperamos finalizar las tareas de mantenimiento antes de las 20:00 horas.

Siguiendo con nuestra política de sostenibilidad medioambiental, todas las fuentes de alimentación que Dimensis ha seleccionado para su familia de servidores son ECOLÓGICAS y están diseñadas para minimizar su consumo y optimizar el rendimiento del sistema. Cada servidor contratado con Dimensis ayuda a reducir el consumo de electricidad y, por lo tanto, las emisiones de CO2 asociadas a su generación.

Estos servidores son los más antiguos en la actualidad, por lo que se aprovechará para realizar una actualización de software y hardware.

El traslado será progresivo y supondrá un tiempo offline entre 2 y 4 horas, dependiendo del tamaño del servidor y su antigüedad.

Lo que se ha podido constatar ha sido un tremendo aumento de tráfico desde la IP de la máquina, que además ha coincidido en el tiempocon las desconexiones. Pero también se han localizado algunos errores de actualización en VDSmanager y en varios scripts de mantenimiento de la máquina, que seguramente han sido causados por la interrupción de las actualizaciones en los momentos de sobrecarga de tráfico.

Todavía no sabemos si el origen de la sobrecarga es por un ataque externo o por mal funcionamiento del software. Por el momento estamos cargando manualmente las últimas actualizaciones de software y también se revisarán los firewalls de las IPs alojadas en esta máquina.

Se va a realizar una importante tarea de mantenimiento y revisión en esta máquina durante este fin de semana, a fin de localizar exactamente el problema y evitar que se produzcan daños en el hardware o en los datos almacenados a causa de las desconexiones.

11 de agosto de 2009:

En los tres siguientes se produjeron 4 nuevas desconexiones de la máquina, a pesar del trabajo intenso realizado para localizar el problema. Se ha confirmado que no existe ningún problema de hardware, ni de software. Las aplicaciones de medición de tráfico han localizado picos de ancho de banda superior a 10 Mbps/segundo en la máquina afectada, justo antes y durante las desconexiones. Éste es el motivo de la imposibilidad de acceder a la máquina en los momentos citados. El ancho de banda quedó consumido como consecuencia de ataques de denegación de servicio sobre una ip alojada en la máquina, que experimentó incrementos de tráfico veinte veces superiores a su ancho de banda medio.

Se ha realizado una larga tarea de configuración de firewalls y localización de los diferentes orígenes de los ataques (cada vez desde ubicaciones diferentes). En las últimas 48 horas sólo se ha producido un ataque, que fue neutralizado en 20 minutos, y en las últimas 24 horas, no se ha vuelto a detectar ninguna nueva incidencia.

Rogamos disculpen las molestias.

12:00 horas: Todo está preparado para realizar el cambio de máquina programado. Los técnicos han decidido que se sustituya la máquina vieja lo antes posible, debido a los fallos con el kernel y algunos controladores detectados este fin de semana.

15:30 horas: La sustitución de la máquina se ha iniciado.

16:30 horas:  Tras resolver algunos problemas derivados del enrutamiento de las antiguas ips de rango 213.195.72.x, ya se han reiniciado los servicios de 6 servidores virtuales alojados en la nueva máquina.

18:00 horas: Se ha completado el reinicio del 80% de los servicios.

21:00 horas: La máquina antigua ha sido desconectada. Todos los recursos están funcionando desde la nueva máquina, ubicada ya en el nuevo rack y conectada de forma redundante a la red local de Dimensis en el datacenter.

Domingo, 1 de febrero de 2009

Mañana lunes 2 de febrero se realizará un cambio de máquina programado para el servidor principal dimensis.com y otros 7 servidores virtuales alojados en la misma máquina.

Desde hace dos días está funcionando una máquina nueva en paralelo y se han volvado diversas copias backup. Trás comprobar que todo funciona correctamente, mañana se realizará el último volcado de contenidos y se procederá a modificar el enrutamiento interno de las ips para que las conexionesse dirijan a la nueva máquina.

Esta nueva máquina sustituye una máquina que ha sufrido varias incidencias graves en los últimos meses (fuente alimentación, disco duro y memoria). Para evitar que los problemas continúen, se realizará el cambio de máquina y se conectará al nuevo rack de conexión redundante que activó Dimensis a principios de año.

Inicialmente se consideró que podía estar relacionado con diversos problemas detectados tras la última actualización del kernel y varias aplicaciones principales, pero la situación ha ido empeorando y los reinicios de la máquina son cada vez más frecuentes. Tras revisar detenidamente todo el software y realizar diferentes pruebas, se ha comprobado que el problema se origina en uno de los discos duros del RAID. También se han detectado algunos errores en la controladora de discos, por lo que nuestros técnicos han decidido hacer una sustitución conjunta de varios componentes del hardware.

En un primer intento se ha reemplazado el disco afectado por otro similar en stock, pero han surgido varios errores en la reconstrucción del RAID y, por precaución, se ha optado por mantener el disco viejo hasta recibir uno nuevo.

Los contenidos de esta máquina están siendo copiados diariamente a una máquina secundaria conectada a través de una segunda tarjeta ethernet, por lo que no hay riesgo de pérdida de información en el caso que el sistema de ficheros llegue a dañarse y obligue también a reemplazar el disco principal.

La previsión de entrega del nuevo disco es de 24-48 horas. Por lo que se ha programado una nueva intervención en ESP05 para hoy jueves o mañana viernes, tan pronto como se tenga disponible todos los componentes del hardware necesarios.

Viernes, 12 de diciembre:

El disco duro defectuoso ha sido reemplazado a las 12:00 horas. Tras comprobar su correcto funcionamiento, se ha procedido a “reconstruir” la estructura del RAID, de forma que desde el segundo disco que estaba almacenando correctamente los datos, se ha trasladado toda la configuración y contenidos al nuevo disco. De esta forma, no ha sido necesario hacer uso de las copias backup, y los datos del nuevo disco serán exactamente los que había en el momento de la última desconexión.

También se ha aprovechado para hacer una nueva actualización del kernel.

Esperamos que estas dos intervenciones pongan punto y final a los problemas que la máquina ha sufrido en los últimos días.

Actualización 15:00 horas

La máquina ha vuelto a fallar. El problema ya no es del disco duro, que se muestra estable y bien configurado. Los técnicos están tratando de localizar cual es el origen de los nuevos problemas, con la sospecha que se trate de un fallo de la controladora o de los puertos usb.

Al margen de intentar solventar los problemas de esta máquina, ya se ha iniciado el procedimiento para trasladar a todos los clientes a una máquina nueva. Está previsto que esto pueda realizarse a mediados o finales de la próxima semana. En primer lugar hay que realizar una configuración del sistema similar a la actual y después los clientes se irán trasladando de forma progresiva en un par de días.

Lunes, 15 de diciembre:

Desde el pasado viernes no se han producido nuevos reinicios en la máquina, por lo que la incidencia se considera definitivamente resuelta.

A las 13:03 horas se ha restablecido por completo la conexión.

[ Ni las máquinas ni los servidores han sufrido la incidencia. Han continuado funcionando con normalidad y ejecutando sus tareas internas (rotación de logs, generación de estadísticas, etc.) Los mensajes enviados hacia y desde las máquinas también se han procesado con normalidad una vez recuperada la conectividad interna.  ]

Disculpen las molestias.

En la nueva versión se muestran los permisos asignados a archivos y carpetas. El interfaz también refleja el propietario y grupo al que pertenecen todos los datos del ftp. Esta información es de gran utilidad, y convierten al administrador de archivos de ISPmanager en un potente gestor de contenidos en FTP.

Como en las versiones anteriores, es posible ver y gestionar archivos ocultos, editar las propiedades y permisos de los archivos, copiar y mover contenidos, trabajar con archivos comprimidos, etc.

Para todos aquellos que no disponen de un programa FTP para gestionar su espacio web, es sin duda una excelente herramienta, que permite realizar fácilmente todo tipo de operaciones con los contenidos del servidor.

Estas nuevas máquinas han permitido realizar 5 nuevas migraciones de servidores virtuales a España y realizar el cambio de máquina para otros 5 servidores virtuales que se alojaban en la antigua ESP01 (afectada por un índice de incidencias superior a la media).

Esta nueva ampliación supone una apuesta clara por el datacenter de España y permitirá trasladar y dar de baja antes de final de mes los recursos que todavía se gestionan desde Bélgica.

Con la nueva versión de VDSmanager también se ha actualizado el kernel de FreeBSD desde las versiones 6.1 y 6.2 a la última release estable, la 6.3.