Sobre alto consumo de recursos

La empresa manejaba servidores sueltos y se adquirio un Nodo windows con virtuozzo buscando mejorar el servicio a nuestros clientes en cuanto a gestion de recursos.
La experiencia no ha sido buena en cuanto a que el disco y la memoria habitan pegados consumiendo muchos recursos (ver captura adjunta)

El servidor no se comporta mal a pesar de ello...pero creo que podria ir mejor....

Ya verifique que no hubiesen tablas corruptas en MySQL

En este momento hay 10 containners y en promedio 500 sitios de bajo trafico con plesk 8.6

La configuracion general de los containners es la siguiente
CPU guarantee: Not Limited
CPU limit: 50 percent
CPU Units: 200 pcs
Number of CPUs: Not Limited
Containner memory: 2048 MB
Number of the procces and kernel-level threads: 60 pcs


Caracteristicas del nodo
Dell 1333 FSB Dual Socket Xeon 5500 Series
12 Gb RAM
Raid 10
Windows Server 2003 - x86_64 - OS

Es normal que un proceso en un containner consuma exesivamente recursos del nodo?...hay forma de evitarlo? Una simple busqueda porne el consumo de memoria al 100%

Hay alguna variable que deba modificar en los nodos para que ello no suceda?
Si es posible aislar el consumo de recuersos en cuanto a I/O de diso y memoria en virtuozzo?

Esto solo afecta a virtuozo? Otras tecnologias de virtualizacion no sufren de esto?

Gracias Mil
MartinC

 

Por favor!!

Salu2
Sera que mi pregunta no fue bien formulada?.... Por favor Regaladme luces para solucionar dicho problema...

 

Hola martinc, nosotros usamos Virtuozzo pero no a nivel del nodo dedicado, en todo caso algunas consideraciones :

* Si tienes 10 containers con 2 Gb cada uno, eso suma 20 Gb y tu nodo solo tiene 12 Gb !!!
Creo que ese es el principal problema, falta de memoria, sugeriría aumentar a unos 32 Gb para que respire ese pobre servidor.

* Cuando un sistema se queda sin memoria, comienza a hacer swapping o sea usando el disco para intercambiar bloques de memoria lo cual obviamente es muy ineficiente y degrada cualquier sistema hasta niveles intolerables.

* Siempre es conveniente que cada container tenga una cantidad de cpu garantizada y si nadie mas la esta ocupando entonces puede ocupar toda la potencia de cpu disponible ( burst ).

* La cantidad CPU Units: 200 pcs pareciera ser demasiado baja, Virtuozzo debiera entregarte la cantidad total de cpu units que tiene tu sistema que debiera ser bastante mas que 2000 ( 200 * 10 ) y asi las podrias asignar en mejor forma.

* La cantidad de kernel-level threads: 60 pcs tambien parece demasiado baja, revisa los manuales que tiene online Virtuozzo hay varias configuraciones sugeridas.

* Tambien puedes configurar la prioridad de las I/O a disco, Virtuozzo te permite asignar ese parametro en forma individual a cada container.

Ojala te sirva de algo este aporte ...

 

Hola
Gracias Neocomp ha sido de mucha valia tu aporte..... ya pedimos mas memoria

Ahora algo que no entiendo

Me puedes indicar en windows por donde puedo hacer esto?

 

Hola martinc, de partida debo aclarar 2 puntos, primero NUNCA hemos trabajado con Virtuozzo para Windows siempre hemos utilizado la version para Linux ( menos mal ) y siempre hemos utilizado el PIM o administrador de Virtuozzo dentro del container y no hemos usado el VZCC que administra el nodo y permite crear containers.

La ayuda específica podría entregartela alguien que trabaje con Virtuozzo para Windows y a nivel de nodo de hardware, pero igual aportaremos algunos datos que esperamos te puedan servir de alguna utilidad.

Los manuales en linea para Virtuozzo estan disponibles en :

http://www.parallels.com/products/pvc45/resources/docs/

Hay 3 guias que te deberían ser de gran utilidad : Installation, User y Reference Guide.

Bajo Linux existen los siguientes parametros de Virtuozzo ( desconozco sin son los mismos bajo Windows ) :

Para la cpu : cpuunits, cpulimit, burst_cpulimit, burst_cpulimit y cpus.

Para el disco : diskspace, diskinodes, quotaugidlimit, quotatime e ioprio.

Se supone que con todos esos parámetros tu puedes configurar y/o limitar las caracteristicas de cada container.

Puntualmente el ioprio significa : "The Container priority for disk I/O operations. The allowed range of values is 0-7. The greater the priority, the more time the Container has for writing to and reading from the disk. The default Container priority is 4."

Respecto a las cpuunits que tenian un valor 200 en tus VPS, en nuestros VPS ( bajo Linux ) van de los 1000 a los 20000 en un hybrido, por eso lo considero un valor demasiado bajo y supongo que las cpuunits bajo Linux o Windows debieran ser mas o menos equivalentes.

Espero te sirva este granito de arena

 

Se me había olvidado comentar esto

Probablemente con otras tecnologías de virtualización pasaría lo mismo, por ejemplo bajo Xen o VMWare que de partida consumen mas recursos para el propio software de virtualizacion porque virtualizan mas a nivel de hardware, podrías haber creado 10 VPS de alrededor de 1 Gb cada uno y con Plesk que necesita bastante memoria y 50 dominios en promedio por VPS a lo mejor funcionarían pero mas lento ya que la potencia de cpu y la cantidad de memoria estaría limitada para cada container ... Virtuozzo permite usar burst cpu y burst memory.

Si hay escasez de recursos ( memoria en este caso ) o problemas de configuración ( como al parecer tambien los hay ), creo que habría problemas similares independiente de la tecnología de virtualización utilizada.

Hace muuuuuuuuuchos años atras nosotros optamos por Virtuozzo y cPanel y sinceramente ha sido una de las mejores decisiones que hemos tomado, como plataforma de software no la cambiaríamos por ninguna otra.

Otro punto a nivel de hardware que podría ayudar bastante es el cache en la tarjeta controladora RAID, casi por definición mientras mas cache MEJOR

 

Huyyy que buena respuesta muuuchas gracias....
Usas cpanel por alguna razon especial ademas de fantastico?

 

Bueno y aprovechandome de tu experiencia ...con windows trabajas virtualizacion con? con que panel ? con que versiond e windows?

 

Algunas razones que se me ocurren en este minuto :
* Muy amigable, interfaz sencilla y muy bien estructurada.
* Muchísimas opciones y muy flexible, prácticamente para todo lo que necesites a nivel de administración de un servidor y de un dominio.
* Ofrece opciones de correo webmail ( Squirrelmail, Horde, RoundCube ) y de FTP ( ProFTP, PureFTP ).
* Incluye muchas herramientas de seguridad.
* Integra muy bien PHP y MySQL.
* Bastante rápido, por ejemplo comparado con Plesk.
* Usado ampliamente y desde hace muchos años, es un producto muy maduro y probado.
* Trae muchas herramientas que se pueden instalar con un simple click, además de Fantastico ( aunque lo usamos muy escasamente ).
* Hiper estable, creo que muy pocas veces hemos encontrado un problema y ha sido solucionado rápidamente, se preocupan del producto a diferencia de lo que le pasaba por ejemplo a HyperVM que tenía bugs conocidos y nunca lo parcharon hasta que hackearon cientos de miles de cuentas, el creador se suicidó y muchas empresas de hosting en todo el mundo tuvieron serios problemas de subsistencia, sobre todo en Inglaterra ( lo barato puede costar muy caro ).
* Para los VPS tiene una versión Optimized que consume menos recursos y cuesta menos.
* Algo extremadamente importante para nosotros, contar con soporte directo del fabricante, lo utilizamos como una vez al año para asuntos muy complicados o para la integración de productos que aún no están oficialmente disponibles bajo cPanel.
* A nivel de Linux debe ser el número uno a nivel mundial, lo cual además representa un gran respaldo.
* Extremadamente simple de migrar un VPS a cualquier plataforma.
* Es el único panel que hemos podido usar en todas las plataformas tanto de software como de hardware, lo hemos usado como cuenta reseller inicialmente, lo hemos probado en dedicados, y desde hace muuuuuuuuchos años lo hemos usado bajo Virtuozzo, pero lo hemos probado bajo Xen, VMWare, Citrix XenServer, Hyper-V, Applogic 3Tera y ultimamente bajo clouds corriendo sobre clusters distribuidos conectados a SAN redundantes, podemos incluso montar el mismo full backup en todas las plataformas sin problemas y en unos 5 minutos
* etc, etc, etc ... creo que podría escribir muchas páginas hablando de cPanel, realmente me gusta mucho el producto y no lo cambiaríamos por ningún otro.

NO USAMOS WINDOWS, jejejejejeje
Asi vivimos mucho mas felices y relajados
Hemos probado varias plataformas de virtualización y paneles con Windows, pero hemos preferido Linux, Virtuozzo podría ser la mas estable por los años que lleva de uso, Hyper-V podría ser la que ofreciera mejor integración por ser del mismo fabricante y casi siempre usamos Plesk para la administración bajo Windows en nuestras pruebas.

Hablando un poco mas seriamente, el rendimiento de un mismo nodo de hardware bajo Linux es muchísimo mejor que bajo Windows, principalmente porque es un Sistema Operativo mucho mas estable y mejor optimizado, desarrollado desde el principio para ambientes multitarea y multiprocesado, no te olvides que Linux viene de Unix, lo que implica que muchas rutinas a nivel del kernel del sistema operativo han sido archi-probadas y por muchísima mas gente que la que desarrolla Windows.

Según nuestra humilde opinión y de acuerdo a toda nuestra experiencia desde la programación de la CPU 6502 a nivel de código de máquina en un Apple IIe en los 80's diseñando un "Space Invader" con colores y sonido, pasando por unos mastodontes IBM y Digital DEC, toda la gama de Novell Netware y por varias decenas de lenguajes de programación y sistemas operativos, la plataforma de software mas estable, confiable y de mejor rendimiento que hemos encontrado "hasta hoy" incluye Virtuozzo, CentOS, cPanel, PHP y MySQL.
Por si acaso CentOS está basado en la versión libre de Red Hat Enterprise y debe ser una de las mas estables y confiables de todas las distribuciones Linux, sobre todo a nivel de servidores.

Hace poco migramos una aplicación bastante grande de un cliente que estaba montada sobre servidores dedicados Windows 2003, usando básicamente PHP y MySQL con bases MyISAM e InnoDB y casi un millón de registros ... la migramos a un cluster de VPS's bajo Linux distribuyendo la carga entre servidores web y MySQL remoto ... un proceso que antes tomaba casi 2 minutos ... ahora demora 2 segundos
Obviamente no solo influye el cambiarlo de Windows a Linux, sino que el utilizar nodos de alto rendimiento y optimizar los cachés de MySQL ( quedamos expertos en los cachés internos de InnoDB que son completamente independientes de los MyISAM ).

 

Si soñamos por un minuto creo que nosotros vamos hacia una plataforma cloud redundante sobre Virtuozzo, Citrix XenServer o VMWare ( por nuestra experiencia preferiríamos Virtuozzo ), corriendo sobre nodos distribuídos con 16 o 32 cores Xeon/Opteron por nodo y todo eso conectado a una SAN dual por fibra con discos 15k o SSD con RAID-6

Hemos estado probado varias opciones durante este año, pero hasta el minuto ningún cloud nos convence al 100%.

Siempre obviamente con CentOS x64, cPanel, PHP y MySQL ... creo que es una plataforma prácticamente imbatible.

 

Le doy mi enhorabuena a neocomp por este despliegue de información si todos los usuarios de este foro desplegaramos el 50% de información similar, la vida sería más facil. saludos.

 

Esa es la idea, poder aportar algunos "granitos de silicio" y la experiencia acumulada en casi 30 años dedicados "exclusivamente" a este mundo de la informática.

Aún recuerdo cuando entré a la universidad, las promociones anteriores aún andaban con kilos de "tarjetas perforadas" ( había que tener buenos biceps ), programando en Fortran y compilando en modo batch ( tenían que dejar las tarjetas de un dia para otro para que les "cargaran" los programas durante la noche, si una línea tenía un error había que hacer de nuevo esa tarjeta y volver a dejar todas las tarjetas de nuevo ) ... jejejejejejejejejejejeje