Exceso de trafico totalmente anormal, que puede estar pasando?

Hola a todos,

Les queria consultar por un caso raro que me esta pasando en mis vps, el tema es asi, estoy corriendo un foro en 2 vps, en uno tengo la base de datos mysql y en el otro todo lo que sea datos.

El trafico promedio normal por dia es de entre 3.5gb y 4gb, constituyendo un total mensual de aproximadamente 120gb de gasto de bandwidth.
Dias atras la gente de soporte del hosting me informa de que en el mes de Febrero llevo gastados 800gb, que me estoy acercando a mi limite de 1000gb mensuales y que voy a tener que pagar mas dinero para que no se suspenda al sitio. obviamente se imaginaran mi cara.

Lo primero que pense fue en comparar las estadisticas de gasto con el mes anterior.

Basicamente en todo Enero el gasto es el que mencione arriba, por dia mas o menos 3.5gb lo que es el consumo normal de mis vps,
El dia 29 de Enero se observa un salto a 39.66GB de gasto diario!
El dia 30 el consumo es de 4gb, osea normal.

Las estadisticas de Febrero muestran un gasto POR DIA de entre 50gb y 90gb, incluso el dia que ellos me informaron de esto, lo primero que hice fue cerrar el acceso a los foros, ponerlo en modo de mantenimiento pudiendo acceder solamente yo, sin embargo dicho dia el gasto fue de 74gb.
La primera vez que me contactaron me dijeron que host.xxxxxx1.com le estaba enviando un promedio de 5mbps a host.xxxxxx2.com, osea un vps al otro y por momentos 10 MBPS!

Al dia siguiente puse online el foro nuevamente pero al minimo, desactive todos los adicionales, bloques, scripts, que pude, sin embargo ese dia el gasto fue atipico tambien.

No realize ningun cambio en el software, ni de configuracion ni de nada, ademas justamente lo que me llama la atencion es el dia aislado, el 29 de enero, osea si hubiera sido algo que cambie se tendria q haber comportado constante como durante todo febrero, ademas que puede causar casi 900gb de trafico adicional de la nada??

Desde ya les agradezco cualquier tipo de opinion o ayuda.
Saludos
Javier

 

Comprueba:
1- las colas de correo
2- Que no tengas algún troyano reproduciéndose
3- El volumen de transferencia entre la DDBB y el principal.

Que tamaño tiene tu base de datos?

 

Wenas,

Sobre todo comprueba los logs del servidor web, supongo que estas trabajando bajo el entorno Apache asi que activa la monitorización del apache. Es posible que hay hotlinking a tus recursos.

slds.

 

También revisa que no te esten robando trafico de imágenes o archivos desde otros sitios webs, si tienes cpanel activa el hotlink

 

Es raro que sea por HotLinking ya que como dice es un foro y generalmente a no ser que sean archivos adjuntos (si es que los tiene) es raro ver eso, has hecho algunas tareas con root como wget o similares esos días?

 

Hola,
Gracias a todos por responder, mi foro tiene muchas imagenes y archivos de guias y tutoriales hosteados, existe un cierto porcentaje de hotlinking, encima el hotlinking del cpanel no se porque motivos no funciona del todo bien, y si yo coloco mi propio codigo de hotlinking trae conflictos con cpanel.

Hotlinking creo no es, he revisado las estadisticas desde awstats y realmente no es significativo el trafico de archivos, se trata de trafico mysql segun lo que vi en phpmyadmin, ustedes sabran decirme mejor.

El WHM tengo entendido que solo registra trafico de archivos, estos 20gb del ultimo dia no los registro, el unico dato que tengo del gasto de 20gb de ayer es del phpmyadmin.

Les adjunto una imagen del phpmyadmin:
(agreguen el principio del enlace http, el foro de comunidadhosting no me permite postear un enlace o imagen)
://img6.imageshack.us/my.php?image=querys.jpg

Y aca el grafico completo de todos los datos
://img11.imageshack.us/my.php?image=phpmy.jpg

Traffic Tip ø per hour
Received 364 MiB 11 MiB
Sent 19 GiB 612 MiB
Total 20 GiB 623 MiB

Connections ø per hour %
max. concurrent connections 6 --- ---
Failed attempts 0 0.00 0.00%
Aborted 6 0.00 k 0.01%
Total 57 k 1,754.68 100.00%

Ese trafico lo he registrado teniendo mi foro cerrado en modo de mantenimiento, es realmente raro, un foro cerrado no gasta 20gb en 1 dia y 8 horas.

Temo que me las tengo que arreglar solo en lo posible, la gente del hosting parece no tener mucha experiencia o directamente no mostrar buena voluntad para resolver el problema (son revendedores de powervps)

Se les ocurre algo?
Desde ya gracias
Javier

 

Lo que te pasa es que tambien te cuentan la transferencia entre servidores, que es el tráfico que tienes en MySQL

 

Eso lo entiendo, pero como se explica que con el foro en modo mantenimiento, osea cerrado al publico se gaste 20gb en mysql en un dia 1 y 8 horas.
Osea el gasto normal diario es de 4gb, de repente de un dia para el otro paso a ser de 50 o 70gb por dia, sin hacer ningun cambio, cual seria la explicacion?

y en 1 dia y medio con el foro en modo mantenimiento se gastaron 20gb, es una locura.
El gasto esta confirmado que es actividad entre los 2 vps y no otra cosa.

la unica forma que tengo de evitarlo es subiendo un archivo de configuracion del foro en blanco, osea no usando la db,
apenas lo subo y el sitio queda en modo manteniemiento el consumo se dispara, osea da lo mismo en realidad que lo tenga en modo mantenimiento o abierto al publico, es lo mismo, el gasto anormal esta igual.

Me interesaria si le pueden dar una ojeada a las estadisticas completas que estan en la 2da imagen, hay varias cosas en rojo, el problema este puede ser por culpa de algo de eso o directamente lo descarto?


saludos y gracias

 

Eso es un tema que debe de ser solucionado por tu proveedor de servicios , el tiene acceso a los servidores y puede analizar el origen del tráfico, si no te atiende quizás es hora de cambiar de proveedor....

Puede ser que tengas algun boot en tu foro y esté siendo usado como fuente contenido para enlaces externos en envíos de spam.

Instala el mytop en el server de DDBB y analiza los movimientos de las DDBB

 

Lamentablemente no me es de mucha ayuda el proveedor de servicios.

Lo que he notado es que cada vez que subo el archivo de configuracion del foro, por mas que lo mantenga al foro en modo mantenimiento cerrado el gasto sube,
Si lo borro o lo dejo en blanco el gasto se mantiene contenido.

Me estuve fijando desde el runtime del phpmyadmin dandole a refresh cada tanto, y el gasto va de 1mb por segundo mas o menos, el dato del gasto por hora no para de subir, es como si fuera exponencial, se supone que no tendria que subir y subir todo el tiempo, no es raro?

Si multiplico ese gasto de 1mb me daria 86gb por dia, osea ahora con el foro cerrado esta gastando mas de lo que gastaba antes con el foro abierto y toda la gente navegando.

Que **#/&@@ es? es exponencial, va aumentando cada vez mas, que troyano o que #@@@@? existe que haga eso?

alguna idea?

 

como ayuda puedo decirte que veas la opcion si estas guardando archivos en la base de datos mysql ( imagenes , archivos o documentos ), como campo BLOB en mysql

Te recuerdo que si estan como blob en mysql , estos se tienen que general cada vez que que alguien los solicita ( y si tienes un cron que pide los archivos cada cirto tiempo) aumenta la trasferencia entre servers .

Ni pensar que se aun cron que esta haciendo mantenimiento de imagenes y archivos por que hay si que sube .

Primero cambia tu configuracion y que todo se guarde como archivo original no en el MYSQL campo BLOB .

eso puede ayudarte .. si no es eso va por hay .

Algo que ver conla configuracion del foro .

 

Hola, gracias por responder,

Los archivos y imagenes que hay en el foro estan hosteados en 2 lados, algunos posteados por los usuarios estan hosteados en host externos, 4shared, rapidshare,etc pero todos los archivos y imagenes de guias/tutoriales estan hosteados en el servidor, y obviamente linkeados desde los topicos de las guias.

Lo que me desconcierta es , como es posible que el foro cerrado mostrando solo un cuadro de login para el administrador gaste a razon de 1mb por segundo casi?

Tantas visitas no tiene, 20.000 por dia nada mas, a razon de 250 a 400 usuarios concurrentes.

La verdad estoy desesperado porque estoy pagando 2 vps y no los puedo usar, el 7 de Marzo comienza el nuevo ciclo mensual y sinceramente no quiero seguir pagando si la compañia de hosting no me ofrece el servicio por el que pago.

Hay algun tipo de ataque hacker que puedo producir esto?

Es decir aumentar el consumo de trafico mysql?

La verdad que no cambie nada de nada en el ultimo tiempo, ninguna configuracion, ademas lo que me da a desconfiar es justamente lo del dia 29 de enero, todo enero fue normal, el 29 es anormal, luego un dia normal, y todo febrero anormal, no tiene explicacion ese dia que esta solo en el medio.

Enero

In traffic / Out Traffic /combined Traffic
2009-01-26 2.02GB 0.50GB 2.51GB
2009-01-27 1.02GB 0.21GB 1.23GB
2009-01-28 1.65GB 0.34GB 1.99GB <--normal
2009-01-29 32.34GB 7.32GB 39.66GB <--anormal
2009-01-30 3.27GB 0.79GB 4.06GB <--normal

Febrero

In traffic / Out Traffic /combined Traffic
2009-02-01 52.03GB 12.12GB 64.16GB
2009-02-02 54.12GB 11.53GB 65.64GB
2009-02-03 60.89GB 13.58GB 74.47GB
2009-02-04 59.53GB 14.39GB 73.92GB
2009-02-05 57.07GB 13.54GB 70.61GB
2009-02-06 56.69GB 13.28GB 69.97GB
2009-02-07 56.04GB 12.98GB 69.02GB
2009-02-08 55.68GB 14.09GB 69.78GB
2009-02-09 69.78GB 14.78GB 84.56GB
2009-02-10 77.85GB 17.08GB 94.93GB
2009-02-11 61.10GB 14.36GB 75.46GB
2009-02-12 58.13GB 13.27GB 71.40GB
2009-02-13 57.88GB 13.14GB 71.02GB
2009-02-14 51.79GB 12.43GB 64.22GB
2009-02-15 52.46GB 12.30GB 64.76GB
2009-02-16 55.42GB 12.58GB 68.00GB

Gracias nuevamente
saludos

 

Lamentablemente en Argentina no existen opciones serias en empresas de hosting, son todas un desastre, si alguno me puede recomendar una, desde ya agradecido, pero creo que ya he pasado por todas, de todos modos cualquier sugerencia es bienvenida.
Si alguien conoce una empresa que tenga servidores dedicados hasta 150 dolares al mes.

El servicio tecnico que recibia de este proveedor siempre fue impecable, algo nunca visto en argentina, es una lastima realmente porque en solo 10 dias arruinan años de excelente servicio sin caidas y con un soporte tecnico de 1ra, yo no se realmente si no tienen ganas de investigar que es lo que pasa o por el contrario no saben como hacerlo.

La pregunta del millon es:

Teniendo una base de datos de tamaño 500mb, de un foro con casi 300.000 usuarios registrados, 20.000 visitas diarias, entre 200 y 400 usuarios concurrentes todo el tiempo, que es lo que puede causar una diferencia TAN grande de uso de bandwidth??

Entiendo que al dividir el foro en 2vps ahora tengo trafico que antes no tenia, ya que tengo la DB en un vps separado,
pero hasta ahora venia consumiendo solamente 4gb diarios, (ustedes me diran si es un valor normal para un foro de estas caracteristicas o no) y tal como les mostre de un dia para el otro trepo de 4gb a 60gb/70gb.

Que es capaz de producir semejante diferencia??

Se puede tratar de una base de datos mal optimizada o con muchos registros? si fuera asi lo que pasaria es que se ponga lenta creo y no esto.

Se puede tratar de un hacker?

Se puede tratar de una mala configuracion o un mal funcionamiento del servidor vps?

Realmente me cae en un muy mal momento este problema han fallecido 2 integrantes fundamentales de mi familia, a meses del 1ro y sin habernos recuperado fallecio el 2do, lo que realmente hizo las cosas muy dificiles, ahora ocurre esto del servidor, y sinceramente estoy desesperado, es una comunidad en la cual hay mas de 5 años de esfuerzos y no quiero perderla por un problema de configuracion o un hacker, porque realmente la salida es esa, cerrar el sitio/comunidad, no me esta quedando otra, estoy intentando todo lo que esta a mi alcanze y nada resulta, hace mas de una semana que me quedo todos los dias hasta las 3am, durante el dia voy a trabajar, incluso en la oficina sigo pendiente de este tema, realmente ya no se mas que hacer..
No se si sera problema del servidor o problema del mismo soft del foro, me temo que cambio de proveedor y el problema seguiria presente.
Realmente no puedo imaginarme nada que cause una diferencia tan grande de trafico de un dia para el otro.

saludos

 

Cambiar de proveedor

Javier,
Me suena algo raro esto...
Primero el proveedor te advierte que tu consumo es anormal...explicandote que deberás pagar mas x dinero por mas transferencia...
A su vez pides soporte y no te lo dan...

A ningun proveedor de hosting le sirve que estes consumiendo tanto asi..
Por logica deberian darte soporte correspondiente en este caso que ya pasa a ser severo digamos.. para un proveedor.

Hora de buscar otro proveedor...y literalmente parte por un servidor dedicado
Si no tienes en Argentina como comentas, puedes encontrar proveedores serios en muchas partes del mundo...
USA - CANADA ´- ALEMANIA - ESPAÑA ETC.....

 

Ricardo, gracias por responder.

La realidad es que en este momento no puedo pasarme a otro hosting por temas economicos, vivo en Argentina donde el dolar lamentablemente subio muchisimo, hasta hace un tiempo podria haber llegado a estirarme para pagar un servidor dedicado mediante mucho esfuerzo, hoy por hoy con el dolar a 3.60 pesos rumbo a 4 me resulta imposible.
El problema principal tambien es que necesito un servidor manejado, lo que lo hace mas caro todavia, basicamente necesito que el proveedor de hosting se encarge de manejar la seguridad, updates del OS y algunos problemas que puedan surgir, yo estoy aprendiendo, manejo WHM, Cpanel, algo de SSH y mediante el rootkit, el csf chequeo algo de la seguridad, pero hasta ahi llego, no me animo a contratar un servidor no manejado, no tengo los conocimientos suficientes, me parece que seria de kamikaze.
Lo maximo que puedo llegar a pagar es 140 dolares al mes, y por ese precio no existe ningun dedicado manejado en ningun lado, en alguna empresa argentina de dudosa confianza podria ser, pero realmente todos los proveedores de mi pais dejan mucho que desear.

Mi comunidad luego de estar 5 años online crece al paso de 30.000 usuarios al mes en este momento, te imaginaras que es mucha gente muy rapido, basicamente empeze en un vps de 256mb, luego upgradee la memoria a 512mb, y luego a 768mb, a medida que el numero de usuarios concurrentes (en linea) fue aumentando,
En ese momento me empezo a quedar chico el % asignado de microprocesador, con lo cual la unica solucion fue dividir el sitio en 2vps mas chicos de 512mb c/u , actualmente estoy en valores de 80 a 85% de uso de microprocesador y de memoria ram, por lo cual no se presentaban problemas.

De trafico de archivos gasto aproximadamente 16gb diarios, y en procesos mysql se iban otros 4gb como dije antes, por lo cual se suponia que tenia un margen bastante amplio para mientras tanto conseguir mas anunciantes, estabilizar la parte economica para que el sitio cubra solo todos sus gastos y mas adelante poder pasarlo a un servidor dedicado.
Lamentablemente de un dia para el otro aparecio este problema.


Con la cantidad de visitas al dia que tengo es imposible llegar a ese numero en procesos mysql, creo que es imposible para cualquier sitio por mas grande que sea gastar 80gb en procesos mysq al dia.

A mi tambien me suena rarisimo, me han mandado un email donde me muestran estadisticas del otro vps el de los datos, dandome a entender que ambos han gastado 900 y pico de gb, por lo tanto queda demostrado que la transferencia entre ambos es la causante. (segun ellos)
Pero eso tampoco explica como dicho trafico entre servidores vps salto de 4gb a 80gb de la nada.

De todos modos hay un dato clave, el gasto se mantiene contenido cuando remuevo el archivo de configuracion de mi sitio/foro, osea que lo dejo inutilizado,
Apenas lo subo de nuevo, y dejo el sitio en modo mantenimiento (osea cerrado al publico y mostrando una caja de login generada por php nada mas) el gasto trepa a 80gb diarios, en promedio 1mb por segundo, por una caja de login nada mas.

Si el sitio estuviera abierto capaz le podria echar la culpa a la base de datos, algunas tablas tienen 3,000,000 de registros.
Pero aun asi lo veo dificil.

La otra que me queda es pensar en algun archivo php modificado que tenga alguna falla de codigo y que incremente las querys, pero creo que tambien es imposible no?
A lo sumo algun hacker que aprovechando alguna vulnerabilidad del software de foros este produciendo eso, porque es obvio que alguna relacion entre los 2 servidores hay,
en uno tengo la base de datos y en el otro el archivo de configuracion que inicia el gasto desmedido.

Realmente ya no se que pensar,

Si se tratara de algun ataque hacker a mysql creo yo que el unico que registraria el trafico excesivo seria el vps de la base de datos nada mas.

Entonces podria sacar como conclusion que lo mas probable quizas seria que se este produciendo a traves del soft del foro, ya sea desde su base de datos, o desde algun codigo en sus archivos php ya que cuando este esta inutilizado no existe gasto, tiene algo de sentido lo que digo?

saludos y gracias por el aguante.
Javier

 

Para empezar deberías ajustar el firewall del vps de datos para que solo tenga conexión con el principal, eso suele ser lo usual cuando se tienen esas configuraciones.

¿Que software tienes instalado en el servidor de DDBB?

Mira el log de apache de tu sitio para que veas que movimiento hay cuando estás en modo mantenimiento.

 

Hola,
Me han dicho que agregue esta regla al firewall del vps:

iptables -A INPUT -i eth0 -p tcp -s (ip address of your non-mysql server) -d (ip address of your mysql that would listen for traffic from your non-mysql server) --dport 3306 -j ACCEPT

Como firewall uso el csf.

La verdad no tengo idea de como hacerlo, y la gente del hosting brilla por su ausencia, como puedo hacer para ajustar el firewall?
Que reglas tengo que poner en el servidor vps que tiene la base de datos y cual en el otro vps? como lo hago?

---

Quiero ir descartando opciones, osea:

Los del hosting demostraron que el trafico se produce entre ambos vps, y yo por mi parte comprobe que cada vez que subo el archivo de configuracion del foro por mas que lo mantengo cerrado, empieza a consumir bandwidth a lo loco.

osea:

1-sin archivo de configuracion del foro--> no hay gasto o gasto minimo (20 querys por segundo aprox, supongo q seran del whm, cpanel o del funcionamiento del vps)

2-si subo el archivo de configuracion del foro, pero lo mantengo cerrado, el gasto trepa a 1mb por segundo

3-si abro directamente el foro, el gasto se va al demonio.


No he probado instalar algun otro script con base en el otro vps, quizas se produzca cada vez q algun script quiere usar el servicio mysql del otro vps?

O por el contrario se trata de los archivos o base de datos de mi foro en si? he encontrado esto:

://technet.microsoft.com/en-us/library/cc512676.aspx

Puede ser que alguien me halla hecho un mysql injection, modificara algo en la base de datos que provoque que funcione mal y suba el trafico? es posible hacer eso? (no soy hacker no tengo idea como funciona)

Podria intentar con una instalacion limpia del foro, o es inutil?

El trafico se genera solamente cuandol subo ese archivo de configuracion, una de 2 o se trata de algo relacionado con la base de datos del foro o algun archivo,

o

Se trata de algo que solo entra en acccion cuando se usa el servicio mysql, o se pasan datos de un vps al otro.

Existe algo que entre dentro de esas caracteristicas que comente? se les ocurre algo?

saludos y gracias por todo lo q estan haciendo.
Javier

 

Creo que ya es algo tarde para efectuar algun comentario.
Pero estoy casi seguro que lo que está haciendo que crezca exponencialmente el trafico es debido a que tenes las estadisticas habilitadas en phpMyAdmin.
Esto genera crecimiento exponencial de trafico.
Sinceramente no estoy completamente seguro, pero efectua la prueba correspondiente no perdes nada con probar un par de dias [y dado el crecimiento que tenes con probar 30 segundos te sobrará para darte cuenta].
Segun lo que pude leer usas el motor de InnoDB, analiza otros como ndbcluster, deberás tocar la programación del foro /web site en sí para implementar todo un sistema basado en clustering.
Algo que podria darte una solucion a gran escala y "dormir tranquilo" es usar Oracle como base de datos.
Con Oracle y un servidor no muy grande [HP Proliant G3 2xINTEL XEON 2.4 GHZ 4gb RAM 1.8 TB en RAID] Corriendo con Linux podrás tener todo en orden.

Por otro lado se que por ahi te asusta un poco las caracteristicas del server, pero si queres jugar en "Primera A" tenes que apostar a utilizar tecnologia buena (los servers Proliant G3 de HP ya son viejos van por la serie G5) pero para lo tuyo es más que suficiente.

Ojalá haya podido ayudarte.
Un Abrazo
Diego.