Un desarrollador creó sprinklz.io, un lector de feeds personalizable que puede reducir la prioridad de temas como los LLM, y publicó el proyecto en Hacker News. Recibió unas cien votaciones positivas, y los usuarios parecieron disfrutar filtrando el contenido de IA, lo que demostró la utilidad de una herramienta así.
Poco después, el sitio web se volvió dolorosamente lento. Al principio, el desarrollador supuso que la atención adicional era la culpable, pero la ralentización continuó e incluso empeoró varios días después de la publicación. Al registrar todos los endpoints, se descubrió que la mayoría de las solicitudes nunca intentaban obtener artículos de noticias. Como el sitio es una aplicación de una sola página, la mayoría de estas solicitudes ni siquiera ejecutaban el JavaScript necesario para renderizar una página.
Los registros de NGINX mostraron que casi la mitad del tráfico procedía de un solo usuario, un servicio que se describe a sí mismo como un sistema que vigila los cambios en sitios web y los resume en boletines generados por IA. Consultaba el sitio muchas veces por minuto, y el desarrollador lo bloqueó. Otras fuentes eran rastreadores estándar de Claude, OpenAI y el indexador de búsqueda de Google, que se identificaron. También aparecieron algunos escáneres de vulnerabilidades, uno de ellos buscando un archivo de WordPress, aunque el sitio no utiliza WordPress.
El desarrollador actualizó robots.txt para desalentar a la mayoría de los escáneres de IA, permitiendo a Googlebot y otro tráfico de búsqueda, y añadió límites de frecuencia razonables. La lección principal fue la necesidad de un sitio más rápido y escalable. En las semanas siguientes, el desarrollador realizó varias mejoras de infraestructura que deberían traer mejoras de rendimiento sustanciales para todos los usuarios.
Fuente: Hacker News · Resumido por HeadlinesBriefing