Developer Security Suite

Generación 100% Privada en tu Navegador

Bloqueador de Bots y Scrapers IA (Generador robots.txt)

Protege tu contenido frente al entrenamiento no autorizado de modelos de IA sin perder visitas de Google ni de motores de búsqueda con IA.

Ajustes en 1 Clic

8 / 12 Bloqueado

Estos bots extraen datos para entrenar modelos LLM sin generar tráfico hacia tu sitio.

GPTBotOpenAI

Scrapes web content to train OpenAI models (GPT-4/GPT-5).

ClaudeBotAnthropic

Crawls content for training Anthropic Claude models.

Google-ExtendedGoogle

Used for training Google Gemini and Vertex AI models.

BytespiderByteDance

Aggressive ByteDance crawler used for training TikTok AI.

CCBotCommon Crawl

Public web scraper dataset frequently used in training datasets.

Meta-ExternalAgentMeta

Scrapes web data to train Meta LLaMA and AI models.

DiffbotDiffbot

Commercial AI web scraping & knowledge graph crawler.

cohere-aiCohere

Scrapes content to train Cohere enterprise language models.

Consultores en tiempo real que citan enlaces a tu web en las respuestas a los usuarios.

OAI-SearchBotOpenAI

Used by ChatGPT Search to find real-time answers and cite web sources.

PerplexityBotPerplexity

Crawls content for real-time citations in Perplexity AI search.

Rastreadores necesarios para que tu web aparezca en Google y Bing.

GooglebotGoogle

Indexes web pages for Google Web Search results.

BingbotMicrosoft

Indexes web pages for Bing & Yahoo search engines.

URL del Sitemap XML (Opcional)

Rutas Específicas a Prohibir (Separadas por comas)

robots.txt

47 lines•852 chars

# ==============================================================================
# robots.txt generated by DevsLoad AI Bot & Scraper Blocker
# https://devsload.com/ai-robots-txt-generator
# ==============================================================================

# --- Allowed Search Engines & AI Search Assistants ---
User-agent: OAI-SearchBot
Allow: /

User-agent: PerplexityBot
Allow: /

User-agent: Googlebot
Allow: /

User-agent: Bingbot
Allow: /

# --- Blocked AI Training Scrapers & Crawlers ---
User-agent: GPTBot
Disallow: /

User-agent: ClaudeBot
Disallow: /

User-agent: Google-Extended
Disallow: /

User-agent: Bytespider
Disallow: /

User-agent: CCBot
Disallow: /

User-agent: Meta-ExternalAgent
Disallow: /

User-agent: Diffbot
Disallow: /

User-agent: cohere-ai
Disallow: /

# --- General Crawler Rules ---
User-agent: *
Allow: /

¿Por Qué Elegir DevsLoad para Bloquear Bots de IA?

Diferenciación Precisa

Separa los scrapers de entrenamiento de los buscadores con citas directas.

Sintaxis Segura

Evita errores accidentales que podrían desindexar tu sitio web de Google.

100% Sin Servidor

Se genera directamente en tu navegador sin almacenar tus rutas ni tu dominio.

Descarga Directa

Obtén tu archivo listo para colocar en la raíz de tu servidor web.

Cómo Configurar tu Archivo robots.txt para IA

1. Elige un Ajuste

Pulsa "Protección Inteligente" para bloquear scrapers de entrenamiento sin afectar a tu SEO.

2. Personaliza los Bots

Activa o desactiva bots específicos según tus necesidades de privacidad.

3. Descarga y Publica

Descarga el archivo y súbelo a la carpeta raíz de tu web (tudominio.com/robots.txt).

Preguntas Frecuentes

¿Bloquear Google-Extended afecta mi posicionamiento en Google?

No. Google-Extended solo se usa para entrenar Gemini y Vertex AI. La búsqueda tradicional usa Googlebot.

¿Dónde se debe subir el archivo robots.txt?

Guarda el archivo generado y súbelo a la raíz de tu dominio (ejemplo: tudominio.com/robots.txt).

Related Developer Tools

Boost your development workflow with more free, 100% private in-browser tools.