A Decodo, fornecedora de infraestrutura de dados da web, lançou a Web Data API, uma solução que centraliza o trabalho de scraping, mapeamento, crawling e busca em uma única chave de API. Essa nova ferramenta foi projetada para startups de IA que desenvolvem agentes ou pipelines de recuperação de dados, permitindo acesso a informações atualizadas e estruturadas de forma mais eficiente.
Segundo o CEO da Decodo, Vaidotas Juknys, as startups de IA costumam não ter tempo para construir a própria infraestrutura de scraping. “A Web Data API oferece uma chave única para scraping, busca, mapeamento e crawling. Isso significa menos tempo na infraestrutura e mais tempo no produto”, afirmou Juknys.
Desafios de Dados que as Startups de IA Enfrentam
Os modelos de linguagem treinam com uma informação fixa, mas agentes que monitoram empresas, feeds de notícias ou listas de preços necessitam de dados atualizados. O método de recuperação aumentada por geração (RAG) também depende da frescor dos documentos recuperados.
Obter páginas ao vivo requer um complexo sistema de scrapers utilizando IPs rotativos, superando CAPTCHAs e detecções de bots, seguidos pela limpeza de páginas e remoção de conteúdo desnecessário. Montar essa infraestrutura pode desviar a atenção dos engenheiros do desenvolvimento de produtos.
Conheça a Web Data API
A Web Data API foi desenvolvida para eliminar esse trabalho adicional, reunindo quatro endpoints em uma única conta e chave de API, eliminando a necessidade de contratos separados. Cada endpoint aborda uma etapa distinta no processo de coleta de dados da web:
- Scrape: recupera o conteúdo limpo de uma única página, mesmo com proteção anti-bot.
- Search: fornece resultados da web ao vivo, substituindo a anterior Fast Search API.
- Map: revela a estrutura de um site, retornando até 147.000 URLs por chamada.
- Crawl: segue automaticamente os links de um site, coletando até 10.000 páginas em um único trabalho.
Um Fornecedor para Todos os Endpoints
Como os quatro endpoints operam com uma única chave de API, as equipes recebem uma única fatura, um painel de controle unificado e um só lugar para monitorar o uso. A Decodo também conta com uma rede de proxies com mais de 125 milhões de IPs em mais de 195 locais, simplificando o processo de aquisição e suporte.
Como as Equipes Estão Utilizando os Endpoints
Os endpoints já estão sendo aplicados em diversos fluxos de trabalho, adequados às necessidades dos usuários:
- Equipes de RAG transformam um site de documentação em Markdown limpo para integração através de um único trabalho de crawling.
- Desenvolvedores que criam ferramentas de codificação utilizam a busca para trazer resultados ao vivo para um IDE ou agente.
- Equipes jurídicas e de pesquisa localizam documentos, mapeando o site de um regulador antes de coletá-los.
- Equipes de inteligência competitiva repetem regularmente trabalhos de mapeamento e crawling para monitorar o catálogo de um concorrente ao longo do tempo.
A grande vantagem é que todos esses fluxos de trabalho podem ser executados sem a necessidade de uma pilha separada de scraping.
Comece Aqui
A Decodo oferece até 10.000 solicitações gratuitas por mês, com uma cota compartilhada entre todos os quatro endpoints, sem exigir cartão de crédito. Essa cota é renovada mensalmente, permitindo que as equipes realizem um teste real antes de optarem por um plano pago.
Para as startups de IA que estão avaliando o tempo e o orçamento necessários para desenvolver uma infraestrutura de scraping interna em comparação com a licença da Web Data API, a nova solução reúne extração de páginas com busca, descoberta e crawling em uma única integração, permitindo um ajuste mais fácil em seus processos existentes.
