Web scraping usando Golang

 Vamos criar um programa em **Golang** que faça uma busca na internet sobre uma palavra e armazene o resultado em um arquivo de texto. Para ...

Veja Web scraping usando Golang

 Vamos criar um programa em **Golang** que faça uma busca na internet sobre uma palavra e armazene o resultado em um arquivo de texto. Para isso, você pode utilizar um **webcrawler** que faça **scraping** dos resultados de busca.

Para fazer isso, você pode utilizar a biblioteca **goquery** para fazer a busca na internet e extrair os resultados da página. Em seguida, você pode armazenar os resultados em um arquivo de texto.

Aqui está um exemplo de código em Golang que faz uma busca no Google por uma palavra-chave e armazena os resultados em um arquivo de texto:

```go

package main

import (

    "fmt"

    "io/ioutil"

    "log"

    "net/http"

    "os"

    "time"

    "github.com/PuerkitoBio/goquery"

)

func main() {

    // Define a palavra-chave a ser pesquisada

    palavraChave := "golang"

    // Define o nome do arquivo de saída

    nomeArquivo := "resultados.txt"

    // Cria o arquivo de saída

    arquivo, err := os.Create(nomeArquivo)

    if err != nil {

        log.Fatal(err)

    }

    defer arquivo.Close()

    // Cria um cliente HTTP

    cliente := &http.Client{

        Timeout: 30 * time.Second,

    }

    // Faz uma requisição HTTP para o Google

    url := fmt.Sprintf("https://www.google.com/search?q=%s", palavraChave)

    resposta, err := cliente.Get(url)

    if err != nil {

        log.Fatal(err)

    }

    defer resposta.Body.Close()

    // Extrai os resultados da busca

    documento, err := goquery.NewDocumentFromReader(resposta.Body)

    if err != nil {

        log.Fatal(err)

    }

    // Armazena os resultados em um arquivo de texto

    var tamanho int64

    documento.Find("h3").Each(func(i int, s *goquery.Selection) {

        titulo := s.Text()

        link, _ := s.Parent().Attr("href")

        linha := fmt.Sprintf("%s\n%s\n\n", titulo, link)

        _, err := arquivo.WriteString(linha)

        if err != nil {

            log.Fatal(err)

        }

        info, err := arquivo.Stat()

        if err != nil {

            log.Fatal(err)

        }

        tamanho = info.Size()

        if tamanho > 10*1024*1024 {

            log.Fatal("O arquivo de saída atingiu o limite de 10MB")

        }

    })

    fmt.Printf("Os resultados da busca foram armazenados no arquivo %s\n", nomeArquivo)

}

```

Esse código faz uma busca no Google pela palavra-chave "golang" e armazena os resultados em um arquivo de texto chamado "resultados.txt". O tamanho máximo do arquivo é de **10MB**. Você pode adaptar esse código para fazer uma busca em outros mecanismos de busca e extrair outras informações dos resultados da busca.

Gostou da Web scraping usando Golang Não se esqueça de curtir e compartilhar com seus amigos o Web scraping usando Golang para apoiar o nosso trabalho!

Anterior

Proximo