новая папка / лаб 7-8 / CrawlerTask

import java.io.*;
import java.net.*;
import java.util.regex.*;

public class CrawlerTask implements Runnable {

    // регулярное выражение для поиска ссылок на сайте
    public static final String LINK_REGEX = "href\\s*=\\s*\"([^$^\"]*)\"";
    public static final Pattern LINK_PATTERN = Pattern.compile(LINK_REGEX, Pattern.CASE_INSENSITIVE);

    // количество милисекунд ожидания ответа от сервера
    public static int maxPatience = 5; 

    private URLPool pool;

    // конструктор класса
    public CrawlerTask(URLPool p) {
        pool = p;
    }

    // отправление запроса, получает пару, возвращает сокет 
    public Socket sendRequest(URLDepthPair nextPair)
            throws UnknownHostException, SocketException, IOException {
        // создает новый HTTP сокет
        Socket socket = new Socket(nextPair.getHost(), 80);
        socket.setSoTimeout(maxPatience * 1000);

        // вызов потока вывода
        OutputStream os = socket.getOutputStream();
        // преобразование полученных символов в байты
        PrintWriter writer = new PrintWriter(os, true);

        // обращение к серверу
        writer.println("GET " + nextPair.getDocPath() + " HTTP/1.1");
        writer.println("Host: " + nextPair.getHost());
        writer.println("Connection: close");
        writer.println();

        return socket;
    }

    // работа с адресом
    public void processURL(URLDepthPair url) throws IOException {
        Socket socket;
        try {
            socket = sendRequest(url);
        } catch (UnknownHostException e) {
            System.err.println("Host " + url.getHost() + " couldn't be determined");
            return;
        } catch (SocketException e) {
            System.err.println("Error with socket connection: " + url.getURL() +
                    " - " + e.getMessage());
            return;
        } catch (IOException e) {
            System.err.println("Couldn't retrieve page at " + url.getURL() +
                    " - " + e.getMessage());
            return;
        }

        // получение информации от потока сокета
        InputStream input = socket.getInputStream();
        BufferedReader reader = new BufferedReader(new InputStreamReader(input));

        String line;
        // пока строка не пустая
        while ((line = reader.readLine()) != null) {
            // поиск паттерна в строке
            Matcher LinkFinder = LINK_PATTERN.matcher(line);
            // поиск последующего элемента инпутстрима, подходящего по паттерну
            while (LinkFinder.find()) {
                String newURL = LinkFinder.group(1);

                URL newSite;
                try {
                    if (URLDepthPair.isAbsolute(newURL)) {
                        newSite = new URL(newURL);
                    } else {
                        newSite = new URL(url.getURL(), newURL);
                    }
                    pool.add(new URLDepthPair(newSite, url.getDepth() + 1));
                } catch (MalformedURLException e) {
                    System.err.println("Error with URL - " + e.getMessage());
                }
            }
        }
        reader.close();

        // закрытие сокета
        try {
            socket.close();
        } catch (IOException e) {
            System.err.println("Couldn't close connection to " + url.getHost() +
                    " - " + e.getMessage());
        }
    }

    // работа с первый адресом пула, вызывается в отдельном потоке
    public void run() {
        URLDepthPair nextPair;
        while (true) {
            nextPair = pool.get();
            try {
                processURL(nextPair);
            } catch (IOException e) {
                System.err.println("Error reading the page at " + nextPair.getURL() +
                        " - " + e.getMessage());
            }
        }
    }
}