Общий принцип работы поисковых систем Если говорить коротко и упрощенно, то работают все поисковые системы так: Crawler по указанию Spider скачивает новые неизвестные страницы с сайта, они анализируются, определяются ссылки с этих страниц, по которым Spider опять уходит на поиски нового контента, обнаруживает их, дает команду Crawler на скачивание и далее на анализ и так до бесконечности. В найденных страницах анализируется содержание и они встраиваются в общий рейтинг (индекс поисковой системы). Надо знать, что поисковые боты (роботы) запрашивают серверы, на которых расположены сайты, есть ли на «подведомственных» сайтах что-нибудь новое. Если сервер, отвечает утвердительно, то боты начинают искать и скачивать новые страницы. Или измененные страницы, если Вы вносили изменения. Поэтому вносить изменения в уже опубликованные статьи не менее важно, чем писать новые: в глазах робота – это тоже новый контент. Отсюда, кстати, вытекает то, что надежность сервера, на котором ...