На днях, согласно данным анализаторов поисковых машин компании «Ашманов и партнеры», «Яндекс» продемонстрировал скачок полноты своих англоязычных индексов. Иными словами, количество англоязычных документов в выдаче «Яндекса» существенно увеличилось. Отображенный на графиках обгон Google был вызван технической ошибкой анализаторов, однако сам по себе скачок полноты индекса «Яндекса» согласно информации самого «Яндекса» действительно имел место.
Показатель полноты индекса не слишком важен. Современные поисковые машины не испытывают проблем с полнотой, а пользователю нужна чаще всего первая десятка, реже - двадцатка результатов. Гораздо важнее обеспечить точность. Если поисковик знает, что конкретные 10 документов являются наилучшим из всех возможных ответов на данный поисковый запрос, то все прочие документы ни ему, ни пользователю не нужны. Более того, полнота современных поисковиков избыточна. Примерно половина всех документов, имеющихся у поисковиков в индексе, никогда, ни разу не была показана пользователям ни по какому запросу. То есть половина документов в индексе поисковиков - лишняя, она никак не влияет на поисковую выдачу. Правда, заранее, индексируя документ, никак нельзя сказать, в какую половину он попадет: в нужную или в ненужную.
Впрочем, пополняя свой англоязычный индекс, «Яндекс» заботился не только о количестве, но и о качестве. «Робот «Яндекса» регулярно скачивает миллиарды англоязычных страниц. Затем алгоритм выбирает из них те, которые могут быть интересны пользователям в качестве ответа, и они подключаются в поиск. На днях состоялся тестовый запуск улучшенной версии алгоритма, в том числе благодаря нашему методу машинного обучения MatrixNet. В результате в поиске «Яндекса» стало гораздо больше качественных страниц, и это отразилось на графике», - пояснил руководитель отдела веб-поиска «Яндекса» Александр Садовский.
В контексте происходящего важно понять, что и зачем делает «Яндекс». Означает ли работа над увеличением полноты англоязычного индекса, что российский поисковик начал работать на западную аудиторию? Скорее всего - нет. Как пояснил г-н Садовский, поиск по сайтам на других языках делается для того, чтобы обслужить интересы русскоговорящей аудитории в западном Интернете (доля запросов на латинице сегодня составляет около 10%).