Idf (inverse document frequency — обратная частота документа) — инверсия частоты, с которой некоторое слово встречается в документах коллекции. Учёт idf уменьшает вес широкоупотребительных слов.
где
-
|D| — количество документов в корпусе;
-
—
количество
документов, в которых встречается ti (когда 
).
Таким образом, мера TF-IDF является произведением двух сомножителей: TF и IDF.
Большой вес в TF-IDF получат слова с высокой частотой в пределах конкретного документа и с низкой частотой употреблений в других документах.
Pagerunk
У истоков нового алгоритма ранжирования первым оказался Google. Он ввел понятие «случайного сёрфера» – то есть абстрактного человека, который бродит по Сети, переходя с ссылки на ссылку и просматривая все новые и новые страницы. Смысл нового алгоритма, получившего название Page Rank, сводился к попытке оценивать каждый документ с учетом его веса в среде всех других проиндексированных документов Сети, ссылающихся на оцениваемый. То есть, по сути, Page Rank – это попытка поисковой машины предсказать и использовать в качестве критерия вероятность того, что случайный пользователь попадет на ту или иную страницу. Несомненно, что данная система оценки релевантности выглядит гораздо более «помехоустойчивой», а значит, максимально полезной для пользователей поисковых машин и минимально пригодной для искусственной накрутки популярности веб-ресурсов.
Но, несмотря на свою заслуженную популярность, формула Page Rank никак не учитывала «вес» ссылок, то есть их качественную характеристику. Именно поэтому Яндекс разработал собственный алгоритм учета внешних ссылок.
PageRank (пэйдж-ранк) — один из алгоритмов ссылочного ранжирования. Алгоритм применяется к коллекции документов, связанных гиперссылками (таких, как веб-страницы из всемирной паутины), и назначает каждому из них некоторое численное значение, измеряющее его «важность» или «авторитетность» среди остальных документов. Вообще говоря, алгоритм может применяться не только к веб-страницам, но и к любому набору объектов, связанных между собой взаимными ссылками, то есть к любому графу.
PageRank — это числовая величина, характеризующая «важность» веб-страницы. Чем больше ссылок на страницу, тем она становится «важнее». Кроме того, «вес» страницы А определяется весом ссылки, передаваемой страницей B. Таким образом, PageRank — это метод вычисления веса страницы путём подсчёта важности ссылок на неё.
Индекс цитирования (или ИЦ) — принятая в научном мире мера «значимости» трудов какого-либо ученого. Величина индекса определяется количеством ссылок на этот труд (или фамилию) в других источниках. Однако для действительно точного определения значимости научных трудов важно не только количество ссылок на них, но и качество этих ссылок. Так, на работу может ссылаться авторитетное академическое издание, популярная брошюра или развлекательный журнал. Значимость у таких ссылок разная.
Тематический индекс цитирования (тИЦ) в поисковой системе Яндекс был создан, чтобы определять релевантность веб-ресурсов в Яндекс.Каталоге, принимая во внимание качество ссылок на них с других сайтов. Качество ссылки или её «вес» рассчитывались по специально разработанному алгоритму, учитывающему, в первую очередь, количество ссылок и тематическую близость ссылающихся на ресурс сайтов. При этом, однако, ссылки с иностранных ресурсов Яндексом были полностью проигнорированы. С учетом того, что сайтов не .ru и не .su в мире более, чем достаточно, погрешность окончательных расчетов может быть весьма значима для пользователя. С другой стороны, наличие сайта в западных каталогах, даже очень популярных, никак не поможет увеличить тИЦ.
Что касается оценки тематической близости ссылающихся сайтов, то Яндекс определяет схожесть тематики по расположению ресурсов в собственном каталоге. Для сайтов, не входящих в каталог, применяются другие технологии.
Итак. Заявленные формулы успеха (релевантности), находящиеся в открытом доступе для оптимизаторов веб-ресурсов, на самом деле недостаточно полны, чтобы уповать на них в реальной «борьбе» за популярность своего сайта. В то же время, как мы уже говорили, усложнение исходных алгоритмов поисковых машин отчасти провоцируют сами оптимизаторы. Разработчики поисковых машин вынуждены балансировать между попыткой найти факторы, которые трудно «накрутить», но при этом достаточные и оптимальные, чтобы справляться с основной задачей – адекватно оценивать релевантность сайтов.
Еще более загадочен алгоритм Rambler. Предполагают, что Rambler большой вес придает собственному рейтингу, а также, возможно, использует некий фильтр ссылок для оценки их количества и даты появления. Помимо этого, данный поисковик «не любит», когда количество ссылок на сайт вдруг резко увеличивается, правомерно подозревая, что имеет дело с «незаконной» накруткой.