сложную версию TF-IDF.
TF-IDF (сокращение от «термин частота – обратная частота документа») используется для измерения важности данного ключевого слова на странице. В отличие от плотности ключевых слов, он не просто показывает, сколько раз термин используется на странице; он также анализирует большой набор страниц и пытается определить, насколько важно то или иное ключевое слово.
Скажем, в ремонте автомобилей термин «ремонт шин», вероятно, важнее, чем «ремонт двигателя с турбонаддувом» – просто потому, что у каждого автомобиля есть шины, и только у небольшого количества автомобилей есть турбодвигатели. Из-за этого термин «ремонт шин» будет использоваться в большем наборе страниц, которые говорят о ремонте автомобилей.
Исследуя статистику ключевых слов большого числа ваших конкурентов, формула TF-IDF покажет вам:
1) Какие ключевые слова являются наиболее важными и актуальными для вашей темы;
2) Какие из них используются на вашей странице должным образом (насколько поисковые системы ожидают их появления, поскольку известно, что Google использует TF-IDF при индексации);
3) Какие термины на вашей странице используются слишком много или слишком мало.
Учитывая, что Google не берет во внимание те ключи, которые указаны на веб странице, может оказаться, что в тексте он возьмёт другие ключевые фразы, и будет ранжировать по ним.
Например, создана страница, и как бы оптимизирована под фразу «ремонт компьютеров». Внесла «ремонт компьютеров» с плотностью 5%, но в тексте повторила фразу «наша компания» гораздо больше раз. Такой вариант Google посчитает текст переспамленным по фразе «наша компания». И это грозит тем, что веб страница вылетает из ТОПа.
Другая сторона вопроса – это запросы, с которыми Google сталкивается впервые, и на них нет уже заготовленных ответов, а таких примерно 25%. Подбирать же ответ по наибольшему наличию введённых пользователем слов – заведомо выдавать мусор. Не известно как оптимизирована веб-страница, ведь Google не анализировал её в этом разрезе. Поэтому поисковик начал работать с введёнными пользователем словами, пытаясь понять суть вопроса, на который нужно дать ответ.
Термин «ключевые слова» уже утратил своё смысловое значение с вводом алгоритма RankBrain как составная часть фильтра Колибри (Hummingbird) в 2015 году. Google, по введённым словам, пытается понять суть вопроса, чтобы подобрать наиболее подходящий ответ.
Вот как Грег Коррадо описал RankBrain в то время:
«RankBrain использует искусственный интеллект для встраивания огромного количества письменного языка в математические объекты – так называемые векторы – которые компьютер может понять. Если RankBrain видит слово или фразу, с которыми он не знаком, машина может догадаться, какие слова или Фразы могут иметь аналогичное значение и соответствующим образом фильтровать результат, что делает его более эффективным при обработке поисковых запросов, которых раньше не было».
RankBrain использует так