Данные Cloudflare указывают на то, что объединение поисковых краулеров и систем сбора данных для искусственного интеллекта даёт Google значимое преимущество в объёме доступной информации, заявил генеральный директор Cloudflare Мэтью Принс.
По внутренним измерениям Cloudflare, Google видит в 3,2 раза больше страниц, чем OpenAI. Разрыв ещё больше по сравнению с другими игроками: у Google в 4,6 раза больше контента, чем у Microsoft, и в 4,8 раза больше, чем у Anthropic или Meta.
Объяснение этому, по словам Принса, заключается в том, что Google сочетает свои поисковые краулеры с краулерами для обучения моделей ИИ. В результате владельцы сайтов оказываются не в состоянии запретить использование контента для обучения без риска утратить видимость в поиске Google.
Принс рассматривает такую практику как расширение давней рыночной доминации Google на новый сектор — генеративный ИИ — что создаёт неравные условия для конкурентов.
С 1 июля Cloudflare заблокировал 416 миллиардов запросов, связанных с ИИ, для своих клиентов. Эти блокировки в основном затрагивают организации, которые следуют стандартам или явно идентифицируют своих краулеров, тогда как Google, по утверждению Принса, обходит такие ограничения благодаря тесной интеграции поисковых и ИИ-систем.
Издатели оказались перед выбором: либо разрешить использовать свой контент для обучения моделей Google, либо сохранить видимость в поиске. Для многих потеря выдачи в поиске может привести к серьёзным финансовым последствиям.
По мнению Принса, продвижение в этой области потребует давления или убеждения Google разделить свои краулеры. Без такого разделения у владельцев контента остаётся мало практических способов защитить материалы или договориться о лицензионных условиях, которые станут важны в эпоху генеративного ИИ.
Комментариев