Генеральный директор Cloudflare Мэтью Принс опубликовал данные, из которых следует, что Google сканирует веб-страницы в значительно большем объёме, чем конкуренты, что может сохранить за компанией преимущество в развитии искусственного интеллекта.
По представленной информации, Google индексирует примерно в 3,2 раза больше страниц, чем OpenAI. При этом объём доступа Google к контенту в 4,6 раза превышает показатели Microsoft и почти в пять раз превышает объёмы Anthropic и Meta.
Веб-сканирование — это автоматизированный процесс, при котором программы обходит сайты и собирают данные для последующего анализа и индексации.
Принс заявил в подкасте, что уникальный доступ Google к содержимому сети даёт компании преимущество, поскольку в эпоху ИИ ключевую роль играет объём доступных данных.
Ранее, в ноябре 2025 года, он уже высказывал опасения по поводу гегемонии Google в области веб-сканирования и указывал, что преимущество компании усиливается связкой её поискового краулера и механизмов сбора данных для ИИ.
Для издателей это создаёт выбор между блокировкой краулера Google с риском потерять видимость в поиске и разрешением использовать контент для обучения моделей. При этом многие другие компании, разрабатывающие ИИ, явно идентифицируют свои краулеры, что облегчает их блокировку владельцами сайтов.
Cloudflare также сообщает, что с 1 июля 2025 года на стороне клиентов было заблокировано около 416 миллиардов запросов, связанных с работой ИИ, преимущественно касающихся участников рынка, соблюдающих прозрачность идентификации краулеров. Без изменений, по мнению Принса, историческое доминирование Google в поиске может перерасти в длительное преимущество в области ИИ, если доступ к данным не будет уравнен.
Комментариев