OAKLAND, Kaliforniya – 2000 yılında, kuruluşundan sadece iki yıl sonra, Google, önümüzdeki 20 yıldaki hakimiyetinin temelini atacak bir kilometre taşına ulaştı: Daha fazla indeksle dünyanın en büyük arama motoru oldu bir milyardan fazla web sayfası.
İnternetin geri kalanı asla yetişemedi ve Google’ın dizini büyümeye devam etti. Tahminlere göre bugün, 500 milyar ile 600 milyar web sayfası arasında bir yerde.
Şimdi, dünyanın dört bir yanındaki düzenleyiciler, bu hafta kadar erken bir zamanda eyalet başsavcılarından beklenen bir arama tekeli davası ve Adalet Bakanlığı’nın Ekim ayında açtığı antitröst davası da dahil olmak üzere, Google’ın gücünü engellemenin yollarını incelerken, büyüklüğüne sahip bir şirketle güreşiyorlar. rakipleri ezmesine izin verdi. Ve bu rakipler, müfettişleri şirketin çekim merkezi olan devasa endekse yönlendiriyorlar.
“İnsanlar daha küçük dizine sahip bir arama motorundaysa, istedikleri sonuçları her zaman alamayacaklar. Yaklaşık 20 yıl önce yaklaşık beş milyar web sayfasından oluşan bir dizine sahip bir arama motoru olan Gigablast’ı başlatan Matt Wells, daha sonra Google’a gidip Google’da kalıyorlar ”dedi. Benim gibi küçük bir adam rekabet edemez. “
Google’ın aramasının nasıl çalıştığını anlamak, neden bu kadar çok şirketin rekabet etmeyi neredeyse imkansız bulduğunu ve aslında ihtiyaçlarını karşılamak için kendi yollarından çıktığını anlamanın anahtarıdır.
Her arama isteği, Google’a arama algoritmasını daha akıllı hale getirmek için daha fazla veri sağlar. Google, diğer arama motorlarından o kadar çok arama yaptı ki, tüketicilerin ne aradığını anlamada rakiplerine göre büyük bir avantaj sağladı. Google’ın yaklaşık yüzde 90’lık bir pazar payına sahip olması nedeniyle, bu liderlik büyümeye devam ediyor.
Google milyarlarca kullanıcıyı İnternet üzerindeki konumlara yönlendirir ve bu trafiğe aç olan web siteleri şirket için farklı bir kurallar dizisi oluşturur. Web siteleri, Google’ın sözde web tarayıcılarına – interneti otomatik olarak tarayan ve web sayfalarını tarayan bilgisayarlar – daha fazla ve daha sık erişim sağlar ve şirketin internette bulunanlara ilişkin daha kapsamlı ve güncel bir dizin sunmasına olanak tanır.
Bir yazılım mühendisi olan Zack Maril, Bandcamp müzik sitesinde çalışırken, Google’ın hakimiyetinin onu web siteleri için nasıl bu kadar önemli hale getirdiğiyle ilgilenmeye başladı.
2018’de Google, tarayıcısı Googlebot’un Bandcamp’ın sayfalarından biriyle sorun yaşadığını söylediğinde, Bay Maril sorunu gidermeyi öncelik haline getirdi çünkü Google sitenin trafiği için kritik öneme sahipti. Diğer tarayıcılar sorunlarla karşılaştığında, Bandcamp genellikle bunları engeller.
Bay. Maril, web sitelerinin Google için kapılarını açıp başkaları için kapatmasının farklı yollarını araştırmaya devam etti. Geçen yıl, bir House antitröst alt komitesine “Google’ı Anlamak” adlı 20 sayfalık bir rapor gönderdi ve ardından diğer şirketlerin neden Google’ın endeksini yeniden oluşturamadığını açıklamak için araştırmacılarla bir araya geldi.
Doğrudan Google ile rekabet etmeyen başka bir teknoloji şirketinde çalışan 29 yaşındaki Maril, “Tekeli için büyük ölçüde kontrolsüz bir güç kaynağı” dedi. The New York Times’ın onun adına konuşmadığı için işverenini açıklamamasını istedi.
Yazılım mühendisi Zack Maril, araştırmacılara Google’ın endeksinin ona bu kadar güç verdiğini açıkladı. Kredi. . . The New York Times için Jared Soares
House alt komitesi tarafından bu yıl yayınlanan bir raporda, Bay Maril’in Google’ın internetin gerçek zamanlı bir haritasını oluşturma çabaları ve bunun nasıl “hakimiyetine kilitlendiğine ilişkin araştırmasına atıfta bulunuldu. “Adalet Bakanlığı, Google’ın arama motorunu milyarlarca akıllı telefon ve bilgisayar üzerinde öne çıkaran ve merkeze koyan iş anlaşmalarını gevşetmek isterken, Bay Maril hükümeti müdahale etmeye ve Google’ın dizinini düzenlemeye çağırıyor. Bir Google sözcüsü yorum yapmayı reddetti.
Web siteleri ve arama motorları simbiyotiktir. Web siteleri trafik için arama motorlarına güvenirken, arama motorlarının kullanıcılara alakalı sonuçlar sağlamak için siteleri taramak için erişime ihtiyacı vardır. Ancak her tarayıcı, bir web sitesinin kaynaklarına sunucu ve bant genişliği maliyetleri açısından bir yük getirir ve bazı agresif tarayıcılar, bir siteyi kapatabilecek güvenlik risklerine benzer.
Sayfalarının taranmasının maliyeti olduğundan, web sitelerinin yalnızca kendilerine yeterli trafik yönlendiren arama motorları tarafından yapılmasına izin verme teşviki vardır. Mevcut arama dünyasında, bu durum Google’dan ve bazı durumlarda Microsoft’un Bing’den ayrılıyor.
Google ve Microsoft, İngilizce internetin gerçek zamanlı haritasını korumak için yılda yüz milyonlarca dolar harcayan tek arama motorlarıdır. İngiltere’nin Rekabet ve Piyasalar Kurumu’nun bu yaz yayınladığı bir rapora göre, bu, endekslerini oluşturmak için yıllar boyunca harcadıkları milyarlarca paraya ek olarak.
Google, Microsoft’ta pazar payının üzerinde önemli bir ayağa sahiptir. İngiliz rekabet yetkilileri, Google’ın endeksinin, Microsoft için 100 milyar ile 200 milyar arasında olan yaklaşık 500 ila 600 milyar web sayfası içerdiğini söyledi.
Diğer büyük teknoloji şirketleri, tarayıcıları başka amaçlar için kullanır. Facebook, sitesinde veya hizmetlerinde görünen bağlantılar için bir tarayıcıya sahiptir. Amazon, tarayıcısının ses tabanlı asistanı Alexa’yı iyileştirmeye yardımcı olduğunu söylüyor. Apple, kendi arama motorunu inşa etmek isteyebileceği spekülasyonlarını körükleyen kendi tarayıcısı Applebot’a sahip.
Ancak endeksleme, derin cepleri olmayan şirketler için her zaman bir zorluk olmuştur.
Gizliliğe önem veren arama motoru DuckDuckGo, on yıldan daha uzun bir süre önce tüm web’i taramayı bırakmaya karar verdi ve şimdi Microsoft’un sonuçlarını toplu hale getiriyor. Sonuçlarında görünen cevap kutuları için sonuçlar sağlamak için Wikipedia gibi siteleri taramaya devam ediyor, ancak kendi indeksini korumak genellikle şirket için mali bir anlam ifade etmiyor.
DuckDuckGo’nun CEO’su Gabriel Weinberg, “Ödeyebileceğimizden daha fazla paraya mal oluyor” dedi. Şirket, geçen yıl House antitröst alt komitesine yaptığı yazılı açıklamada, “bugün (ve öngörülebilir gelecekte) hevesli bir arama motoru başlangıcının, arama sonuçları için Microsoft veya Google’a başvurma ihtiyacını önleyemeyeceğini” söyledi.
FindX 2015’te Google’a bir alternatif geliştirmeye başladığında, Danimarkalı şirket kendi dizinini oluşturmaya başladı ve kişiselleştirilmiş sonuçlar sağlamak için kendi algoritmanızı oluşturmayı önerdi.
FindX hızla sorunlarla karşılaştı. Yelp ve LinkedIn gibi büyük web sitesi operatörleri, yeni başlayan arama motorunun sitelerini taramasına izin vermedi. Kodundaki bir hata nedeniyle, FindX’in interneti tarayan bilgisayarları bir güvenlik riski olarak işaretlendi ve internetin en büyük altyapı sağlayıcılarından oluşan bir grup tarafından engellendi. Topladıkları sayfalar genellikle spam veya kötü amaçlı web sayfalarıydı.
FindX’in kurucularından biri olan ve 2018’de kapanan Brian Schildt Laursen, “Endekslemeyi yapmanız gerekiyorsa, bu yapılması en zor şey” dedi.
Bay Schildt Laursen, kullanıcılara şirketin gelirinin bir kısmını hayır kurumlarına bağışlama seçeneği sunan Givero adında yeni bir arama motoru başlattı. Givero’yu başlattığında, Microsoft’tan arama sonuçlarını sendikasyonla yayınladı.
Çoğu büyük web sitesi, sayfalarını kimin tarayabileceği konusunda mantıklıdır. Genel olarak, Google ve Microsoft daha fazla kullanıcıya sahip oldukları için daha fazla erişime sahip olurken, daha küçük arama motorları izin istemek zorundadır.
Alman Cliqz’in CEO’su Marc Al-Hames, “Web sitelerini kopyalamanıza ve taramanıza izin vermeye ikna edecek trafiğe ihtiyacınız var, ancak içeriğinizin de dizininizi büyütmesi ve trafiğinizi artırması gerekiyor,” dedi. arama motoru yedi yıl çalıştıktan sonra bu yıl kapandı. Bu bir tavuk ve yumurta problemi. ”
Avrupa’da, Açık Arama Vakfı adlı bir grup, birçok Avrupa arama motorunun temelini oluşturabilecek ortak bir internet endeksi oluşturma planını önerdi. Grubun başkanı ve kurucusu Stefan Voigt, arama sonuçları için çeşitli seçeneklere sahip olmanın çok önemli olduğunu, çünkü insanların hangi bağlantıların gösterilip gösterilmediğini belirlemesi sadece bir avuç şirketin iyi olmadığını söyledi.
Bay Voigt, “Bunu bir veya iki şirkete bırakamayız,” dedi.
Bay Maril, sitelerin Google’ın tarayıcısına nasıl davrandığını araştırmaya başladığında 17 milyon sözde robot indirdi. txt dosyaları – esasen tarayıcıların nereye gidebileceğini belirleyen neredeyse her web sitesi tarafından yayınlanan yol kuralları – ve Google’ın rakiplerinden daha fazla erişime sahip olduğu birçok örnek buldu.
Meslektaş incelemesinden geçmiş makaleler için bir site olan ScienceDirect, yalnızca Google’ın tarayıcısının PDF belgeleri içeren bağlantılara erişmesine izin verir. Yalnızca Google’ın bilgisayarları PBS Kids’teki girişlere erişebilir. Alibaba’da. com, Çinli e-ticaret devi Alibaba’nın ABD sitesi, ürünleri listeleyen sayfalara yalnızca Google’ın tarayıcısına erişim izni verildi.
Bu yıl, Bay Maril bir kuruluş, Knuckleheads ’Club (” çünkü Google’ı yalnızca bir zavallı kişi alırdı “) ve Google’ın web’de gezinme tekeli hakkında farkındalık yaratmak için bir web sitesi kurdu.
Maril, “Google toplumda tüm bu güce sahiptir” dedi. “Ama bence bu gücün demokratik – küçük d – kontrolü olmalıdır. “
Bir The New York Times haberinden çevrildi ve haberleştirildi.