Google’ın, sahip olduğu arama gücü herkesin malumu. ‘Arama Devi’, algoritmasıyla sadece bulmakla kalmıyor, kullanıcılara arayabileceği diğer seçenekleri de sunuyor. Google altyapısında yer alan Google File System (GFS) ile Google MapReduce, bilgiyi depolayan ve gerektiğinde kolayca analiz eden yazılım platformları. Google algoritmasını destekleyen MapReduce, arama motorunda kayıtlı tüm bilgilerin pratik ve seri bir biçimde bulunabilmesini sağlıyor. Google’ın, altyapında 2 sene görev yapan M.C. Srivas, burada kazandığı bilgi ve deneyimi şimdilerde dünyaya anlatıyor.
Google’dan, 2009 yılında ayrılan Srivas, bilgi ve tecrübesini, sonradan katıldığı start up MapR aracılığıyla ortalama büyüklükteki şirketlere pazarlıyor. Srivas’ın, şirketlere sunduğu sistemler arasında bilgilerin, ölçeklenebilir dağıtık bir yapıda fonksiyonunu sağlayan açık kaynak kodlu Hadoop’un bir benzeri de bulunuyor. Google’da çalışırken Hadoop projesinde gördüğü eksiklikleri kamuoyuyla paylaştığını anlatan Srivas, bundan 3 yıl sonra halen bazı eksikliklerin dikkatini çektiğini ifade ediyor.
Yahoo ve Facebook’un, Google’ın Hadoop projesindeki araştırmalarından faydalanarak sunucu sistemlerini kurduklarını ifade eden Srivas, tek bir noktadan doğacak hatanın bütün platformun çözülmesi riskini ortaya çıkarttığını belirtiyor. Facebook gibi dev ölçekli teknoloji şirketlerinin bu gibi durumlarla başa çıkabilecekleri değerlendirmesini yapan Srivas, ancak az sayıda personelle iş yapmak durumunda olan ortalama bir şirketin bunu aşamayacağını söylüyor.
M.C. Srivas, Google’ın, bir süre önce yapılacak işlemlerin birden fazla iş birimine dağıtılmasını sağlayan “MapReduce” yöntemini devre dışı bırakarak, yerine çok daha seri indexleme kontrolü sağlayan, dinamik ilk sayfa sonuçları üreten Caffeine’e geçtiğini ifade ediyor. Arama motoru dünyasında bu tarafa doğru bir gelişimin olduğunu belirten Srivas, Hadoop platformunda gerekli iyileştirmeleri sağlamak için çalıştıklarını kaydediyor.
