Arama Devi Google’ın, tanımladığı sayfa sayısının geçtiğimiz yaz 1 trilyonu geçtiği açıklandı. Hem de sessiz sedasız bir biçimde. Ancak, sayı oldukça büyük olsa da web’deki gerçek sayfa sayısının çok daha altında olduğu gerçeğini gizlemiyor.
Bu sayfaların dışında finansal bilgileri, alışveriş kataloglarını, uçuş saatlerini, tıbbi araştırmaları içeren daha binlerce sayfa indekslenmeyi bekliyor. Bunların pek çoğu dünya kamuoyunun bilgisi dışında sanal alemde kendi başlarına dolanmayı sürdürüyor. Mücadelenin bir kısmı da, ‘Deep Web’ olarak tanımlanan ve arama motorlarının göremedikleri bu büyük bilgi yığınının istenilen cevapları sağlayacak bir düzenden yoksun olmalarından kaynaklanıyor.
Üzerinde çalışılan yeni metodojilerle, bir buzulun altındaki ana kütle misali öylece duran bilgilerin ayıklanıp, internet kullanıcılarına faydalı hale getirilmeleri sağlanıyor. Arama motorları, ‘örümcek’ olarak adlandırılan yazılımlar ve hiperlinkler aracılığıyla ipuçlarını takip ederek ağı bir uçtan diğerine bağlıyorlar. Web’deki, bilgileri kullanılabilir kaynaklara dönüştürmek üzere kurulan kosmix.com’un, ortaklarından Anand Rajaraman, pek çok arama motorunun, kullanıcıların samanlıkta iğne aramalarına yardımcı olduğunu belirterek, kendierinin ise kullanıcılara samanlığı keşfedebilme olanağını sunduklarını söyledi.
Kullanıcıları arasında Amazon’un CEO’su Jeffrey Bezos’un da bulunduğu kosmix.com, geliştirdiği bir yazılımla, aranan bilgiye sahip web sitelerinden toparladığı bilgileri bir bütün olarak kullanıcıya sunuyor.
Dünya çapında ağın, her gün yeni eklenen verilerle çok büyük bir bilgi dposu anlamına geldiğini belirten Rajaraman, ne kadar güçlü olursa olsun herhangi bir arama motorunun tüm bu, bilgiyi eekleyerek kullanabilir kılmasının mümkün olamayacağını söyledi. Araştırmacılar, anlamlı bir veri sunabilmesi için, arama motorunun öncelikli olarak kullanıcıların girdikleri kelimeleri doğru analiz etmeleri gerektiğine işaret ediyorlar. Şu anda Google’da, ‘Derin Web’ bilmecesini çözme işiyle uğraşan Prof. Alon Halevy, web’de ayrı ayrı yer alan bilgileri anlamlandırmanın çok enteresan ve zor bir görev olduğunu ifade ediyor. Google’ın, daha derinlerde bulunan bilgileri kullanıcılara kazandırma stratejisi, varolan bilgilerin, gönderilen bir program çerçevesinde içerik analizine tabi tutulmasıyla sağlanıyor.
‘Derin Web’den, gelen arama sonuçlarını kullanıcılarına sunmak isteyen arama motorlarının, öncelikle farklı verileri birbirleriyle karıştırmadan sınıflandırmaları gerekiyor. Bu, ise, zaman zaman kabul edilen arama standartları dışına çıkabilen ‘Arama Devi’ Google’a karşı belli bir önyargının oluşması sonucunu doğuruyor. Derin Web bilgilerini bulan tekniğinin, tüketici araştırmalarının ötesinde faydalar sağlayabileceğine dikkati çeken gözlemciler, buna çok önemli bir sağlık sitesinin hedef kullanıcı tarafından kolaylıkla bulunabilmesini örnek olarak gösteriyorlar. Aynı şekilde, kamuya faydalı bir web sitesinde bulunan çok önemli araştırmaların, buna gerçekten ihtiyacı olan kişi ya da kuruluşlar tarafından bulunmasının sağlanabileceğini belirtiyorlar.
İleri düzeyde veri bütünleştirmesinin, geleceğin ‘Semantik Web’ vizyonu için önemli bir adım olduğunu belirten araştırmacılar, ‘Derin Web’ arama tekniğinin ise, veri yapılarının otomatik analiz edilmeleri dolayısıyla çok daha ucuza mal olabileceğini ifade ediyorlar. Sistemin, en büyük faydalarından birinin, birbiriyle hiç ilgisi olmayan kaynakları bir araya getirmesi olduğunu anlatan, ‘Derin Web’ kavramının yaratıcısı Mike Bergman, bir diğerininse uzun vadede iş yapış metodunda meydana getireceği değişiklik olduğuna dikkati çekiyor.
Kaynak : 