seodefteri.orgseodefteri.org
SEO

SEO Log Analizi Nasıl Yapılır? Googlebot Verileri Okuma Rehberi

Teklif Al Markanız için ücretsiz strateji görüşmesi.
SEO Log Analizi Nasıl Yapılır? Googlebot Verileri Okuma Rehberi

SEO log analizi, Googlebot ve diğer arama motoru botlarının web sitenizde hangi URL’leri gerçekten ziyaret ettiğini inceleme sürecidir. Server access log’ları; istenen URL’yi, isteğin zamanını, HTTP durum kodunu, user-agent bilgisini ve sunucunun verdiği yanıtı göstererek tarama davranışını doğrudan analiz etmenizi sağlar.

Bu veriler sayesinde yalnızca sitenizin nasıl taranabileceğini değil, arama motoru botlarının gerçekte ne yaptığını görebilirsiniz. Önemli sayfalar yeterince taranmıyor mu, Googlebot gereksiz parametreli URL’lerde zaman mı harcıyor, 404 veya 5xx hatalarına ne sıklıkla ulaşıyor gibi soruların cevabı log dosyalarında bulunabilir.

Özellikle büyük e-ticaret siteleri, binlerce URL’ye sahip platformlar ve karmaşık filtreleme yapıları bulunan projelerde log analizi, teknik SEO kararlarını daha somut verilerle destekler.

SEO Log Analizi Nedir?

Bir web sunucusu, kendisine yapılan istekleri kayıt altına alır. SEO çalışmalarında kullanılan temel veri kaynağı genellikle access log dosyalarıdır.

Bir log kaydında sunucu yapılandırmasına bağlı olarak şu bilgiler bulunabilir:

  • İsteğin tarihi ve saati
  • Talep edilen URL veya URL yolu
  • User-agent bilgisi
  • HTTP durum kodu
  • İsteği yapan IP adresi
  • Sunucu yanıt süresi
  • Yanıt boyutu
  • Referrer bilgisi

Bu bilgiler tek başına karmaşık görünebilir. Ancak binlerce isteği birlikte analiz ettiğinizde Googlebot’un hangi sayfa türlerine yoğunlaştığı ve sitenizdeki kaynakları nasıl kullandığı daha net hâle gelir.

SEO crawler araçları sitenizi belirli kurallara göre tarar. Log analizi ise Googlebot’un geçmişte veya analiz edilen zaman aralığında sunucuya gerçekten yaptığı istekleri gösterir. Bu nedenle log verisi, bir crawl çalışmasının yerine geçmese de teknik analiz için güçlü bir doğrulama katmanı oluşturur.

SEO Log Analizi Neden Önemlidir?

Bir sitenin XML sitemap’inde yer alan her URL’nin düzenli olarak tarandığını varsaymak doğru değildir. Aynı şekilde bir SEO aracının kolayca bulduğu bir sayfa da Googlebot tarafından beklenen sıklıkta ziyaret edilmiyor olabilir.

Log analizi özellikle şu soruların yanıtını bulmaya yardımcı olur:

  • Googlebot en çok hangi URL’leri tarıyor?
  • Önemli sayfalar ne sıklıkla ziyaret ediliyor?
  • Botlar 404 ve 5xx sayfalarına ulaşıyor mu?
  • Redirect edilen URL’ler gereğinden fazla mı taranıyor?
  • Parametreli veya filtre URL’leri crawl budget tüketiyor mu?
  • Orphan page’ler Googlebot tarafından ziyaret ediliyor mu?
  • Yeni yayınlanan sayfalar ne kadar hızlı keşfediliyor?

Burada amaç yalnızca Googlebot’un daha fazla sayfa taramasını sağlamak değildir. Asıl hedef, önemli ve indekslenebilir URL’lerin düzenli olarak keşfedilmesini sağlarken gereksiz URL’lere harcanan tarama kaynaklarını azaltmaktır.

SEO Log Analizi İçin Hangi Log Dosyaları Gerekir?

SEO açısından genellikle access log dosyalarına ihtiyaç duyulur. Error log’lar sunucu hatalarını araştırmak için faydalı olsa da Googlebot’un hangi URL’leri ziyaret ettiğini görmek için access log verileri kullanılır.

Log dosyalarını web hosting sağlayıcınızdan, sunucu yöneticinizden veya CDN altyapınızdan alabilirsiniz. Apache, NGINX, IIS ve cloud altyapıları farklı log formatları kullanabilir.

Analiz öncesinde mümkün olduğunca yeterli bir zaman aralığı seçmek gerekir. Çok kısa bir veri seti, özellikle düşük crawl frequency’ye sahip sayfalarda yanıltıcı olabilir. Yaklaşık birkaç haftalık veya bir aylık veri, sitenin tarama davranışını anlamak için daha anlamlı bir başlangıç sağlar.

SEO Log Analizi Nasıl Yapılır?

Log analizi, ham veriyi bir araca yüklemekten daha fazlasıdır. En sağlıklı süreç, bot isteklerini temizledikten sonra bu verileri site crawl’ı, XML sitemap ve indeksleme verileriyle karşılaştırmaktır.

1. Access Log Dosyalarını Toplayın

İlk adım, sunucudan doğru log verilerini almaktır. Özellikle büyük altyapılarda yalnızca origin server değil, CDN veya load balancer tarafından karşılanan isteklerin de nerede kayıt tutulduğunu kontrol etmek gerekebilir.

Logların yeterli alanları içerdiğinden emin olun. URL, timestamp, user-agent, HTTP status code ve mümkünse response time gibi bilgiler analiz için önemli bir temel oluşturur.

Hosting sağlayıcınız logları kısa sürede siliyor veya döndürüyor olabilir. Bu nedenle düzenli analiz yapılacak projelerde log saklama süresinin önceden planlanması faydalıdır.

2. Gerçek Googlebot İsteklerini Ayırın

Log dosyasındaki her Googlebot user-agent’ı gerçek bir Googlebot değildir. User-agent bilgisi taklit edilebilir.

Bu nedenle kritik analizlerde botların doğrulanması gerekir. Googlebot isteklerini yalnızca user-agent adına göre değerlendirmek yerine, Google’ın önerdiği doğrulama yöntemleriyle gerçek bot trafiğini ayırmak daha güvenilir sonuç verir.

Bu adım özellikle büyük veri setlerinde önemlidir. Aksi hâlde sahte bot istekleri, Googlebot’un sitenizi ne sıklıkla ve nasıl taradığıyla ilgili yanlış yorumlara neden olabilir.

3. URL’leri Normalize Edin ve Gruplandırın

Ham log verilerinde aynı sayfa farklı URL biçimleriyle görünebilir. HTTP/HTTPS, www/non-www, büyük-küçük harf farklılıkları veya parametreler analiz sonuçlarını gereksiz şekilde parçalayabilir.

Bu nedenle URL’leri mümkün olduğunca normalize etmek gerekir. Ardından sayfaları tek tek değerlendirmek yerine şu şekilde gruplamak daha anlamlı sonuçlar sağlar:

  • Blog içerikleri
  • Kategori sayfaları
  • Ürün sayfaları
  • Hizmet sayfaları
  • Filtre ve parametreli URL’ler
  • Medya dosyaları
  • Hata veren URL’ler

Örneğin Googlebot’un toplam 100.000 isteğinin kaçının ürün sayfalarına, kaçının filtre URL’lerine gittiğini görmek, tek tek URL listesine bakmaktan daha değerli bir içgörü sağlayabilir.

4. HTTP Durum Kodlarını İnceleyin

Log analizinde ilk kontrol edilmesi gereken alanlardan biri HTTP durum kodlarıdır.

200 durum kodları, sunucunun başarılı yanıt verdiğini gösterir. Ancak her 200 URL’nin SEO açısından değerli olduğu anlamına gelmez.

301 ve 302 yönlendirmeleri, Googlebot’un eski URL’lere veya yanlış iç linklere ulaştığını gösterebilir. Tek tük eski yönlendirmeler normaldir ancak botların sürekli olarak yönlendirilmiş URL’lere ulaşması, site içindeki bağlantı yapısının incelenmesini gerektirebilir.

404 durum kodları, kaldırılmış veya yanlış URL’lerin hâlâ tarandığını gösterebilir. Bunların sitemap’te, iç linklerde veya dış bağlantılarda bulunup bulunmadığını kontrol etmek gerekir.

5xx hataları ise daha kritik olabilir. Özellikle Googlebot’un önemli URL’lerde düzenli olarak sunucu hatasıyla karşılaşması, tarama ve indeksleme açısından teknik olarak öncelikli bir sorun oluşturabilir.

Status code verisini yalnızca sayı olarak değil, hangi URL gruplarının bu hatalardan etkilendiğini inceleyerek değerlendirmek daha doğru olur.

5. Crawl Budget Nerede Harcanıyor?

Log analizinin en değerli çıktılarından biri, Googlebot’un tarama kaynaklarını hangi URL’lerde kullandığını görmektir.

Özellikle büyük sitelerde şu URL türleri gereğinden fazla crawl edilebilir:

  • Sonsuz filtre kombinasyonları
  • URL parametreleri
  • Dahili arama sayfaları
  • Yinelenen URL’ler
  • Eski yönlendirme zincirleri
  • Düşük değerli arşiv sayfaları

Örneğin bir e-ticaret sitesinde Googlebot’un önemli kategori ve ürün sayfaları yerine binlerce filtre kombinasyonunu sürekli ziyaret etmesi, teknik yapının yeniden değerlendirilmesi gerektiğini gösterebilir.

Ancak burada yalnızca “tarama sayısını azaltmak” hedeflenmemelidir. Önce hangi URL’lerin gerçekten gereksiz olduğunu, hangilerinin indeksleme stratejisinin bir parçası olduğunu belirlemek gerekir. Robots.txt, canonical, noindex ve URL mimarisi gibi çözümler sorunun kaynağına göre değerlendirilmelidir.

Bu tür analizler, kapsamlı bir Teknik SEO çalışmasının önemli parçalarından biridir.

6. Önemli Sayfalar Yeterince Taranıyor mu?

Log verisinde yalnızca gereksiz taramaları aramak yeterli değildir. Ticari değeri yüksek veya organik trafik potansiyeli bulunan sayfaların Googlebot tarafından ne sıklıkla ziyaret edildiğini de incelemek gerekir.

Örneğin önemli bir kategori sayfası uzun süredir güncellenmesine rağmen Googlebot tarafından seyrek ziyaret ediliyorsa, şu alanlar kontrol edilebilir:

  • Sayfanın site mimarisindeki konumu
  • Aldığı iç linkler
  • XML sitemap’te bulunup bulunmadığı
  • Canonical etiketi
  • İndekslenebilirlik durumu
  • Sunucu yanıtları

Bu noktada log analizi ile site crawl verisini birlikte kullanmak önemlidir. SEO crawler’ında bulunan ancak loglarda hiç görülmeyen stratejik bir URL, Googlebot tarafından beklenen şekilde keşfedilmiyor olabilir.

Böyle bir durumda sayfanın ilgili ve güçlü içeriklerden aldığı bağlantılar yeniden değerlendirilebilir. SEO’da iç linkleme yalnızca otorite aktarımı açısından değil, önemli sayfaların site mimarisi içinde daha görünür hâle gelmesi açısından da önemlidir.

7. Orphan Page’leri ve Beklenmeyen URL’leri Bulun

Orphan page, site içinde başka sayfalardan iç link almayan ancak yine de farklı yollarla erişilebilir olan URL’leri ifade eder.

Bir URL crawl aracında görünmüyor ancak log dosyalarında Googlebot tarafından ziyaret ediliyorsa, bu sayfa sitemap, eski bir bağlantı veya harici bir link üzerinden keşfedilmiş olabilir.

Bu tür URL’leri doğrudan silmek yerine önce neden tarandıklarını anlamak gerekir. Sayfa değerliyse uygun bir site yapısına dahil edilerek iç linklerle desteklenebilir. Değeri yoksa indeksleme ve yönlendirme stratejisi yeniden değerlendirilebilir.

Log verisi ile crawl verisini karşılaştırmak, bu nedenle orphan page tespitinde oldukça faydalıdır.

SEO Log Analizinde Hangi Araçlar Kullanılır?

Log dosyalarını analiz etmek için sitenin büyüklüğüne ve teknik ihtiyaçlara göre farklı araçlar kullanılabilir.

Screaming Frog Log File Analyser, log dosyalarını görselleştirerek bot davranışını ve URL gruplarını analiz etmek için kullanılan araçlardan biridir. Küçük ve orta ölçekli projelerde hızlı bir başlangıç sağlayabilir.

Excel veya Google Sheets, daha küçük veri setlerinde log verilerini filtrelemek ve diğer SEO verileriyle karşılaştırmak için kullanılabilir.

Daha büyük sitelerde ise BigQuery, ELK Stack veya kurumsal log analiz platformları tercih edilebilir.

Önemli olan en karmaşık aracı kullanmak değildir. Analiz sonucunda URL bazında veya sayfa türü bazında uygulanabilir bir teknik aksiyon planı çıkarabilmektir.

Log Analizi ile Search Console Verileri Birlikte Nasıl Kullanılır?

Google Search Console’daki Crawl Stats raporu Google’ın tarama faaliyetleri hakkında toplu veriler sunar. Log dosyaları ise sunucunuza ulaşan gerçek istekleri daha ayrıntılı şekilde incelemenizi sağlar.

Bu iki veri kaynağını karşılaştırmak, tek bir rapora güvenmekten daha sağlıklı olabilir.

Örneğin Search Console’da belirli bir tarama artışı görüyorsanız, log verisi bu artışın hangi URL gruplarından kaynaklandığını gösterebilir. Benzer şekilde önemli bir teknik değişiklik sonrasında Googlebot’un yeni URL yapısına nasıl tepki verdiğini loglar üzerinden takip edebilirsiniz.

Özellikle site taşıma, büyük URL değişiklikleri veya kapsamlı teknik geliştirmelerden sonra log analizi, yapılan değişikliklerin bot davranışını gerçekten değiştirip değiştirmediğini kontrol etmek için kullanılabilir.

SEO Log Analizinde En Sık Yapılan Hatalar

User-Agent Bilgisine Körü Körüne Güvenmek

Bir isteğin Googlebot user-agent’ı taşıması, bunun mutlaka gerçek Googlebot olduğu anlamına gelmez. Özellikle kritik raporlarda bot doğrulaması yapılmalıdır.

Yalnızca Crawl Sayısına Odaklanmak

Daha fazla crawl her zaman daha iyi SEO performansı anlamına gelmez. Önemli olan doğru URL’lerin gerektiği şekilde taranması ve gereksiz teknik sorunların azaltılmasıdır.

Log Verisini Tek Başına Yorumlamak

Loglar güçlü bir veri kaynağıdır ancak site crawl’ı, sitemap, indeksleme ve organik performans verilerinden bağımsız değerlendirilmemelidir.

Her 404 İsteğini Sorun Kabul Etmek

Googlebot’un eski bir URL’yi zaman zaman taraması doğal olabilir. Sorunun önceliği, hatalı URL’nin nereden keşfedildiği ve bunun önemli bir URL grubunu etkileyip etkilemediğine göre belirlenmelidir.

SEO Log Analizi İçin Kısa Kontrol Listesi

Analizi tamamlamadan önce şu noktaları kontrol edebilirsiniz:

  • Access log dosyalarını yeterli zaman aralığıyla topladım mı?
  • Gerçek Googlebot isteklerini doğruladım mı?
  • URL’leri normalize edip sayfa türlerine göre grupladım mı?
  • 4xx ve 5xx hatalarını URL bazında inceledim mi?
  • Gereksiz URL’lerde yoğun tarama olup olmadığını kontrol ettim mi?
  • Stratejik sayfaların taranma davranışını değerlendirdim mi?
  • Log verisini XML sitemap ve site crawl verisiyle karşılaştırdım mı?
  • Orphan page veya beklenmeyen URL’leri inceledim mi?
  • Teknik sorunları etki ve önceliğe göre sıraladım mı?
  • Yapılan değişikliklerden sonra logları tekrar kontrol ettim mi?

Sık Sorulan Sorular

SEO log analizi nedir?

SEO log analizi, sunucu access log’larını inceleyerek Googlebot ve diğer arama motoru botlarının hangi URL’leri, ne zaman ve hangi sonuçla ziyaret ettiğini analiz etme sürecidir.

Log dosyaları SEO için neden önemlidir?

Log dosyaları, arama motoru botlarının sitenizde gerçekte yaptığı istekleri gösterir. Bu sayede crawl davranışı, teknik hatalar ve gereksiz tarama alanları daha doğrudan incelenebilir.

Log analizi hangi siteler için gereklidir?

Küçük sitelerde her zaman kapsamlı log analizi gerekmeyebilir. Ancak büyük e-ticaret siteleri, binlerce URL’ye sahip platformlar, yoğun filtreleme yapıları bulunan siteler ve teknik sorun yaşayan projelerde önemli içgörüler sağlayabilir.

Log analizi crawl budget sorunlarını çözer mi?

Log analizi tek başına sorun çözmez; crawl budget’ın nerede ve nasıl kullanıldığını gösterir. Bu veriler doğrultusunda site mimarisi, iç linkleme, yönlendirmeler veya URL yönetimi gibi alanlarda teknik iyileştirmeler yapılabilir.

Log analizi ne sıklıkla yapılmalı?

Sitenin büyüklüğüne ve değişim hızına bağlıdır. Büyük sitelerde düzenli takip faydalı olabilir. Site taşıma veya kapsamlı teknik değişikliklerden sonra ise bot davranışını yeniden analiz etmek özellikle değerlidir.

Kaynaklar

Teklif Al