Robots.txt Ne İşe Yarıyor?
Robots.txt dosyası, Robot Dışlama Protokolü’nün (REP) bir parçasıdır. REP ise, bir web sitesinde motorların bağlantılara ve meta robotlar gibi talimatlara karşın nasıl davranması gerektiğine dair o sayfaya, alt dizinine veya sitenin tamamına dair talimatları içerir. Peki Robots.txt Ne İşe Yarıyor? Robot Dışlama Protokolü Robots.txt dosyası, en...
Yazıyı Gör