Botları nasıl tespit ederim; iyi botlara (Googlebot vb.) izin verip kötüleri engelleyebilir miyim?

Kısa cevap

Evet. Bot Type koşulu isteğin User-Agent başlığını kategorilere (ör. Malicious bots, Search engines) göre tanır; istenmeyen kategoriler Block, Quarantine ya da Advanced CAPTCHA aksiyonuna bağlanır. User-Agent taklit edilebildiği için gerçek arama motoru botları Network Type Group koşulunun Verified Bot grubuyla ayrılır; bu grup User-Agent'a değil kaynak adresin ağ tipi verisine bakar. Bot/DDoS koruması açıksa Bot Protection istemcileri 0–100 arasında skorlar ve Trust Verified Bots seçeneği (varsayılan açık) doğrulanmış botları aksiyon kurallarından muaf tutar.

Sorun: Kötü Botlar İyi Botlarla Karışıyor

İçerik toplama yazılımları (scraper), açık tarayıcılar ve kaba kuvvet araçları engellenmek istenirken arama motoru botlarının siteye erişmeye devam etmesi gerekir. Kötü botlar kendilerini çoğu zaman Googlebot gibi tanıtır; yalnızca User-Agent başlığına bakan bir kural, Googlebot taklidi yapan bir aracı gerçek arama motorundan ayıramaz.

Çözüm: Dört Yöntem

Yöntemler birbirinin alternatifidir; Bot/DDoS koruması açık bir vService'te Yöntem 1 ile Yöntem 2 birlikte de kullanılabilir.

Durumunuz	Uygun yöntem
Bot kategorisine göre engelleme ve sahte arama motoru botlarını ayırma	Yöntem 1: Bot Type + Network Type Group + Block
Davranışa ve altyapıya dayalı skor; Bot/DDoS koruması lisanslı	Yöntem 2: Bot/DDoS → Bot Protection
AGS açık vService; skora göre AGS politikası	Yöntem 3: AGS → Bot Score politikası
Yöntem 1 ve 2'yi komut satırından kurmak	Yöntem 4: WEB-CLI

Yöntem 1: Bot Type + Network Type Group + Block Önerilen

• Nasıl çalışırBot Type User-Agent başlığının bot kategorisini, Network Type Group = Verified Bot kaynak adresin doğrulanmış bot ağlarına ait olup olmadığını kontrol eder. Kötü kategoriler doğrudan, "arama motoru gibi görünen ama doğrulanmamış" istekler ikinci bir koşul grubuyla engellenir.
• Nerede açılırLoad Balancer → Conditions · Load Balancer → Actions → Block
• Gereksinim Yok
• vService tipi HTTP (Bot Type koşulu ve Block aksiyonu yalnızca HTTP vService'te kullanılır)

Adım adım yapılandırma

1

Adım 1 Koşul formunu aç

Load Balancer → Conditions → Add ile koşul formu açılır (nasıl eklenir).

2

Adım 2 Kötü bot koşulunu tanımla

Condition Name = kotu-bot, Criteria = Bot Type seçilir; Bot Type listesinde Malicious bots ve Security checker (Nmap Scripting Engine, sqlmap/, TLSProbe etc.) işaretlenir. Bir koşulda seçilen kategorilerden herhangi biri eşleşirse koşul sağlanır.

3

Adım 3 Kaydet ve sonraki koşula geç

Koşul Add & Repeat ile kaydedilir; form bir sonraki koşul için açık kalır.

4

Adım 4 Arama motoru koşulunu tanımla

Condition Name = arama-motoru-ua, Criteria = Bot Type, Bot Type listesinde Search Engines (Googlebot, Yahoo, bingbot etc.) işaretlenir.

5

Adım 5 Kaydet ve sonraki koşula geç

Koşul Add & Repeat ile kaydedilir.

6

Adım 6 Verified Bot koşulunu tanımla

Condition Name = dogrulanmis-bot, Criteria = Network Type Group, Network type group name listesinde Verified Bot seçilir.

7

Adım 7 Koşulu kaydet

Koşul Add ile kaydedilir ve form kapanır.

8

Adım 8 Aksiyon formunu aç

Load Balancer → Actions → Add ile aksiyon formu açılır.

9

Adım 9 Block aksiyonunu tanımla

Action Name = bot-engelle, Action Type = Block seçilir; Execution Level varsayılan On Request, Deny Type varsayılan Standard ve Status Code varsayılan 403 olarak bırakılır.

10

Adım 10 Koşulları bağla

Conditions alanında ilk grupta kotu-bot seçilir. + ile ikinci grup eklenir; bu grupta arama-motoru-ua ile dogrulanmis-bot koşulunun olumsuz hâli (!dogrulanmis-bot) and ile birleştirilir. Gruplar arası operatör or bırakılır. Sonuç: "kötü bot ya da (arama motoru gibi görünen ve doğrulanmış bot ağından gelmeyen)" istekler engellenir (Birden fazla koşulu AND / OR ile nasıl birleştiririm? · Bir koşulu olumsuz ("şu değilse") olarak kullanabilir miyim?).

11

Adım 11 Aksiyonu kaydet

Aksiyon Add ile kaydedilir.

12

Adım 12 vService'i düzenle

Load Balancer → Load Balancer vService List ekranında HTTP vService seçilip Edit ile düzenleme formu açılır.

13

Adım 13 Aksiyonu vService'e ekle

Details → Actions alanında bot-engelle seçilir. Aksiyon vService'e eklenmedikçe çalışmaz.

14

Adım 14 Kaydet

Form Save ile kaydedilir; kural kaydedildiği anda devreye girer. Cluster'da değişiklik varsayılan olarak eş cihaza otomatik aktarılır; Manual Sync Mode açıksa Synchronize ile gönderilir.

Doğrulama

1Sahte Googlebotİstemci tarafı

Komut: curl -s -o /dev/null -w '%{http_code}' -A 'Mozilla/5.0 (compatible; Googlebot/2.1; +http://www.google.com/bot.html)' https://www.example.com/

Beklenen403

İstek Google'a ait olmayan bir adresten gönderildiği için Verified Bot grubuna düşmez.

2Gerçek arama motoru botuTR7 tarafı

vService'in HTTP Logs ekranında arama motoru adreslerinden gelen isteklerin yanıt kodlarına bakılır.

Beklenen200

Block aksiyonunda Hit Counter açılırsa engellenen istek sayısı vService panosunun Action Hits sekmesinde de izlenir.

Yöntem 2: Bot/DDoS → Bot Protection

• Nasıl çalışır İstemci davranışı, tarayıcı sinyalleri ve altyapı faktörleriyle 0–100 arası bir bot skoru hesaplanır; Action Rules skoru eşiklerle karşılaştırıp aksiyon uygular. Varsayılan kurallar HTTP'de skor 90 ve üzerine Block (403), 75 ve üzerine Show captcha uygular.
• Nerede açılır Left Monitor Panel → Bot/DDoS Protected vServices → vService → Bot/DDoS Management → Bot Protection kartı
• Gereksinim Bot/DDoS protection lisansı; vService'te L7 DDoS & Threat Protection açık
• vService tipi HTTP · L7 TCP (L7 TCP'de Bot Protection varsayılan olarak Off gelir; meydan okuma ve engelleme yerine sessiz düşürme ve karantina kullanılır)

Adım adım yapılandırma

1

Adım 1 Bot/DDoS korumasını aç (gerekiyorsa)

vService'te koruma açık değilse vService düzenlenir, Details altındaki L7 DDoS & Threat Protection kutusu işaretlenip Save ile kaydedilir (iki yol). Koruma açıldığında IP Reputation Protection Active modunda başlar ve bazı istekleri hemen engelleyebilir (başlangıç modları).

2

Adım 2 Bot Protection kartını aç

Left Monitor Panel → Bot/DDoS Protected vServices → vService → Bot/DDoS Management sekmesinde Bot Protection kartının Edit bağlantısı tıklanır.

3

Adım 3 Modu Active yap

Bot Protection alanında Active seçilir (HTTP'de varsayılan Monitor; Monitor'de skorlar yalnızca kaydedilir, aksiyon uygulanmaz). Trust Verified Bots açık bırakılır; doğrulama User-Agent'a değil, botun geldiği adres aralığına bakılarak yapılır.

4

Adım 4 Kaydet

Pencere Edit butonuyla kaydedilir; ayrı bir dağıtım adımı yoktur. Skor eşikleri ve aksiyonlar gerekiyorsa kartın Action Rules kutusundan ayrıca düzenlenir.

Doğrulama

1Olay kaydıTR7 tarafı

Bot/DDoS Event Logs → Bot sekmesi açılır.

Beklenenİstemci skoru ve uygulanan aksiyon

Yöntem 3: AGS → Bot Score Politikası

• Nasıl çalışır AGS politikası, vService'te hesaplanan bot skorunu Bot Score Threshold ile karşılaştırır; eşiği aşan istemciye politikanın aksiyonunu (ör. Captcha ya da Deny) uygular.
• Nerede açılırAGS → Protection Policies → Bot Protection Policies
• Gereksinim AGS lisansı ve vService'te AGS açık. vService'te Bot Protection açıksa skor onun ayarlarıyla hesaplanır; açık değilse AGS açık vService için skor Monitor modunda kendiliğinden hesaplanır.
• vService tipi HTTP

Adım adım yapılandırma

1

Adım 1 AGS'yi etkinleştir (gerekiyorsa)

vService'te AGS açık değilse açılır (iki yol); AGS açıldığında varsayılan akış kullanıcıları reddettiği için önce akış hazırlanır: WAF, L7 DDoS & Threat Protection ve AGS'yi bir vService'e nasıl bağlarım?

2

Adım 2 Politika formunu aç

AGS → Protection Policies → Bot Protection Policies → Add ile politika formu açılır.

3

Adım 3 Politikayı tanımla

Bot Protection Policy Name girilir, Trigger Type = Bot Score seçilir; Bot score threshold (varsayılan 60) ve Action (ör. Captcha ya da Deny) belirlenir.

4

Adım 4 Politikayı kaydet

Politika Add ile kaydedilir. Hazır Bot Score profilleri de kullanılabilir (hazır profiller).

5

Adım 5 Protection bölümünü aç

Left Monitor Panel → AGS-Enabled vServices → vService → AGS Management sekmesinde Protection bölümünün Edit bağlantısı tıklanır.

6

Adım 6 Politikayı seç

Açılan Edit / Protection penceresinde Bot Protection Policies alanında politika seçilir.

7

Adım 7 Kaydet

Accept tıklanır; politika AGS Management sekmesindeki Bot Protection kutusunda listelenir.

Doğrulama

1Protection bölümüTR7 tarafı

AGS Management sekmesindeki Protection bölümünün Bot Protection kutusuna bakılır.

BeklenenPolitika adı ve cümlesi listelenir

Yöntem 4: WEB-CLI

• Nasıl çalışır Yöntem 1'deki koşullar ve Block aksiyonu lb condition / lb action ile, Yöntem 2'deki Bot Protection lb threat-protection ile kurulur.
• Nerede açılır TR7 WEB-CLI → lb condition · lb action · lb service · lb threat-protection
• Gereksinim WEB-CLI erişimi; Bot Protection için Bot/DDoS protection lisansı
• vService tipi HTTP

Adım adım yapılandırma

WEB-CLI her satırı ayrı bir komut olarak çalıştırır; komutlar tek satırda yazılır.

1

Adım 1 Koşulları oluştur

İstemciyi tanıyan ölçütler: bad = Malicious bots, securityChecker = Security checker, search = Search engines, verified_bot = Verified Bot.

lb condition add criteria bot --botType.0 bad --botType.1 securityChecker --name kotu-bot
lb condition add criteria bot --botType.0 search --name arama-motoru-ua
lb condition add criteria nettype_group --nettypeGroup.0 verified_bot --name dogrulanmis-bot

2

Adım 2 Koşul kimliklerini al

Aksiyonun --cond alanı koşulun adını değil kimliğini ister. lb condition add başarılı olduğunda çıktı vermez; kimlikler aşağıdaki listenin id sütununda görülür (lbConditions- ile başlar).

lb condition list

3

Adım 3 Block aksiyonunu oluştur

--cond ifadesi tırnak içinde yazılır: or / and birleştirir, ! olumsuzlar, en fazla bir parantez düzeyi kullanılır (engelleme aksiyonları).

lb action add type deny name bot-engelle --cond "<kotu-bot-kimliği> or (<arama-motoru-ua-kimliği> and !<dogrulanmis-bot-kimliği>)"

4

Adım 4 Mevcut aksiyonları gör

rules.0, rules.1… satırları vService'e bağlı aksiyonları gösterir.

lb service show <vService>

5

Adım 5 Aksiyonu vService'e ekle

Yeni aksiyon ilk boş indekse, yani mevcut aksiyon sayısına yazılır. Örnekte vService'te iki aksiyon (rules.0, rules.1) olduğu için --rules.2 kullanılır; dolu bir indekse yazmak oradaki aksiyonun yerine geçer.

lb service update id <vService> --rules.2 bot-engelle

6

Adım 6 Bot Protection'ı Active yap (Bot/DDoS lisansı varsa)

Koruma kapalıysa önce açılır; ardından Bot Protection Active (true) yapılır (bot koruması).

lb service update id <vService> --threatProtection true
lb threat-protection update id <vService> --botProtection true --botTrustVerifiedBots true

Doğrulama

1YapılandırmaTR7 tarafı

Komut: lb service show <vService>

Beklenenrules.2 satırında bot-engelle

Engellemenin kendisi Yöntem 1'deki curl denemesiyle sınanır.

Sık Yapılan Hatalar

• Yalnızca User-Agent'a güvenmek. Bot Type koşulu User-Agent başlığına bakar ve bu başlık taklit edilebilir (güvenlik notu); arama motorlarını doğrulamak için Verified Bot grubu kullanılır.
• Bütün bot kategorilerini engellemek. Monitoring, Feed ve Social media kategorileri izleme servislerini ve bağlantı önizlemelerini de kapsar; yalnızca istenmeyen kategoriler seçilir.
• Bot Protection'ı Monitor'de bırakmak. Monitor modunda skorlar yalnızca kaydedilir, aksiyon uygulanmaz.
• --cond alanına koşul adını yazmak. WEB-CLI'da --cond koşul kimliği bekler; ad yazılırsa aksiyon var olmayan bir koşula bağlanır.
• Engel yerine doğrulama gerektiğini gözden kaçırmak. Şüpheli istemcilere engel yerine CAPTCHA göstermek için: CAPTCHA ile insan doğrulaması yapabilir miyim?

Dokümantasyonda nasıl yapılır

• Bot Type · Bot Type alanı
• Network Type Group · Grup adları
• Bot Protection · Trust Verified Bots
• AGS Bot Protection Policies · Bot Score

İlgili sorular

• CAPTCHA ile insan doğrulaması yapabilir miyim?
• Tor çıkış düğümlerini, VPN/proxy adreslerini ve veri merkezi (bulut/hosting) IP'lerini nasıl tanır ve ayrı ele alırım?
• Rate limiting yapabilir miyim (IP başına saniyede X istek)?