RE: Seiten, die Google nicht zeigen darf

You are viewing a single comment's thread from:

Seiten, die Google nicht zeigen darf

in google •  7 years ago 

Wie ist das mit zB DuckDuckGo? Am Beispiel der Bundeskanzlerin sieht man ja, dass es keinen User-Agent für DuckDuckGo gibt. Trotzdem finde ich mit DuckDuckGo aber die Seite.

Kann mir das einer erklären?

google
7 years ago by

Downvoting a post can decrease pending rewards and make it less visible. Common reasons:

  • Disagreement on rewards
  • Fraud or plagiarism
  • Hate speech or trolling
  • Miscategorized content or spam

Submit
$0.00
    2 votes
    1
    Authors get paid when people like you upvote their post.
    If you enjoyed what you read here, create your account today and start earning FREE STEEM!
    Sort Order:  
  • Trending
    • [-]
      ·  7 years ago 

    Wenn der Namen nicht spezifisch in Robots.txt aufgelistet wird, dann werden einfach die Befehle unter User-agent: * ausgeführt, also wird der DuckDuckBot folgende Befehle befolgen:

    Disallow: */SiteGlobals
Disallow: */DE/Service
Disallow: */EN/Service
Disallow: */DE/_Magazine
Crawl-delay: 180

    Wichtig anzumerken ist jedoch, dass DuckDuckGo nicht nur seine eigenen Ergebnisse anzeigt, sondern auch sich bei anderen Suchmaschinen bedient. Unteranderem ist Bing eine davon. Bei Bing haben wir folgendes:

    User-agent: Bingbot 
Allow: */SiteGlobals

    Deshalb taucht die Seite auch bei DuckDuckGo auf. :)

    Quelle: https://duck.co/help/results/sources

    Downvoting a post can decrease pending rewards and make it less visible. Common reasons:

    • Disagreement on rewards
    • Fraud or plagiarism
    • Hate speech or trolling
    • Miscategorized content or spam

    Submit
    $0.00