Back to Question Center
0

સેમ્યુઅલ: robots.txt: થોડા વેબપૃષ્ઠો સિવાય તમામ વેબપૃષ્ઠોને અવરોધિત કરો?

1 answers:

મારી પાસે રોબોટ્સ સંબંધિત થોડા શંકા છે. txt . કહો, મારું ડોમેન છે સ્ટેકવર્ફ્લો. કોમ ,

એ) કોડ નીચે બધા ક્રોલર્સ માટે નીચે આપેલ થશે?

     વપરાશકર્તા એજન્ટ: *નામંજૂર કરો: /મંજૂરી આપો: / $
મંજૂરી આપો: / a / $
મંજૂરી આપો: / a / લોગિન. php
મંજૂરી આપો: / a / લોગિન. php? return = / pligg /    
  1. સ્વીકારીને http: // stackoverflow - 2gb windows vps remote. કોમ / સ્વીકારશે http: // stackoverflow. કોમ પણ?

  2. સ્વીકારીને http: // stackoverflow. કોમ / એ /

  3. સ્વીકારીને http: // stackoverflow. કોમ / એ / લોગિન. php

  4. સ્વીકારીને http: // stackoverflow. કોમ / એ / લોગિન. php? return = / pligg /

  5. http: // stackoverflow પરના કોઈપણ અન્ય પૃષ્ઠને સ્વીકારવું નહીં. કોમ

બી) જે સાચું છે: રોબોટ્સ. txt અથવા રોબોટ. txt ?

February 13, 2018