Semalt: Darodar Robots.txt кантип бөгөттөөгө болот
Robots.txt файлы - бул типтүү текст файлы, анда веб-скреперлер же боттор сайтты кандайча сойлоп чыгышы керектиги жөнүндө нускамалар камтылган. Алардын колдонулушу көптөгөн оптималдаштырылган веб-сайттарда кеңири таралган издөө системасынын ботторунан байкалат. Роботторду четтетүү протоколунун (REP) бөлүгү катары, robots.txt файлы веб-сайттын мазмунун индекстөө, ошондой эле сервердин колдонуучулардын суроо-талаптарын аныктыгын текшерүү мүмкүнчүлүгүн берет.
Юлия Вашнева , Semaltтын Кардарлардын Ийгиликтерин Жетектөөчү Менеджери, шилтеме издөө системасын оптималдаштыруунун (SEO) аспектилери деп түшүндүрөт, ал өз тармагыңыздагы башка домендерден трафик топтоону камтыйт. Шилтеме ширесин өткөрүп берүү үчүн "ээрчүү" шилтемеси үчүн, сиздин сайтка сервер менен кандайча иштешкенин үйрөтүү үчүн роботтор.txt файлын веб-сайтыңызга жайгаштыруу керек. Бул архивден, колдонуучулардын айрым белгилүү агенттеринин өзүн кандай алып жүргөнүнө уруксат берүү же тыюу салуу менен, нускамалар келтирилген.
Robots.txt файлынын Негизги Форматы
Robots.txt файлында эки негизги сызык бар:
Колдонуучу-агент: [колдонуучу-агенттин аты]
Тыюу салуу: [URL сабын карап чыгууга болбойт]
Толук robots.txt файлында ушул эки сап болушу керек. Бирок, алардын айрымдарында колдонуучу агенттеринин жана көрсөтмөлөрүнүн бир нече саптары камтылышы мүмкүн. Бул буйруктар уруксат берүү, тыюу салуу же сыдыруунун кечеңдетилиши сыяктуу аспекттерди камтышы мүмкүн. Адатта, окутуунун ар бир топтомун бөлүп турган сызык тыныгуусу болот. Көрсөтүүгө уруксат берген же тыюу салган нерселердин ар бири ушул саптын үзүндүсү менен бөлүнөт, айрыкча robots.txt үчүн бир нече линия менен.
мисалы,
Мисалы, robots.txt файлында төмөнкүдөй коддор болушу мүмкүн:
Колдонуучу-агент: darodar
Тыюу салуу: / плагин
Четке кагуу: / API
Тыюу сал: / _comcom
Бул учурда, бул Darots желе текшергичтин веб-сайтыңызга кирүүсүн чектеген robots.txt файлы. Жогорудагы синтаксисте код, веб-сайттын плагиндер, API жана комментарийлер сыяктуу аспектилерин бөгөттөйт. Бул билимден роботтун тексттик файлын эффективдүү аткаруудан көптөгөн артыкчылыктарга жетишүүгө болот. Robots.txt файлдары көптөгөн функцияларды аткара алат. Мисалы, алар:
1. Веб-сайтынын барагына бардык веб жөрмөлөгүчтөрдүн уруксаты. Мисалы үчүн;
Колдонуучу-агент: *
тыйуу салуу:
Бул учурда, колдонуучунун бардык мазмунунан веб-сайтка кирүүнү сураган каалаган веб-жөрмөлөгүч кире алат.
2. Белгилүү бир папкадан белгилүү бир веб-мазмунду бөгөттөңүз. Мисалы;
Колдонуучу-агент: Googlebot
Жок кылуу: / example-subfolder /
Googlebot колдонуучу-агент аты камтылган бул синтаксис Google-га таандык. Бул боттун www.ourexample.com/example-subfolder/ сапындагы каалаган веб-баракка кирүүсүн чектейт.
3. Белгилүү веб-баракчадан белгилүү бир желе текшергичти бөгөттөө. Мисалы;
Колдонуучу-агент: Bingbot
Тыюу салуу: /example-subfolder/blocked-page.html
Bing колдонуучу-агенти Bing веб складерлерине таандык. Robots.txt файлынын бул түрү Bing желе текшергичинин белгилүү бир бетке www.ourexample.com/example-subfolder/blocked-page сабы менен кирүүсүн чектейт.
Маанилүү маалымат
- Robts.txt файлыңызды ар бир колдонуучу колдоно бербейт. Айрым колдонуучулар көңүл бурбай коюшу мүмкүн. Мындай желе текшергичтердин көпчүлүгүнө трояндар жана кесепеттүү программалар кирет.
- Robots.txt файлы көрүнүшү үчүн, ал жогорку деңгээлдеги веб-сайт каталогунда болушу керек.
- "Robots.txt" белгилери регистрди эске алат. Натыйжада, сиз аларды кандайдыр бир жол менен өзгөртпөшүңүз керек, анын ичинде айрым жактарды баш тамга менен жазуу.
- "/Robots.txt" коомдук домен. Бул маалыматты каалаган URL мазмунунга кошуу менен, ар ким таба алат. Сиз жеке маалыматтарды же жеке баракчаларды индекстебешиңиз керек.