{"id":2812,"date":"2026-01-14T06:12:24","date_gmt":"2026-01-14T06:12:24","guid":{"rendered":"https:\/\/storeland.ru\/blog\/?p=2812"},"modified":"2026-01-14T06:12:24","modified_gmt":"2026-01-14T06:12:24","slug":"robots-txt-what-why-needed","status":"publish","type":"post","link":"https:\/\/storeland.ru\/blog\/novichkam\/robots-txt-what-why-needed\/","title":{"rendered":"\u041f\u043e\u043b\u043d\u043e\u0435 \u0440\u0443\u043a\u043e\u0432\u043e\u0434\u0441\u0442\u0432\u043e \u043f\u043e \u0444\u0430\u0439\u043b\u0443 robots.txt: \u043e\u0442 \u0441\u043e\u0437\u0434\u0430\u043d\u0438\u044f \u0438 \u043e\u0441\u043d\u043e\u0432\u043d\u044b\u0445 \u0434\u0438\u0440\u0435\u043a\u0442\u0438\u0432 \u0434\u043e \u043f\u0440\u043e\u0432\u0435\u0440\u043a\u0438 \u043d\u0430 \u043e\u0448\u0438\u0431\u043a\u0438"},"content":{"rendered":"<p>\u0415\u0441\u043b\u0438 \u0432\u044b \u0440\u0430\u0437\u0432\u0438\u0432\u0430\u0435\u0442\u0435 \u0441\u0432\u043e\u0439 \u0431\u0438\u0437\u043d\u0435\u0441 \u0432 \u0438\u043d\u0442\u0435\u0440\u043d\u0435\u0442\u0435, \u0442\u043e \u043d\u0430\u0432\u0435\u0440\u043d\u044f\u043a\u0430 \u0441\u043b\u044b\u0448\u0430\u043b\u0438 \u043e <a href=\"https:\/\/storeland.ru\/blog\/uncategorized\/yandex-seo-for-business\/\">SEO-\u043f\u0440\u043e\u0434\u0432\u0438\u0436\u0435\u043d\u0438\u0438<\/a>. \u0410 \u0432 \u043c\u0438\u0440\u0435 SEO \u0435\u0441\u0442\u044c \u043e\u0434\u0438\u043d \u043c\u0430\u043b\u0435\u043d\u044c\u043a\u0438\u0439, \u043d\u043e \u043e\u0447\u0435\u043d\u044c \u0432\u0430\u0436\u043d\u044b\u0439 \u0444\u0430\u0439\u043b \u2014 <code>robots.txt<\/code>. \u041d\u0430 \u043f\u0435\u0440\u0432\u044b\u0439 \u0432\u0437\u0433\u043b\u044f\u0434, \u044d\u0442\u043e \u0447\u0442\u043e-\u0442\u043e \u0434\u043b\u044f \u043f\u0440\u043e\u0433\u0440\u0430\u043c\u043c\u0438\u0441\u0442\u043e\u0432, \u043d\u043e \u043d\u0430 \u0441\u0430\u043c\u043e\u043c \u0434\u0435\u043b\u0435 \u0440\u0430\u0437\u043e\u0431\u0440\u0430\u0442\u044c\u0441\u044f \u0432 \u043d\u0451\u043c \u0434\u043e\u043b\u0436\u0435\u043d \u043a\u0430\u0436\u0434\u044b\u0439 \u0432\u043b\u0430\u0434\u0435\u043b\u0435\u0446 \u0441\u0430\u0439\u0442\u0430. \u0421\u0435\u0433\u043e\u0434\u043d\u044f \u043c\u044b \u043f\u0440\u043e\u0441\u0442\u044b\u043c\u0438 \u0441\u043b\u043e\u0432\u0430\u043c\u0438 \u0440\u0430\u0437\u0431\u0435\u0440\u0451\u043c, <strong>\u0447\u0442\u043e \u0442\u0430\u043a\u043e\u0435 robots.txt \u0438 \u0434\u043b\u044f \u0447\u0435\u0433\u043e \u043e\u043d \u043d\u0443\u0436\u0435\u043d<\/strong>, \u043a\u0430\u043a \u043e\u043d \u043f\u043e\u043c\u043e\u0433\u0430\u0435\u0442 \u0432\u0430\u0448\u0435\u043c\u0443 \u0431\u0438\u0437\u043d\u0435\u0441\u0443 \u0440\u0430\u0441\u0442\u0438 \u0438 \u043a\u0430\u043a \u0438\u0437\u0431\u0435\u0436\u0430\u0442\u044c \u0434\u043e\u0441\u0430\u0434\u043d\u044b\u0445 \u043e\u0448\u0438\u0431\u043e\u043a, \u043a\u043e\u0442\u043e\u0440\u044b\u0435 \u043c\u043e\u0433\u0443\u0442 \u0441\u0442\u043e\u0438\u0442\u044c \u0432\u0430\u043c \u043a\u043b\u0438\u0435\u043d\u0442\u043e\u0432.<\/p><div id=\"ez-toc-container\" class=\"ez-toc-v2_0_75 counter-hierarchy ez-toc-counter ez-toc-grey ez-toc-container-direction\">\n<div class=\"ez-toc-title-container\">\n<p class=\"ez-toc-title\" style=\"cursor:inherit\">\u0421\u043e\u0434\u0435\u0440\u0436\u0430\u043d\u0438\u0435<\/p>\n<span class=\"ez-toc-title-toggle\"><a href=\"#\" class=\"ez-toc-pull-right ez-toc-btn ez-toc-btn-xs ez-toc-btn-default ez-toc-toggle\" aria-label=\"Toggle Table of Content\"><span class=\"ez-toc-js-icon-con\"><span class=\"\"><span class=\"eztoc-hide\" style=\"display:none;\">Toggle<\/span><span class=\"ez-toc-icon-toggle-span\"><svg style=\"fill: #999;color:#999\" xmlns=\"http:\/\/www.w3.org\/2000\/svg\" class=\"list-377408\" width=\"20px\" height=\"20px\" viewBox=\"0 0 24 24\" fill=\"none\"><path d=\"M6 6H4v2h2V6zm14 0H8v2h12V6zM4 11h2v2H4v-2zm16 0H8v2h12v-2zM4 16h2v2H4v-2zm16 0H8v2h12v-2z\" fill=\"currentColor\"><\/path><\/svg><svg style=\"fill: #999;color:#999\" class=\"arrow-unsorted-368013\" xmlns=\"http:\/\/www.w3.org\/2000\/svg\" width=\"10px\" height=\"10px\" viewBox=\"0 0 24 24\" version=\"1.2\" baseProfile=\"tiny\"><path d=\"M18.2 9.3l-6.2-6.3-6.2 6.3c-.2.2-.3.4-.3.7s.1.5.3.7c.2.2.4.3.7.3h11c.3 0 .5-.1.7-.3.2-.2.3-.5.3-.7s-.1-.5-.3-.7zM5.8 14.7l6.2 6.3 6.2-6.3c.2-.2.3-.5.3-.7s-.1-.5-.3-.7c-.2-.2-.4-.3-.7-.3h-11c-.3 0-.5.1-.7.3-.2.2-.3.5-.3.7s.1.5.3.7z\"\/><\/svg><\/span><\/span><\/span><\/a><\/span><\/div>\n<nav><ul class='ez-toc-list ez-toc-list-level-1 ' ><li class='ez-toc-page-1 ez-toc-heading-level-2'><a class=\"ez-toc-link ez-toc-heading-1\" href=\"https:\/\/storeland.ru\/blog\/novichkam\/robots-txt-what-why-needed\/#%D0%9E%D1%81%D0%BD%D0%BE%D0%B2%D0%BD%D1%8B%D0%B5_%D0%B7%D0%B0%D0%B4%D0%B0%D1%87%D0%B8_robotstxt_%D0%BD%D0%B0_%D1%87%D1%82%D0%BE_%D0%BE%D0%BD_%D0%B2%D0%BB%D0%B8%D1%8F%D0%B5%D1%82\" >\u041e\u0441\u043d\u043e\u0432\u043d\u044b\u0435 \u0437\u0430\u0434\u0430\u0447\u0438 robots.txt: \u043d\u0430 \u0447\u0442\u043e \u043e\u043d \u0432\u043b\u0438\u044f\u0435\u0442?<\/a><ul class='ez-toc-list-level-3' ><li class='ez-toc-heading-level-3'><a class=\"ez-toc-link ez-toc-heading-2\" href=\"https:\/\/storeland.ru\/blog\/novichkam\/robots-txt-what-why-needed\/#%D0%A3%D0%BF%D1%80%D0%B0%D0%B2%D0%BB%D0%B5%D0%BD%D0%B8%D0%B5_%D0%B8%D0%BD%D0%B4%D0%B5%D0%BA%D1%81%D0%B0%D1%86%D0%B8%D0%B5%D0%B9_%D1%81%D0%BA%D1%80%D1%8B%D0%B2%D0%B0%D0%B5%D0%BC_%D0%BE%D1%82_%D0%BF%D0%BE%D0%B8%D1%81%D0%BA%D0%BE%D0%B2%D0%B8%D0%BA%D0%BE%D0%B2_%D0%BD%D0%B5%D0%BD%D1%83%D0%B6%D0%BD%D1%8B%D0%B5_%D1%81%D1%82%D1%80%D0%B0%D0%BD%D0%B8%D1%86%D1%8B\" >\u0423\u043f\u0440\u0430\u0432\u043b\u0435\u043d\u0438\u0435 \u0438\u043d\u0434\u0435\u043a\u0441\u0430\u0446\u0438\u0435\u0439: \u0441\u043a\u0440\u044b\u0432\u0430\u0435\u043c \u043e\u0442 \u043f\u043e\u0438\u0441\u043a\u043e\u0432\u0438\u043a\u043e\u0432 \u043d\u0435\u043d\u0443\u0436\u043d\u044b\u0435 \u0441\u0442\u0440\u0430\u043d\u0438\u0446\u044b<\/a><\/li><li class='ez-toc-page-1 ez-toc-heading-level-3'><a class=\"ez-toc-link ez-toc-heading-3\" href=\"https:\/\/storeland.ru\/blog\/novichkam\/robots-txt-what-why-needed\/#%D0%AD%D0%BA%D0%BE%D0%BD%D0%BE%D0%BC%D0%B8%D1%8F_%D0%BA%D1%80%D0%B0%D1%83%D0%BB%D0%B8%D0%BD%D0%B3%D0%BE%D0%B2%D0%BE%D0%B3%D0%BE_%D0%B1%D1%8E%D0%B4%D0%B6%D0%B5%D1%82%D0%B0_%D0%BD%D0%B0%D0%BF%D1%80%D0%B0%D0%B2%D0%BB%D1%8F%D0%B5%D0%BC_%D1%80%D0%BE%D0%B1%D0%BE%D1%82%D0%BE%D0%B2_%D0%BD%D0%B0_%D1%81%D0%B0%D0%BC%D0%BE%D0%B5_%D0%B2%D0%B0%D0%B6%D0%BD%D0%BE%D0%B5\" >\u042d\u043a\u043e\u043d\u043e\u043c\u0438\u044f \u043a\u0440\u0430\u0443\u043b\u0438\u043d\u0433\u043e\u0432\u043e\u0433\u043e \u0431\u044e\u0434\u0436\u0435\u0442\u0430: \u043d\u0430\u043f\u0440\u0430\u0432\u043b\u044f\u0435\u043c \u0440\u043e\u0431\u043e\u0442\u043e\u0432 \u043d\u0430 \u0441\u0430\u043c\u043e\u0435 \u0432\u0430\u0436\u043d\u043e\u0435<\/a><\/li><li class='ez-toc-page-1 ez-toc-heading-level-3'><a class=\"ez-toc-link ez-toc-heading-4\" href=\"https:\/\/storeland.ru\/blog\/novichkam\/robots-txt-what-why-needed\/#%D0%9F%D1%80%D0%B5%D0%B4%D0%BE%D1%82%D0%B2%D1%80%D0%B0%D1%89%D0%B5%D0%BD%D0%B8%D0%B5_%D0%BF%D0%BE%D1%8F%D0%B2%D0%BB%D0%B5%D0%BD%D0%B8%D1%8F_%D0%B4%D1%83%D0%B1%D0%BB%D0%B5%D0%B9_%D0%BA%D0%BE%D0%BD%D1%82%D0%B5%D0%BD%D1%82%D0%B0\" >\u041f\u0440\u0435\u0434\u043e\u0442\u0432\u0440\u0430\u0449\u0435\u043d\u0438\u0435 \u043f\u043e\u044f\u0432\u043b\u0435\u043d\u0438\u044f \u0434\u0443\u0431\u043b\u0435\u0439 \u043a\u043e\u043d\u0442\u0435\u043d\u0442\u0430<\/a><\/li><li class='ez-toc-page-1 ez-toc-heading-level-3'><a class=\"ez-toc-link ez-toc-heading-5\" href=\"https:\/\/storeland.ru\/blog\/novichkam\/robots-txt-what-why-needed\/#%D0%A3%D0%BA%D0%B0%D0%B7%D0%B0%D0%BD%D0%B8%D0%B5_%D0%BF%D1%83%D1%82%D0%B8_%D0%BA_%D0%BA%D0%B0%D1%80%D1%82%D0%B5_%D1%81%D0%B0%D0%B9%D1%82%D0%B0_%D0%B4%D0%BB%D1%8F_%D0%B1%D1%8B%D1%81%D1%82%D1%80%D0%BE%D0%B9_%D0%B8%D0%BD%D0%B4%D0%B5%D0%BA%D1%81%D0%B0%D1%86%D0%B8%D0%B8\" >\u0423\u043a\u0430\u0437\u0430\u043d\u0438\u0435 \u043f\u0443\u0442\u0438 \u043a \u043a\u0430\u0440\u0442\u0435 \u0441\u0430\u0439\u0442\u0430 \u0434\u043b\u044f \u0431\u044b\u0441\u0442\u0440\u043e\u0439 \u0438\u043d\u0434\u0435\u043a\u0441\u0430\u0446\u0438\u0438<\/a><\/li><\/ul><\/li><li class='ez-toc-page-1 ez-toc-heading-level-2'><a class=\"ez-toc-link ez-toc-heading-6\" href=\"https:\/\/storeland.ru\/blog\/novichkam\/robots-txt-what-why-needed\/#%D0%90%D0%BD%D0%B0%D1%82%D0%BE%D0%BC%D0%B8%D1%8F_%D1%84%D0%B0%D0%B9%D0%BB%D0%B0_%D0%B8%D0%B7_%D0%BA%D0%B0%D0%BA%D0%B8%D1%85_%D0%BA%D0%BE%D0%BC%D0%B0%D0%BD%D0%B4_%D1%81%D0%BE%D1%81%D1%82%D0%BE%D0%B8%D1%82_robotstxt\" >\u0410\u043d\u0430\u0442\u043e\u043c\u0438\u044f \u0444\u0430\u0439\u043b\u0430: \u0438\u0437 \u043a\u0430\u043a\u0438\u0445 \u043a\u043e\u043c\u0430\u043d\u0434 \u0441\u043e\u0441\u0442\u043e\u0438\u0442 robots.txt<\/a><ul class='ez-toc-list-level-3' ><li class='ez-toc-heading-level-3'><a class=\"ez-toc-link ez-toc-heading-7\" href=\"https:\/\/storeland.ru\/blog\/novichkam\/robots-txt-what-why-needed\/#%D0%94%D0%B8%D1%80%D0%B5%D0%BA%D1%82%D0%B8%D0%B2%D0%B0_User-agent_%D0%B4%D0%BB%D1%8F_%D0%BA%D0%B0%D0%BA%D0%B8%D1%85_%D0%BF%D0%BE%D0%B8%D1%81%D0%BA%D0%BE%D0%B2%D1%8B%D1%85_%D1%80%D0%BE%D0%B1%D0%BE%D1%82%D0%BE%D0%B2_%D1%81%D0%BE%D0%B7%D0%B4%D0%B0%D0%BD%D1%8B_%D0%BF%D1%80%D0%B0%D0%B2%D0%B8%D0%BB%D0%B0\" >\u0414\u0438\u0440\u0435\u043a\u0442\u0438\u0432\u0430 User-agent: \u0434\u043b\u044f \u043a\u0430\u043a\u0438\u0445 \u043f\u043e\u0438\u0441\u043a\u043e\u0432\u044b\u0445 \u0440\u043e\u0431\u043e\u0442\u043e\u0432 \u0441\u043e\u0437\u0434\u0430\u043d\u044b \u043f\u0440\u0430\u0432\u0438\u043b\u0430<\/a><\/li><li class='ez-toc-page-1 ez-toc-heading-level-3'><a class=\"ez-toc-link ez-toc-heading-8\" href=\"https:\/\/storeland.ru\/blog\/novichkam\/robots-txt-what-why-needed\/#%D0%94%D0%B8%D1%80%D0%B5%D0%BA%D1%82%D0%B8%D0%B2%D1%8B_Disallow_%D0%B8_Allow_%D0%BA%D0%B0%D0%BA_%D0%BF%D1%80%D0%B0%D0%B2%D0%B8%D0%BB%D1%8C%D0%BD%D0%BE_%D0%B7%D0%B0%D0%BF%D1%80%D0%B5%D1%89%D0%B0%D1%82%D1%8C_%D0%B8_%D1%80%D0%B0%D0%B7%D1%80%D0%B5%D1%88%D0%B0%D1%82%D1%8C_%D0%B4%D0%BE%D1%81%D1%82%D1%83%D0%BF\" >\u0414\u0438\u0440\u0435\u043a\u0442\u0438\u0432\u044b Disallow \u0438 Allow: \u043a\u0430\u043a \u043f\u0440\u0430\u0432\u0438\u043b\u044c\u043d\u043e \u0437\u0430\u043f\u0440\u0435\u0449\u0430\u0442\u044c \u0438 \u0440\u0430\u0437\u0440\u0435\u0448\u0430\u0442\u044c \u0434\u043e\u0441\u0442\u0443\u043f<\/a><\/li><li class='ez-toc-page-1 ez-toc-heading-level-3'><a class=\"ez-toc-link ez-toc-heading-9\" href=\"https:\/\/storeland.ru\/blog\/novichkam\/robots-txt-what-why-needed\/#%D0%94%D0%B8%D1%80%D0%B5%D0%BA%D1%82%D0%B8%D0%B2%D0%B0_Sitemap_%D0%BF%D0%BE%D0%BC%D0%BE%D0%B3%D0%B0%D0%B5%D0%BC_%D0%BF%D0%BE%D0%B8%D1%81%D0%BA%D0%BE%D0%B2%D0%B8%D0%BA%D0%B0%D0%BC_%D0%BD%D0%B0%D0%B9%D1%82%D0%B8_%D0%B2%D1%81%D0%B5_%D1%81%D1%82%D1%80%D0%B0%D0%BD%D0%B8%D1%86%D1%8B\" >\u0414\u0438\u0440\u0435\u043a\u0442\u0438\u0432\u0430 Sitemap: \u043f\u043e\u043c\u043e\u0433\u0430\u0435\u043c \u043f\u043e\u0438\u0441\u043a\u043e\u0432\u0438\u043a\u0430\u043c \u043d\u0430\u0439\u0442\u0438 \u0432\u0441\u0435 \u0441\u0442\u0440\u0430\u043d\u0438\u0446\u044b<\/a><\/li><\/ul><\/li><li class='ez-toc-page-1 ez-toc-heading-level-2'><a class=\"ez-toc-link ez-toc-heading-10\" href=\"https:\/\/storeland.ru\/blog\/novichkam\/robots-txt-what-why-needed\/#%D0%93%D0%BE%D1%82%D0%BE%D0%B2%D1%8B%D0%B5_%D0%BF%D1%80%D0%B8%D0%BC%D0%B5%D1%80%D1%8B_robotstxt_%D0%B4%D0%BB%D1%8F_%D0%BC%D0%B0%D0%BB%D0%BE%D0%B3%D0%BE_%D0%B1%D0%B8%D0%B7%D0%BD%D0%B5%D1%81%D0%B0\" >\u0413\u043e\u0442\u043e\u0432\u044b\u0435 \u043f\u0440\u0438\u043c\u0435\u0440\u044b robots.txt \u0434\u043b\u044f \u043c\u0430\u043b\u043e\u0433\u043e \u0431\u0438\u0437\u043d\u0435\u0441\u0430<\/a><ul class='ez-toc-list-level-3' ><li class='ez-toc-heading-level-3'><a class=\"ez-toc-link ez-toc-heading-11\" href=\"https:\/\/storeland.ru\/blog\/novichkam\/robots-txt-what-why-needed\/#%D0%A8%D0%B0%D0%B1%D0%BB%D0%BE%D0%BD_%D0%B4%D0%BB%D1%8F_%D1%81%D0%B0%D0%B9%D1%82%D0%B0_%D0%BD%D0%B0_WordPress\" >\u0428\u0430\u0431\u043b\u043e\u043d \u0434\u043b\u044f \u0441\u0430\u0439\u0442\u0430 \u043d\u0430 WordPress<\/a><\/li><li class='ez-toc-page-1 ez-toc-heading-level-3'><a class=\"ez-toc-link ez-toc-heading-12\" href=\"https:\/\/storeland.ru\/blog\/novichkam\/robots-txt-what-why-needed\/#%D0%9F%D1%80%D0%B8%D0%BC%D0%B5%D1%80_%D0%B4%D0%BB%D1%8F_%D0%BD%D0%B5%D0%B1%D0%BE%D0%BB%D1%8C%D1%88%D0%BE%D0%B3%D0%BE_%D0%B8%D0%BD%D1%82%D0%B5%D1%80%D0%BD%D0%B5%D1%82-%D0%BC%D0%B0%D0%B3%D0%B0%D0%B7%D0%B8%D0%BD%D0%B0\" >\u041f\u0440\u0438\u043c\u0435\u0440 \u0434\u043b\u044f \u043d\u0435\u0431\u043e\u043b\u044c\u0448\u043e\u0433\u043e \u0438\u043d\u0442\u0435\u0440\u043d\u0435\u0442-\u043c\u0430\u0433\u0430\u0437\u0438\u043d\u0430<\/a><\/li><li class='ez-toc-page-1 ez-toc-heading-level-3'><a class=\"ez-toc-link ez-toc-heading-13\" href=\"https:\/\/storeland.ru\/blog\/novichkam\/robots-txt-what-why-needed\/#%D0%91%D0%B0%D0%B7%D0%BE%D0%B2%D1%8B%D0%B9_%D0%B2%D0%B0%D1%80%D0%B8%D0%B0%D0%BD%D1%82_%D0%B4%D0%BB%D1%8F_%D1%81%D0%B0%D0%B9%D1%82%D0%B0-%D0%B2%D0%B8%D0%B7%D0%B8%D1%82%D0%BA%D0%B8\" >\u0411\u0430\u0437\u043e\u0432\u044b\u0439 \u0432\u0430\u0440\u0438\u0430\u043d\u0442 \u0434\u043b\u044f \u0441\u0430\u0439\u0442\u0430-\u0432\u0438\u0437\u0438\u0442\u043a\u0438<\/a><\/li><\/ul><\/li><li class='ez-toc-page-1 ez-toc-heading-level-2'><a class=\"ez-toc-link ez-toc-heading-14\" href=\"https:\/\/storeland.ru\/blog\/novichkam\/robots-txt-what-why-needed\/#%D0%9A%D0%B0%D0%BA_%D0%BD%D0%B0%D0%B9%D1%82%D0%B8_%D0%B8_%D0%BF%D1%80%D0%BE%D0%B2%D0%B5%D1%80%D0%B8%D1%82%D1%8C_%D0%BA%D0%BE%D1%80%D1%80%D0%B5%D0%BA%D1%82%D0%BD%D0%BE%D1%81%D1%82%D1%8C_%D1%81%D0%B2%D0%BE%D0%B5%D0%B3%D0%BE_robotstxt\" >\u041a\u0430\u043a \u043d\u0430\u0439\u0442\u0438 \u0438 \u043f\u0440\u043e\u0432\u0435\u0440\u0438\u0442\u044c \u043a\u043e\u0440\u0440\u0435\u043a\u0442\u043d\u043e\u0441\u0442\u044c \u0441\u0432\u043e\u0435\u0433\u043e robots.txt<\/a><ul class='ez-toc-list-level-3' ><li class='ez-toc-heading-level-3'><a class=\"ez-toc-link ez-toc-heading-15\" href=\"https:\/\/storeland.ru\/blog\/novichkam\/robots-txt-what-why-needed\/#%D0%93%D0%B4%D0%B5_%D0%B4%D0%BE%D0%BB%D0%B6%D0%B5%D0%BD_%D1%80%D0%B0%D1%81%D0%BF%D0%BE%D0%BB%D0%B0%D0%B3%D0%B0%D1%82%D1%8C%D1%81%D1%8F_%D1%84%D0%B0%D0%B9%D0%BB_%D0%BD%D0%B0_%D1%81%D0%B0%D0%B9%D1%82%D0%B5\" >\u0413\u0434\u0435 \u0434\u043e\u043b\u0436\u0435\u043d \u0440\u0430\u0441\u043f\u043e\u043b\u0430\u0433\u0430\u0442\u044c\u0441\u044f \u0444\u0430\u0439\u043b \u043d\u0430 \u0441\u0430\u0439\u0442\u0435<\/a><\/li><li class='ez-toc-page-1 ez-toc-heading-level-3'><a class=\"ez-toc-link ez-toc-heading-16\" href=\"https:\/\/storeland.ru\/blog\/novichkam\/robots-txt-what-why-needed\/#%D0%90%D0%BD%D0%B0%D0%BB%D0%B8%D0%B7_%D1%84%D0%B0%D0%B9%D0%BB%D0%B0_%D1%81_%D0%BF%D0%BE%D0%BC%D0%BE%D1%89%D1%8C%D1%8E_%D0%AF%D0%BD%D0%B4%D0%B5%D0%BA%D1%81%D0%92%D0%B5%D0%B1%D0%BC%D0%B0%D1%81%D1%82%D0%B5%D1%80%D0%B0\" >\u0410\u043d\u0430\u043b\u0438\u0437 \u0444\u0430\u0439\u043b\u0430 \u0441 \u043f\u043e\u043c\u043e\u0449\u044c\u044e \u042f\u043d\u0434\u0435\u043a\u0441.\u0412\u0435\u0431\u043c\u0430\u0441\u0442\u0435\u0440\u0430<\/a><\/li><li class='ez-toc-page-1 ez-toc-heading-level-3'><a class=\"ez-toc-link ez-toc-heading-17\" href=\"https:\/\/storeland.ru\/blog\/novichkam\/robots-txt-what-why-needed\/#%D0%9F%D1%80%D0%BE%D0%B2%D0%B5%D1%80%D0%BA%D0%B0_%D1%87%D0%B5%D1%80%D0%B5%D0%B7_Google_Search_Console\" >\u041f\u0440\u043e\u0432\u0435\u0440\u043a\u0430 \u0447\u0435\u0440\u0435\u0437 Google Search Console<\/a><\/li><\/ul><\/li><li class='ez-toc-page-1 ez-toc-heading-level-2'><a class=\"ez-toc-link ez-toc-heading-18\" href=\"https:\/\/storeland.ru\/blog\/novichkam\/robots-txt-what-why-needed\/#%D0%A0%D0%B0%D1%81%D0%BF%D1%80%D0%BE%D1%81%D1%82%D1%80%D0%B0%D0%BD%D0%B5%D0%BD%D0%BD%D1%8B%D0%B5_%D0%BE%D1%88%D0%B8%D0%B1%D0%BA%D0%B8_%D0%BA%D0%BE%D1%82%D0%BE%D1%80%D1%8B%D0%B5_%D0%B2%D1%80%D0%B5%D0%B4%D1%8F%D1%82_%D1%81%D0%B0%D0%B9%D1%82%D1%83\" >\u0420\u0430\u0441\u043f\u0440\u043e\u0441\u0442\u0440\u0430\u043d\u0435\u043d\u043d\u044b\u0435 \u043e\u0448\u0438\u0431\u043a\u0438, \u043a\u043e\u0442\u043e\u0440\u044b\u0435 \u0432\u0440\u0435\u0434\u044f\u0442 \u0441\u0430\u0439\u0442\u0443<\/a><ul class='ez-toc-list-level-3' ><li class='ez-toc-heading-level-3'><a class=\"ez-toc-link ez-toc-heading-19\" href=\"https:\/\/storeland.ru\/blog\/novichkam\/robots-txt-what-why-needed\/#%D0%A1%D0%BB%D1%83%D1%87%D0%B0%D0%B9%D0%BD%D0%B0%D1%8F_%D0%B1%D0%BB%D0%BE%D0%BA%D0%B8%D1%80%D0%BE%D0%B2%D0%BA%D0%B0_%D0%B2%D1%81%D0%B5%D0%B3%D0%BE_%D1%81%D0%B0%D0%B9%D1%82%D0%B0_%D0%BE%D1%82_%D0%B8%D0%BD%D0%B4%D0%B5%D0%BA%D1%81%D0%B0%D1%86%D0%B8%D0%B8\" >\u0421\u043b\u0443\u0447\u0430\u0439\u043d\u0430\u044f \u0431\u043b\u043e\u043a\u0438\u0440\u043e\u0432\u043a\u0430 \u0432\u0441\u0435\u0433\u043e \u0441\u0430\u0439\u0442\u0430 \u043e\u0442 \u0438\u043d\u0434\u0435\u043a\u0441\u0430\u0446\u0438\u0438<\/a><\/li><li class='ez-toc-page-1 ez-toc-heading-level-3'><a class=\"ez-toc-link ez-toc-heading-20\" href=\"https:\/\/storeland.ru\/blog\/novichkam\/robots-txt-what-why-needed\/#%D0%97%D0%B0%D0%BF%D1%80%D0%B5%D1%82_%D0%BD%D0%B0_%D1%81%D0%BA%D0%B0%D0%BD%D0%B8%D1%80%D0%BE%D0%B2%D0%B0%D0%BD%D0%B8%D0%B5_CSS_%D0%B8_JavaScript_%D1%84%D0%B0%D0%B9%D0%BB%D0%BE%D0%B2\" >\u0417\u0430\u043f\u0440\u0435\u0442 \u043d\u0430 \u0441\u043a\u0430\u043d\u0438\u0440\u043e\u0432\u0430\u043d\u0438\u0435 CSS \u0438 JavaScript \u0444\u0430\u0439\u043b\u043e\u0432<\/a><\/li><li class='ez-toc-page-1 ez-toc-heading-level-3'><a class=\"ez-toc-link ez-toc-heading-21\" href=\"https:\/\/storeland.ru\/blog\/novichkam\/robots-txt-what-why-needed\/#%D0%9E%D1%82%D1%81%D1%83%D1%82%D1%81%D1%82%D0%B2%D0%B8%D0%B5_%D1%81%D1%81%D1%8B%D0%BB%D0%BA%D0%B8_%D0%BD%D0%B0_%D0%B0%D0%BA%D1%82%D1%83%D0%B0%D0%BB%D1%8C%D0%BD%D1%83%D1%8E_%D0%BA%D0%B0%D1%80%D1%82%D1%83_%D1%81%D0%B0%D0%B9%D1%82%D0%B0_Sitemapxml\" >\u041e\u0442\u0441\u0443\u0442\u0441\u0442\u0432\u0438\u0435 \u0441\u0441\u044b\u043b\u043a\u0438 \u043d\u0430 \u0430\u043a\u0442\u0443\u0430\u043b\u044c\u043d\u0443\u044e \u043a\u0430\u0440\u0442\u0443 \u0441\u0430\u0439\u0442\u0430 Sitemap.xml<\/a><\/li><\/ul><\/li><li class='ez-toc-page-1 ez-toc-heading-level-2'><a class=\"ez-toc-link ez-toc-heading-22\" href=\"https:\/\/storeland.ru\/blog\/novichkam\/robots-txt-what-why-needed\/#%D0%A7%D0%B0%D1%81%D1%82%D0%BE_%D0%B7%D0%B0%D0%B4%D0%B0%D0%B2%D0%B0%D0%B5%D0%BC%D1%8B%D0%B5_%D0%B2%D0%BE%D0%BF%D1%80%D0%BE%D1%81%D1%8B_FAQ\" >\u0427\u0430\u0441\u0442\u043e \u0437\u0430\u0434\u0430\u0432\u0430\u0435\u043c\u044b\u0435 \u0432\u043e\u043f\u0440\u043e\u0441\u044b (FAQ)<\/a><ul class='ez-toc-list-level-3' ><li class='ez-toc-heading-level-3'><a class=\"ez-toc-link ez-toc-heading-23\" href=\"https:\/\/storeland.ru\/blog\/novichkam\/robots-txt-what-why-needed\/#%D0%A7%D1%82%D0%BE_%D0%B1%D1%83%D0%B4%D0%B5%D1%82_%D0%B5%D1%81%D0%BB%D0%B8_%D1%83_%D1%81%D0%B0%D0%B9%D1%82%D0%B0_%D1%81%D0%BE%D0%B2%D1%81%D0%B5%D0%BC_%D0%BD%D0%B5%D1%82_%D1%84%D0%B0%D0%B9%D0%BB%D0%B0_robotstxt\" >\u0427\u0442\u043e \u0431\u0443\u0434\u0435\u0442, \u0435\u0441\u043b\u0438 \u0443 \u0441\u0430\u0439\u0442\u0430 \u0441\u043e\u0432\u0441\u0435\u043c \u043d\u0435\u0442 \u0444\u0430\u0439\u043b\u0430 robots.txt?<\/a><\/li><li class='ez-toc-page-1 ez-toc-heading-level-3'><a class=\"ez-toc-link ez-toc-heading-24\" href=\"https:\/\/storeland.ru\/blog\/novichkam\/robots-txt-what-why-needed\/#%D0%A7%D0%B5%D0%BC_robotstxt_%D0%BE%D1%82%D0%BB%D0%B8%D1%87%D0%B0%D0%B5%D1%82%D1%81%D1%8F_%D0%BE%D1%82_%D0%BC%D0%B5%D1%82%D0%B0-%D1%82%D0%B5%D0%B3%D0%B0_noindex\" >\u0427\u0435\u043c robots.txt \u043e\u0442\u043b\u0438\u0447\u0430\u0435\u0442\u0441\u044f \u043e\u0442 \u043c\u0435\u0442\u0430-\u0442\u0435\u0433\u0430 noindex?<\/a><\/li><li class='ez-toc-page-1 ez-toc-heading-level-3'><a class=\"ez-toc-link ez-toc-heading-25\" href=\"https:\/\/storeland.ru\/blog\/novichkam\/robots-txt-what-why-needed\/#%D0%93%D0%B0%D1%80%D0%B0%D0%BD%D1%82%D0%B8%D1%80%D1%83%D0%B5%D1%82_%D0%BB%D0%B8_Disallow_%D1%87%D1%82%D0%BE_%D1%81%D1%82%D1%80%D0%B0%D0%BD%D0%B8%D1%86%D0%B0_%D0%BD%D0%B8%D0%BA%D0%BE%D0%B3%D0%B4%D0%B0_%D0%BD%D0%B5_%D0%BF%D0%BE%D0%BF%D0%B0%D0%B4%D0%B5%D1%82_%D0%B2_%D0%BF%D0%BE%D0%B8%D1%81%D0%BA\" >\u0413\u0430\u0440\u0430\u043d\u0442\u0438\u0440\u0443\u0435\u0442 \u043b\u0438 Disallow, \u0447\u0442\u043e \u0441\u0442\u0440\u0430\u043d\u0438\u0446\u0430 \u043d\u0438\u043a\u043e\u0433\u0434\u0430 \u043d\u0435 \u043f\u043e\u043f\u0430\u0434\u0435\u0442 \u0432 \u043f\u043e\u0438\u0441\u043a?<\/a><\/li><li class='ez-toc-page-1 ez-toc-heading-level-3'><a class=\"ez-toc-link ez-toc-heading-26\" href=\"https:\/\/storeland.ru\/blog\/novichkam\/robots-txt-what-why-needed\/#%D0%9A%D0%B0%D0%BA_%D0%B7%D0%B0%D0%BA%D1%80%D1%8B%D1%82%D1%8C_%D0%BE%D1%82_%D0%B8%D0%BD%D0%B4%D0%B5%D0%BA%D1%81%D0%B0%D1%86%D0%B8%D0%B8_%D0%BE%D0%B4%D0%BD%D1%83_%D0%BA%D0%BE%D0%BD%D0%BA%D1%80%D0%B5%D1%82%D0%BD%D1%83%D1%8E_%D1%81%D1%82%D1%80%D0%B0%D0%BD%D0%B8%D1%86%D1%83_%D0%B0_%D0%BD%D0%B5_%D0%B2%D0%B5%D1%81%D1%8C_%D1%80%D0%B0%D0%B7%D0%B4%D0%B5%D0%BB\" >\u041a\u0430\u043a \u0437\u0430\u043a\u0440\u044b\u0442\u044c \u043e\u0442 \u0438\u043d\u0434\u0435\u043a\u0441\u0430\u0446\u0438\u0438 \u043e\u0434\u043d\u0443 \u043a\u043e\u043d\u043a\u0440\u0435\u0442\u043d\u0443\u044e \u0441\u0442\u0440\u0430\u043d\u0438\u0446\u0443, \u0430 \u043d\u0435 \u0432\u0435\u0441\u044c \u0440\u0430\u0437\u0434\u0435\u043b?<\/a><\/li><\/ul><\/li><\/ul><\/nav><\/div>\n\n<p>\u041f\u0440\u0435\u0434\u0441\u0442\u0430\u0432\u044c\u0442\u0435, \u0447\u0442\u043e \u0432\u0430\u0448 \u0441\u0430\u0439\u0442 \u2014 \u044d\u0442\u043e \u0431\u043e\u043b\u044c\u0448\u043e\u0439 \u0442\u043e\u0440\u0433\u043e\u0432\u044b\u0439 \u0446\u0435\u043d\u0442\u0440. \u0410 \u043f\u043e\u0438\u0441\u043a\u043e\u0432\u044b\u0435 \u0440\u043e\u0431\u043e\u0442\u044b Google \u0438 \u042f\u043d\u0434\u0435\u043a\u0441\u0430 \u2014 \u044d\u0442\u043e \u043f\u043e\u0441\u0435\u0442\u0438\u0442\u0435\u043b\u0438, \u043a\u043e\u0442\u043e\u0440\u044b\u0435 \u0445\u043e\u0434\u044f\u0442 \u043f\u043e \u043d\u0435\u043c\u0443, \u0438\u0437\u0443\u0447\u0430\u044e\u0442 \u0432\u0438\u0442\u0440\u0438\u043d\u044b (\u0441\u0442\u0440\u0430\u043d\u0438\u0446\u044b) \u0438 \u0440\u0435\u0448\u0430\u044e\u0442, \u043a\u0430\u043a\u0438\u0435 \u0438\u0437 \u043d\u0438\u0445 \u0441\u0430\u043c\u044b\u0435 \u0438\u043d\u0442\u0435\u0440\u0435\u0441\u043d\u044b\u0435 \u0438 \u0434\u043e\u0441\u0442\u043e\u0439\u043d\u044b \u0432\u043d\u0438\u043c\u0430\u043d\u0438\u044f \u0434\u0440\u0443\u0433\u0438\u0445 \u043b\u044e\u0434\u0435\u0439 (\u043f\u043e\u0438\u0441\u043a\u043e\u0432\u043e\u0439 \u0432\u044b\u0434\u0430\u0447\u0438). \u0422\u0430\u043a \u0432\u043e\u0442, <code>robots.txt<\/code> \u2014 \u044d\u0442\u043e \u0442\u0430\u0431\u043b\u0438\u0447\u043a\u0430 \u0441 \u043f\u0440\u0430\u0432\u0438\u043b\u0430\u043c\u0438 \u043d\u0430 \u0432\u0445\u043e\u0434\u0435. \u041d\u0430 \u043d\u0435\u0439 \u043d\u0430\u043f\u0438\u0441\u0430\u043d\u043e: \u00ab\u0421\u044e\u0434\u0430 \u043c\u043e\u0436\u043d\u043e, \u0432 \u0441\u043b\u0443\u0436\u0435\u0431\u043d\u044b\u0435 \u043f\u043e\u043c\u0435\u0449\u0435\u043d\u0438\u044f \u2014 \u043d\u0435\u043b\u044c\u0437\u044f, \u0430 \u0432\u043e\u0442 \u0442\u0443\u0442 \u043b\u0435\u0436\u0438\u0442 \u043f\u043b\u0430\u043d \u0432\u0441\u0435\u0433\u043e \u0437\u0434\u0430\u043d\u0438\u044f\u00bb. \u042d\u0442\u043e\u0442 \u0444\u0430\u0439\u043b \u2014 \u0432\u0430\u0448\u0430 \u043f\u0435\u0440\u0432\u0430\u044f \u043b\u0438\u043d\u0438\u044f \u043e\u0431\u0449\u0435\u043d\u0438\u044f \u0441 \u043f\u043e\u0438\u0441\u043a\u043e\u0432\u044b\u043c\u0438 \u0441\u0438\u0441\u0442\u0435\u043c\u0430\u043c\u0438. \u0418 \u043e\u0442 \u0442\u043e\u0433\u043e, \u043d\u0430\u0441\u043a\u043e\u043b\u044c\u043a\u043e \u0433\u0440\u0430\u043c\u043e\u0442\u043d\u043e \u0441\u043e\u0441\u0442\u0430\u0432\u043b\u0435\u043d\u044b \u044d\u0442\u0438 \u0438\u043d\u0441\u0442\u0440\u0443\u043a\u0446\u0438\u0438, \u0437\u0430\u0432\u0438\u0441\u0438\u0442, \u043a\u0430\u043a \u0431\u044b\u0441\u0442\u0440\u043e \u0438 \u043f\u0440\u0430\u0432\u0438\u043b\u044c\u043d\u043e \u043f\u043e\u0438\u0441\u043a\u043e\u0432\u0438\u043a\u0438 \u043f\u043e\u0439\u043c\u0443\u0442 \u0441\u0443\u0442\u044c \u0432\u0430\u0448\u0435\u0433\u043e \u0441\u0430\u0439\u0442\u0430.<\/p>\n<p><img loading=\"lazy\" decoding=\"async\" class=\"alignnone size-full wp-image-2811\" src=\"https:\/\/storeland.ru\/blog\/wp-content\/uploads\/2026\/01\/robots-txt-what-why-needed.png\" alt=\"robots.txt SEO shield settings\" width=\"1024\" height=\"1024\" \/><\/p>\n<h2 id=\"robotstxt-1\"><span class=\"ez-toc-section\" id=\"%D0%9E%D1%81%D0%BD%D0%BE%D0%B2%D0%BD%D1%8B%D0%B5_%D0%B7%D0%B0%D0%B4%D0%B0%D1%87%D0%B8_robotstxt_%D0%BD%D0%B0_%D1%87%D1%82%D0%BE_%D0%BE%D0%BD_%D0%B2%D0%BB%D0%B8%D1%8F%D0%B5%D1%82\"><\/span>\u041e\u0441\u043d\u043e\u0432\u043d\u044b\u0435 \u0437\u0430\u0434\u0430\u0447\u0438 robots.txt: \u043d\u0430 \u0447\u0442\u043e \u043e\u043d \u0432\u043b\u0438\u044f\u0435\u0442?<span class=\"ez-toc-section-end\"><\/span><\/h2>\n<p>\u041c\u043d\u043e\u0433\u0438\u0435 \u0434\u0443\u043c\u0430\u044e\u0442, \u0447\u0442\u043e \u044d\u0442\u043e\u0442 \u0444\u0430\u0439\u043b \u043d\u0443\u0436\u0435\u043d \u0442\u043e\u043b\u044c\u043a\u043e \u0434\u043b\u044f \u0442\u043e\u0433\u043e, \u0447\u0442\u043e\u0431\u044b \u0447\u0442\u043e-\u0442\u043e \u0437\u0430\u043f\u0440\u0435\u0449\u0430\u0442\u044c. \u041d\u0430 \u0441\u0430\u043c\u043e\u043c \u0434\u0435\u043b\u0435 \u0435\u0433\u043e \u0444\u0443\u043d\u043a\u0446\u0438\u0438 \u0433\u043e\u0440\u0430\u0437\u0434\u043e \u0448\u0438\u0440\u0435, \u0438 \u0432\u0441\u0435 \u043e\u043d\u0438 \u043d\u0430\u043f\u0440\u044f\u043c\u0443\u044e \u0432\u043b\u0438\u044f\u044e\u0442 \u043d\u0430 \u0432\u0430\u0448\u0435 SEO-\u043f\u0440\u043e\u0434\u0432\u0438\u0436\u0435\u043d\u0438\u0435.<\/p>\n<h3 id=\"\"><span class=\"ez-toc-section\" id=\"%D0%A3%D0%BF%D1%80%D0%B0%D0%B2%D0%BB%D0%B5%D0%BD%D0%B8%D0%B5_%D0%B8%D0%BD%D0%B4%D0%B5%D0%BA%D1%81%D0%B0%D1%86%D0%B8%D0%B5%D0%B9_%D1%81%D0%BA%D1%80%D1%8B%D0%B2%D0%B0%D0%B5%D0%BC_%D0%BE%D1%82_%D0%BF%D0%BE%D0%B8%D1%81%D0%BA%D0%BE%D0%B2%D0%B8%D0%BA%D0%BE%D0%B2_%D0%BD%D0%B5%D0%BD%D1%83%D0%B6%D0%BD%D1%8B%D0%B5_%D1%81%D1%82%D1%80%D0%B0%D0%BD%D0%B8%D1%86%D1%8B\"><\/span>\u0423\u043f\u0440\u0430\u0432\u043b\u0435\u043d\u0438\u0435 \u0438\u043d\u0434\u0435\u043a\u0441\u0430\u0446\u0438\u0435\u0439: \u0441\u043a\u0440\u044b\u0432\u0430\u0435\u043c \u043e\u0442 \u043f\u043e\u0438\u0441\u043a\u043e\u0432\u0438\u043a\u043e\u0432 \u043d\u0435\u043d\u0443\u0436\u043d\u044b\u0435 \u0441\u0442\u0440\u0430\u043d\u0438\u0446\u044b<span class=\"ez-toc-section-end\"><\/span><\/h3>\n<p>\u041d\u0430 \u043b\u044e\u0431\u043e\u043c \u0441\u0430\u0439\u0442\u0435 \u0435\u0441\u0442\u044c \u0442\u0435\u0445\u043d\u0438\u0447\u0435\u0441\u043a\u0438\u0435 \u0438 \u0441\u043b\u0443\u0436\u0435\u0431\u043d\u044b\u0435 \u0440\u0430\u0437\u0434\u0435\u043b\u044b, \u043a\u043e\u0442\u043e\u0440\u044b\u0435 \u043d\u0435 \u0434\u043e\u043b\u0436\u043d\u044b \u0432\u0438\u0434\u0435\u0442\u044c \u0432\u0430\u0448\u0438 \u043f\u043e\u0442\u0435\u043d\u0446\u0438\u0430\u043b\u044c\u043d\u044b\u0435 \u043a\u043b\u0438\u0435\u043d\u0442\u044b \u0432 \u043f\u043e\u0438\u0441\u043a\u0435. \u042d\u0442\u043e, \u043d\u0430\u043f\u0440\u0438\u043c\u0435\u0440:<\/p>\n<ul>\n<li>\u0421\u0442\u0440\u0430\u043d\u0438\u0446\u044b \u0432\u0445\u043e\u0434\u0430 \u0432 \u0430\u0434\u043c\u0438\u043d\u043a\u0443 \u0441\u0430\u0439\u0442\u0430.<\/li>\n<li>\u0420\u0435\u0437\u0443\u043b\u044c\u0442\u0430\u0442\u044b \u0432\u043d\u0443\u0442\u0440\u0435\u043d\u043d\u0435\u0433\u043e \u043f\u043e\u0438\u0441\u043a\u0430 \u043f\u043e \u0441\u0430\u0439\u0442\u0443 (<code>\/search?q=...<\/code>).<\/li>\n<li>\u0421\u0442\u0440\u0430\u043d\u0438\u0446\u044b \u043a\u043e\u0440\u0437\u0438\u043d\u044b, \u043e\u0444\u043e\u0440\u043c\u043b\u0435\u043d\u0438\u044f \u0437\u0430\u043a\u0430\u0437\u0430, \u043b\u0438\u0447\u043d\u044b\u0435 \u043a\u0430\u0431\u0438\u043d\u0435\u0442\u044b \u043f\u043e\u043b\u044c\u0437\u043e\u0432\u0430\u0442\u0435\u043b\u0435\u0439.<\/li>\n<li>\u0422\u0435\u0445\u043d\u0438\u0447\u0435\u0441\u043a\u0438\u0435 \u0434\u0443\u0431\u043b\u0438 \u0441\u0442\u0440\u0430\u043d\u0438\u0446 (\u043d\u0430\u043f\u0440\u0438\u043c\u0435\u0440, \u0432\u0435\u0440\u0441\u0438\u0438 \u0434\u043b\u044f \u043f\u0435\u0447\u0430\u0442\u0438).<\/li>\n<\/ul>\n<p>\u0415\u0441\u043b\u0438 \u0432\u0441\u0451 \u044d\u0442\u043e \u043f\u043e\u043f\u0430\u0434\u0451\u0442 \u0432 \u043f\u043e\u0438\u0441\u043a\u043e\u0432\u0443\u044e \u0432\u044b\u0434\u0430\u0447\u0443, \u043e\u043d\u0430 \u0441\u0442\u0430\u043d\u0435\u0442 \u00ab\u0437\u0430\u043c\u0443\u0441\u043e\u0440\u0435\u043d\u043d\u043e\u0439\u00bb. \u041f\u043e\u043b\u044c\u0437\u043e\u0432\u0430\u0442\u0435\u043b\u0438 \u0431\u0443\u0434\u0443\u0442 \u043f\u043e\u043f\u0430\u0434\u0430\u0442\u044c \u043d\u0435 \u043d\u0430 \u043a\u0430\u0440\u0442\u043e\u0447\u043a\u0438 \u0442\u043e\u0432\u0430\u0440\u043e\u0432, \u0430 \u043d\u0430 \u0447\u0443\u0436\u0438\u0435 \u043a\u043e\u0440\u0437\u0438\u043d\u044b. <code>Robots.txt<\/code> \u043f\u043e\u0437\u0432\u043e\u043b\u044f\u0435\u0442 \u0432\u0435\u0436\u043b\u0438\u0432\u043e \u043f\u043e\u043f\u0440\u043e\u0441\u0438\u0442\u044c \u043f\u043e\u0438\u0441\u043a\u043e\u0432\u044b\u0445 \u0440\u043e\u0431\u043e\u0442\u043e\u0432 \u0434\u0430\u0436\u0435 \u043d\u0435 \u0437\u0430\u0445\u043e\u0434\u0438\u0442\u044c \u0432 \u044d\u0442\u0438 \u0440\u0430\u0437\u0434\u0435\u043b\u044b.<\/p>\n<h3 id=\"-1\"><span class=\"ez-toc-section\" id=\"%D0%AD%D0%BA%D0%BE%D0%BD%D0%BE%D0%BC%D0%B8%D1%8F_%D0%BA%D1%80%D0%B0%D1%83%D0%BB%D0%B8%D0%BD%D0%B3%D0%BE%D0%B2%D0%BE%D0%B3%D0%BE_%D0%B1%D1%8E%D0%B4%D0%B6%D0%B5%D1%82%D0%B0_%D0%BD%D0%B0%D0%BF%D1%80%D0%B0%D0%B2%D0%BB%D1%8F%D0%B5%D0%BC_%D1%80%D0%BE%D0%B1%D0%BE%D1%82%D0%BE%D0%B2_%D0%BD%D0%B0_%D1%81%D0%B0%D0%BC%D0%BE%D0%B5_%D0%B2%D0%B0%D0%B6%D0%BD%D0%BE%D0%B5\"><\/span>\u042d\u043a\u043e\u043d\u043e\u043c\u0438\u044f \u043a\u0440\u0430\u0443\u043b\u0438\u043d\u0433\u043e\u0432\u043e\u0433\u043e \u0431\u044e\u0434\u0436\u0435\u0442\u0430: \u043d\u0430\u043f\u0440\u0430\u0432\u043b\u044f\u0435\u043c \u0440\u043e\u0431\u043e\u0442\u043e\u0432 \u043d\u0430 \u0441\u0430\u043c\u043e\u0435 \u0432\u0430\u0436\u043d\u043e\u0435<span class=\"ez-toc-section-end\"><\/span><\/h3>\n<p>\u0423 \u043f\u043e\u0438\u0441\u043a\u043e\u0432\u044b\u0445 \u0441\u0438\u0441\u0442\u0435\u043c \u0435\u0441\u0442\u044c \u043b\u0438\u043c\u0438\u0442 \u043d\u0430 \u043a\u043e\u043b\u0438\u0447\u0435\u0441\u0442\u0432\u043e \u0441\u0442\u0440\u0430\u043d\u0438\u0446, \u043a\u043e\u0442\u043e\u0440\u044b\u0435 \u043e\u043d\u0438 \u043c\u043e\u0433\u0443\u0442 \u043e\u0431\u043e\u0439\u0442\u0438 \u043d\u0430 \u0432\u0430\u0448\u0435\u043c \u0441\u0430\u0439\u0442\u0435 \u0437\u0430 \u043e\u0434\u0438\u043d \u0432\u0438\u0437\u0438\u0442. \u042d\u0442\u043e \u043d\u0430\u0437\u044b\u0432\u0430\u0435\u0442\u0441\u044f <strong>\u043a\u0440\u0430\u0443\u043b\u0438\u043d\u0433\u043e\u0432\u044b\u0439 \u0431\u044e\u0434\u0436\u0435\u0442<\/strong>. \u041e\u0441\u043e\u0431\u0435\u043d\u043d\u043e \u044d\u0442\u043e \u0430\u043a\u0442\u0443\u0430\u043b\u044c\u043d\u043e \u0434\u043b\u044f \u043a\u0440\u0443\u043f\u043d\u044b\u0445 \u0438\u043d\u0442\u0435\u0440\u043d\u0435\u0442-\u043c\u0430\u0433\u0430\u0437\u0438\u043d\u043e\u0432 \u0441 \u0442\u044b\u0441\u044f\u0447\u0430\u043c\u0438 \u0442\u043e\u0432\u0430\u0440\u043e\u0432.<\/p>\n<blockquote><p>\u041f\u0440\u0435\u0434\u0441\u0442\u0430\u0432\u044c\u0442\u0435, \u0447\u0442\u043e \u043a \u0432\u0430\u043c \u0432 \u043c\u0430\u0433\u0430\u0437\u0438\u043d \u043f\u0440\u0438\u0435\u0445\u0430\u043b \u0442\u0430\u0439\u043d\u044b\u0439 \u043f\u043e\u043a\u0443\u043f\u0430\u0442\u0435\u043b\u044c, \u0443 \u043a\u043e\u0442\u043e\u0440\u043e\u0433\u043e \u0435\u0441\u0442\u044c \u0432\u0441\u0435\u0433\u043e 15 \u043c\u0438\u043d\u0443\u0442. \u0412\u044b \u0436\u0435 \u043d\u0435 \u043e\u0442\u043f\u0440\u0430\u0432\u0438\u0442\u0435 \u0435\u0433\u043e \u0438\u0437\u0443\u0447\u0430\u0442\u044c \u0441\u043a\u043b\u0430\u0434 \u0438 \u043f\u043e\u0434\u0441\u043e\u0431\u043a\u0443? \u0412\u044b \u043f\u043e\u043a\u0430\u0436\u0435\u0442\u0435 \u0435\u043c\u0443 \u043b\u0443\u0447\u0448\u0438\u0435 \u0432\u0438\u0442\u0440\u0438\u043d\u044b. \u0422\u0430\u043a \u0438 \u0441 \u0440\u043e\u0431\u043e\u0442\u0430\u043c\u0438: \u0437\u0430\u043a\u0440\u044b\u0432\u0430\u044f \u0434\u043e\u0441\u0442\u0443\u043f \u043a \u043c\u0443\u0441\u043e\u0440\u043d\u044b\u043c \u0441\u0442\u0440\u0430\u043d\u0438\u0446\u0430\u043c, \u0432\u044b \u043d\u0430\u043f\u0440\u0430\u0432\u043b\u044f\u0435\u0442\u0435 \u0438\u0445 \u0432\u043d\u0438\u043c\u0430\u043d\u0438\u0435 \u043d\u0430 \u0441\u0430\u043c\u044b\u0435 \u0432\u0430\u0436\u043d\u044b\u0435 \u2014 \u043a\u0430\u0440\u0442\u043e\u0447\u043a\u0438 \u0442\u043e\u0432\u0430\u0440\u043e\u0432, \u043a\u0430\u0442\u0435\u0433\u043e\u0440\u0438\u0438, \u0441\u0442\u0430\u0442\u044c\u0438 \u0432 \u0431\u043b\u043e\u0433\u0435.<\/p><\/blockquote>\n<p>\u042d\u0442\u043e \u043f\u043e\u043c\u043e\u0433\u0430\u0435\u0442 \u0443\u0441\u043a\u043e\u0440\u0438\u0442\u044c \u0438\u043d\u0434\u0435\u043a\u0441\u0430\u0446\u0438\u044e \u043d\u043e\u0432\u044b\u0445 \u0442\u043e\u0432\u0430\u0440\u043e\u0432 \u0438 \u0432\u0430\u0436\u043d\u044b\u0445 \u0438\u0437\u043c\u0435\u043d\u0435\u043d\u0438\u0439 \u043d\u0430 \u0441\u0430\u0439\u0442\u0435. \u0420\u043e\u0431\u043e\u0442 \u043d\u0435 \u0442\u0440\u0430\u0442\u0438\u0442 \u0432\u0440\u0435\u043c\u044f \u043d\u0430 \u0431\u0435\u0441\u043f\u043e\u043b\u0435\u0437\u043d\u044b\u0435 \u0441\u0442\u0440\u0430\u043d\u0438\u0446\u044b \u0438 \u0431\u044b\u0441\u0442\u0440\u0435\u0435 \u043d\u0430\u0445\u043e\u0434\u0438\u0442 \u0442\u043e, \u0447\u0442\u043e \u0434\u0435\u0439\u0441\u0442\u0432\u0438\u0442\u0435\u043b\u044c\u043d\u043e \u043d\u0443\u0436\u043d\u043e \u043f\u043e\u043a\u0430\u0437\u0430\u0442\u044c \u043f\u043e\u043b\u044c\u0437\u043e\u0432\u0430\u0442\u0435\u043b\u044f\u043c.<\/p>\n<h3 id=\"-2\"><span class=\"ez-toc-section\" id=\"%D0%9F%D1%80%D0%B5%D0%B4%D0%BE%D1%82%D0%B2%D1%80%D0%B0%D1%89%D0%B5%D0%BD%D0%B8%D0%B5_%D0%BF%D0%BE%D1%8F%D0%B2%D0%BB%D0%B5%D0%BD%D0%B8%D1%8F_%D0%B4%D1%83%D0%B1%D0%BB%D0%B5%D0%B9_%D0%BA%D0%BE%D0%BD%D1%82%D0%B5%D0%BD%D1%82%D0%B0\"><\/span>\u041f\u0440\u0435\u0434\u043e\u0442\u0432\u0440\u0430\u0449\u0435\u043d\u0438\u0435 \u043f\u043e\u044f\u0432\u043b\u0435\u043d\u0438\u044f \u0434\u0443\u0431\u043b\u0435\u0439 \u043a\u043e\u043d\u0442\u0435\u043d\u0442\u0430<span class=\"ez-toc-section-end\"><\/span><\/h3>\n<p>\u041f\u043e\u0438\u0441\u043a\u043e\u0432\u0438\u043a\u0438 \u043d\u0435 \u043b\u044e\u0431\u044f\u0442, \u043a\u043e\u0433\u0434\u0430 \u043e\u0434\u0438\u043d \u0438 \u0442\u043e\u0442 \u0436\u0435 \u043a\u043e\u043d\u0442\u0435\u043d\u0442 \u0434\u043e\u0441\u0442\u0443\u043f\u0435\u043d \u043f\u043e \u0440\u0430\u0437\u043d\u044b\u043c URL-\u0430\u0434\u0440\u0435\u0441\u0430\u043c. \u0414\u043b\u044f \u043d\u0438\u0445 \u044d\u0442\u043e \u043f\u0440\u0438\u0437\u043d\u0430\u043a \u043d\u0435\u043a\u0430\u0447\u0435\u0441\u0442\u0432\u0435\u043d\u043d\u043e\u0433\u043e \u0441\u0430\u0439\u0442\u0430. \u0414\u0443\u0431\u043b\u0438 \u0447\u0430\u0441\u0442\u043e \u0441\u043e\u0437\u0434\u0430\u044e\u0442\u0441\u044f \u0430\u0432\u0442\u043e\u043c\u0430\u0442\u0438\u0447\u0435\u0441\u043a\u0438: \u0438\u0437-\u0437\u0430 \u0444\u0438\u043b\u044c\u0442\u0440\u043e\u0432 \u0432 \u043a\u0430\u0442\u0430\u043b\u043e\u0433\u0435, \u043f\u0430\u0440\u0430\u043c\u0435\u0442\u0440\u043e\u0432 \u0441\u043e\u0440\u0442\u0438\u0440\u043e\u0432\u043a\u0438 \u0438\u043b\u0438 UTM-\u043c\u0435\u0442\u043e\u043a. <code>Robots.txt<\/code> \u043f\u043e\u043c\u043e\u0433\u0430\u0435\u0442 \u0437\u0430\u043a\u0440\u044b\u0442\u044c \u043e\u0442 \u0438\u043d\u0434\u0435\u043a\u0441\u0430\u0446\u0438\u0438 \u0441\u0442\u0440\u0430\u043d\u0438\u0446\u044b \u0441 \u0442\u0430\u043a\u0438\u043c\u0438 \u043f\u0430\u0440\u0430\u043c\u0435\u0442\u0440\u0430\u043c\u0438, \u043e\u0441\u0442\u0430\u0432\u043b\u044f\u044f \u0432 \u043f\u043e\u0438\u0441\u043a\u0435 \u0442\u043e\u043b\u044c\u043a\u043e \u043e\u0434\u043d\u0443, \u043a\u0430\u043d\u043e\u043d\u0438\u0447\u0435\u0441\u043a\u0443\u044e \u0432\u0435\u0440\u0441\u0438\u044e.<\/p>\n<h3 id=\"-3\"><span class=\"ez-toc-section\" id=\"%D0%A3%D0%BA%D0%B0%D0%B7%D0%B0%D0%BD%D0%B8%D0%B5_%D0%BF%D1%83%D1%82%D0%B8_%D0%BA_%D0%BA%D0%B0%D1%80%D1%82%D0%B5_%D1%81%D0%B0%D0%B9%D1%82%D0%B0_%D0%B4%D0%BB%D1%8F_%D0%B1%D1%8B%D1%81%D1%82%D1%80%D0%BE%D0%B9_%D0%B8%D0%BD%D0%B4%D0%B5%D0%BA%D1%81%D0%B0%D1%86%D0%B8%D0%B8\"><\/span>\u0423\u043a\u0430\u0437\u0430\u043d\u0438\u0435 \u043f\u0443\u0442\u0438 \u043a \u043a\u0430\u0440\u0442\u0435 \u0441\u0430\u0439\u0442\u0430 \u0434\u043b\u044f \u0431\u044b\u0441\u0442\u0440\u043e\u0439 \u0438\u043d\u0434\u0435\u043a\u0441\u0430\u0446\u0438\u0438<span class=\"ez-toc-section-end\"><\/span><\/h3>\n<p>\u041e\u0434\u043d\u0430 \u0438\u0437 \u0432\u0430\u0436\u043d\u0435\u0439\u0448\u0438\u0445 \u0444\u0443\u043d\u043a\u0446\u0438\u0439 <code>robots.txt<\/code> \u2014 \u0441\u043e\u043e\u0431\u0449\u0438\u0442\u044c \u043f\u043e\u0438\u0441\u043a\u043e\u0432\u043e\u043c\u0443 \u0440\u043e\u0431\u043e\u0442\u0443, \u0433\u0434\u0435 \u043b\u0435\u0436\u0438\u0442 \u0432\u0430\u0448\u0430 Sitemap.xml (<a href=\"https:\/\/storeland.ru\/blog\/uncategorized\/how-to-make-html-sitemap\/\">\u043a\u0430\u0440\u0442\u0430 \u0441\u0430\u0439\u0442\u0430<\/a>). \u042d\u0442\u043e \u043a\u0430\u043a \u0434\u0430\u0442\u044c \u0433\u043e\u0441\u0442\u044e \u043f\u043b\u0430\u043d \u0437\u0434\u0430\u043d\u0438\u044f. \u0420\u043e\u0431\u043e\u0442 \u0441\u0440\u0430\u0437\u0443 \u0432\u0438\u0434\u0438\u0442 \u0441\u0442\u0440\u0443\u043a\u0442\u0443\u0440\u0443 \u0432\u0430\u0448\u0435\u0433\u043e \u0440\u0435\u0441\u0443\u0440\u0441\u0430 \u0438 \u0432\u0441\u0435 \u0432\u0430\u0436\u043d\u044b\u0435 \u0441\u0442\u0440\u0430\u043d\u0438\u0446\u044b, \u043a\u043e\u0442\u043e\u0440\u044b\u0435 \u043d\u0443\u0436\u043d\u043e \u043e\u0431\u043e\u0439\u0442\u0438. \u042d\u0442\u043e \u0437\u043d\u0430\u0447\u0438\u0442\u0435\u043b\u044c\u043d\u043e \u0443\u0441\u043a\u043e\u0440\u044f\u0435\u0442 \u043f\u0440\u043e\u0446\u0435\u0441\u0441 \u0438\u043d\u0434\u0435\u043a\u0441\u0430\u0446\u0438\u0438, \u043e\u0441\u043e\u0431\u0435\u043d\u043d\u043e \u0434\u043b\u044f \u043d\u043e\u0432\u044b\u0445 \u0441\u0430\u0439\u0442\u043e\u0432.<\/p>\n<div style=\"margin: 20px 0;\"><iframe loading=\"lazy\" title=\"\u0412\u0438\u0434\u0435\u043e\" src=\"https:\/\/www.youtube.com\/embed\/juVmyiPXumA\" width=\"560\" height=\"315\" frameborder=\"0\" allowfullscreen=\"allowfullscreen\"><br \/>\n<\/iframe><\/div>\n<h2 id=\"robotstxt-2\"><span class=\"ez-toc-section\" id=\"%D0%90%D0%BD%D0%B0%D1%82%D0%BE%D0%BC%D0%B8%D1%8F_%D1%84%D0%B0%D0%B9%D0%BB%D0%B0_%D0%B8%D0%B7_%D0%BA%D0%B0%D0%BA%D0%B8%D1%85_%D0%BA%D0%BE%D0%BC%D0%B0%D0%BD%D0%B4_%D1%81%D0%BE%D1%81%D1%82%D0%BE%D0%B8%D1%82_robotstxt\"><\/span>\u0410\u043d\u0430\u0442\u043e\u043c\u0438\u044f \u0444\u0430\u0439\u043b\u0430: \u0438\u0437 \u043a\u0430\u043a\u0438\u0445 \u043a\u043e\u043c\u0430\u043d\u0434 \u0441\u043e\u0441\u0442\u043e\u0438\u0442 robots.txt<span class=\"ez-toc-section-end\"><\/span><\/h2>\n<p>\u0424\u0430\u0439\u043b <code>robots.txt<\/code> \u2014 \u044d\u0442\u043e \u043f\u0440\u043e\u0441\u0442\u043e\u0439 \u0442\u0435\u043a\u0441\u0442\u043e\u0432\u044b\u0439 \u0434\u043e\u043a\u0443\u043c\u0435\u043d\u0442, \u0441\u043e\u0441\u0442\u043e\u044f\u0449\u0438\u0439 \u0438\u0437 \u043d\u0430\u0431\u043e\u0440\u0430 \u043f\u0440\u0430\u0432\u0438\u043b, \u043a\u043e\u0442\u043e\u0440\u044b\u0435 \u043d\u0430\u0437\u044b\u0432\u0430\u044e\u0442\u0441\u044f \u0434\u0438\u0440\u0435\u043a\u0442\u0438\u0432\u0430\u043c\u0438. \u0414\u0430\u0432\u0430\u0439\u0442\u0435 \u0440\u0430\u0437\u0431\u0435\u0440\u0451\u043c \u043e\u0441\u043d\u043e\u0432\u043d\u044b\u0435 \u0438\u0437 \u043d\u0438\u0445.<\/p>\n<h3 id=\"useragent\"><span class=\"ez-toc-section\" id=\"%D0%94%D0%B8%D1%80%D0%B5%D0%BA%D1%82%D0%B8%D0%B2%D0%B0_User-agent_%D0%B4%D0%BB%D1%8F_%D0%BA%D0%B0%D0%BA%D0%B8%D1%85_%D0%BF%D0%BE%D0%B8%D1%81%D0%BA%D0%BE%D0%B2%D1%8B%D1%85_%D1%80%D0%BE%D0%B1%D0%BE%D1%82%D0%BE%D0%B2_%D1%81%D0%BE%D0%B7%D0%B4%D0%B0%D0%BD%D1%8B_%D0%BF%D1%80%D0%B0%D0%B2%D0%B8%D0%BB%D0%B0\"><\/span>\u0414\u0438\u0440\u0435\u043a\u0442\u0438\u0432\u0430 <code>User-agent<\/code>: \u0434\u043b\u044f \u043a\u0430\u043a\u0438\u0445 \u043f\u043e\u0438\u0441\u043a\u043e\u0432\u044b\u0445 \u0440\u043e\u0431\u043e\u0442\u043e\u0432 \u0441\u043e\u0437\u0434\u0430\u043d\u044b \u043f\u0440\u0430\u0432\u0438\u043b\u0430<span class=\"ez-toc-section-end\"><\/span><\/h3>\n<p>\u042d\u0442\u0430 \u043a\u043e\u043c\u0430\u043d\u0434\u0430 \u0443\u043a\u0430\u0437\u044b\u0432\u0430\u0435\u0442, \u043a\u0430\u043a\u043e\u043c\u0443 \u0438\u043c\u0435\u043d\u043d\u043e \u0440\u043e\u0431\u043e\u0442\u0443 \u0430\u0434\u0440\u0435\u0441\u043e\u0432\u0430\u043d\u044b \u0441\u043b\u0435\u0434\u0443\u044e\u0449\u0438\u0435 \u0437\u0430 \u043d\u0435\u0439 \u043f\u0440\u0430\u0432\u0438\u043b\u0430. \u0423 \u043a\u0430\u0436\u0434\u043e\u0433\u043e \u043f\u043e\u0438\u0441\u043a\u043e\u0432\u0438\u043a\u0430 \u0441\u0432\u043e\u0439 \u0440\u043e\u0431\u043e\u0442:<\/p>\n<ul>\n<li><code>Googlebot<\/code> \u2014 \u043e\u0441\u043d\u043e\u0432\u043d\u043e\u0439 \u0440\u043e\u0431\u043e\u0442 Google.<\/li>\n<li><code>Yandex<\/code> \u2014 \u043e\u0441\u043d\u043e\u0432\u043d\u043e\u0439 \u0440\u043e\u0431\u043e\u0442 \u042f\u043d\u0434\u0435\u043a\u0441\u0430.<\/li>\n<li><code>*<\/code> (\u0437\u0432\u0451\u0437\u0434\u043e\u0447\u043a\u0430) \u2014 \u043f\u0440\u0430\u0432\u0438\u043b\u043e \u0434\u043b\u044f \u0432\u0441\u0435\u0445 \u0440\u043e\u0431\u043e\u0442\u043e\u0432 \u0441\u0440\u0430\u0437\u0443.<\/li>\n<\/ul>\n<p>\u0427\u0430\u0449\u0435 \u0432\u0441\u0435\u0433\u043e \u043f\u0440\u0435\u0434\u043f\u0440\u0438\u043d\u0438\u043c\u0430\u0442\u0435\u043b\u0438 \u0438\u0441\u043f\u043e\u043b\u044c\u0437\u0443\u044e\u0442 <code>*<\/code>, \u0447\u0442\u043e\u0431\u044b \u043d\u0435 \u043f\u0438\u0441\u0430\u0442\u044c \u043e\u0442\u0434\u0435\u043b\u044c\u043d\u044b\u0435 \u0438\u043d\u0441\u0442\u0440\u0443\u043a\u0446\u0438\u0438 \u0434\u043b\u044f \u043a\u0430\u0436\u0434\u043e\u0439 \u043f\u043e\u0438\u0441\u043a\u043e\u0432\u043e\u0439 \u0441\u0438\u0441\u0442\u0435\u043c\u044b.<\/p>\n<pre><code>User-agent: * # \u041f\u0440\u0430\u0432\u0438\u043b\u0430 \u043d\u0438\u0436\u0435 \u0431\u0443\u0434\u0443\u0442 \u043f\u0440\u0438\u043c\u0435\u043d\u044f\u0442\u044c\u0441\u044f \u043a\u043e \u0432\u0441\u0435\u043c \u043f\u043e\u0438\u0441\u043a\u043e\u0432\u044b\u043c \u0440\u043e\u0431\u043e\u0442\u0430\u043c<\/code><\/pre>\n<h3 id=\"disallowallow\"><span class=\"ez-toc-section\" id=\"%D0%94%D0%B8%D1%80%D0%B5%D0%BA%D1%82%D0%B8%D0%B2%D1%8B_Disallow_%D0%B8_Allow_%D0%BA%D0%B0%D0%BA_%D0%BF%D1%80%D0%B0%D0%B2%D0%B8%D0%BB%D1%8C%D0%BD%D0%BE_%D0%B7%D0%B0%D0%BF%D1%80%D0%B5%D1%89%D0%B0%D1%82%D1%8C_%D0%B8_%D1%80%D0%B0%D0%B7%D1%80%D0%B5%D1%88%D0%B0%D1%82%D1%8C_%D0%B4%D0%BE%D1%81%D1%82%D1%83%D0%BF\"><\/span>\u0414\u0438\u0440\u0435\u043a\u0442\u0438\u0432\u044b <code>Disallow<\/code> \u0438 <code>Allow<\/code>: \u043a\u0430\u043a \u043f\u0440\u0430\u0432\u0438\u043b\u044c\u043d\u043e \u0437\u0430\u043f\u0440\u0435\u0449\u0430\u0442\u044c \u0438 \u0440\u0430\u0437\u0440\u0435\u0448\u0430\u0442\u044c \u0434\u043e\u0441\u0442\u0443\u043f<span class=\"ez-toc-section-end\"><\/span><\/h3>\n<p>\u042d\u0442\u043e \u0441\u0435\u0440\u0434\u0446\u0435 \u0444\u0430\u0439\u043b\u0430 <code>robots.txt<\/code>.<\/p>\n<ul>\n<li><strong><code>Disallow<\/code><\/strong> (\u0437\u0430\u043f\u0440\u0435\u0442\u0438\u0442\u044c) \u2014 \u0443\u043a\u0430\u0437\u044b\u0432\u0430\u0435\u0442 \u0440\u043e\u0431\u043e\u0442\u0443, \u043a\u0430\u043a\u0438\u0435 \u0440\u0430\u0437\u0434\u0435\u043b\u044b \u0438\u043b\u0438 \u0441\u0442\u0440\u0430\u043d\u0438\u0446\u044b \u0441\u0430\u0439\u0442\u0430 \u0441\u043a\u0430\u043d\u0438\u0440\u043e\u0432\u0430\u0442\u044c \u043d\u0435 \u043d\u0443\u0436\u043d\u043e.<\/li>\n<li><strong><code>Allow<\/code><\/strong> (\u0440\u0430\u0437\u0440\u0435\u0448\u0438\u0442\u044c) \u2014 \u0438\u0441\u043f\u043e\u043b\u044c\u0437\u0443\u0435\u0442\u0441\u044f \u0440\u0435\u0436\u0435, \u0432 \u043e\u0441\u043d\u043e\u0432\u043d\u043e\u043c \u0447\u0442\u043e\u0431\u044b \u0441\u0434\u0435\u043b\u0430\u0442\u044c \u0438\u0441\u043a\u043b\u044e\u0447\u0435\u043d\u0438\u0435 \u0432\u043d\u0443\u0442\u0440\u0438 \u0437\u0430\u043f\u0440\u0435\u0449\u0451\u043d\u043d\u043e\u0433\u043e \u0440\u0430\u0437\u0434\u0435\u043b\u0430.<\/li>\n<\/ul>\n<p><strong>\u041f\u0440\u0438\u043c\u0435\u0440\u044b \u0438\u0441\u043f\u043e\u043b\u044c\u0437\u043e\u0432\u0430\u043d\u0438\u044f:<\/strong><\/p>\n<ul>\n<li>\u0417\u0430\u043f\u0440\u0435\u0442\u0438\u0442\u044c \u0434\u043e\u0441\u0442\u0443\u043f \u043a\u043e \u0432\u0441\u0435\u043c\u0443 \u0441\u0430\u0439\u0442\u0443 (\u043e\u043f\u0430\u0441\u043d\u043e!):<br \/>\n<code>Disallow: \/<\/code><\/li>\n<li>\u0417\u0430\u043f\u0440\u0435\u0442\u0438\u0442\u044c \u0434\u043e\u0441\u0442\u0443\u043f \u043a \u0430\u0434\u043c\u0438\u043d\u0438\u0441\u0442\u0440\u0430\u0442\u0438\u0432\u043d\u043e\u0439 \u043f\u0430\u043d\u0435\u043b\u0438:<br \/>\n<code>Disallow: \/admin\/<\/code><\/li>\n<li>\u0417\u0430\u043f\u0440\u0435\u0442\u0438\u0442\u044c \u0434\u043e\u0441\u0442\u0443\u043f \u043a \u0441\u0442\u0440\u0430\u043d\u0438\u0446\u0430\u043c \u043f\u043e\u0438\u0441\u043a\u0430:<br \/>\n<code>Disallow: \/search\/<\/code><\/li>\n<li>\u0420\u0430\u0437\u0440\u0435\u0448\u0438\u0442\u044c \u0434\u043e\u0441\u0442\u0443\u043f \u043a \u043e\u0434\u043d\u043e\u0439 \u0432\u0430\u0436\u043d\u043e\u0439 \u0441\u0442\u0440\u0430\u043d\u0438\u0446\u0435 \u0432\u043d\u0443\u0442\u0440\u0438 \u0437\u0430\u043a\u0440\u044b\u0442\u043e\u0433\u043e \u043a\u0430\u0442\u0430\u043b\u043e\u0433\u0430 (\u043f\u0440\u0438\u043c\u0435\u0440 \u0434\u043b\u044f \u043f\u0440\u043e\u0434\u0432\u0438\u043d\u0443\u0442\u044b\u0445):<br \/>\n<code>Disallow: \/private\/<\/code><br \/>\n<code>Allow: \/private\/important-page.html<\/code><\/li>\n<\/ul>\n<h3 id=\"sitemap\"><span class=\"ez-toc-section\" id=\"%D0%94%D0%B8%D1%80%D0%B5%D0%BA%D1%82%D0%B8%D0%B2%D0%B0_Sitemap_%D0%BF%D0%BE%D0%BC%D0%BE%D0%B3%D0%B0%D0%B5%D0%BC_%D0%BF%D0%BE%D0%B8%D1%81%D0%BA%D0%BE%D0%B2%D0%B8%D0%BA%D0%B0%D0%BC_%D0%BD%D0%B0%D0%B9%D1%82%D0%B8_%D0%B2%D1%81%D0%B5_%D1%81%D1%82%D1%80%D0%B0%D0%BD%D0%B8%D1%86%D1%8B\"><\/span>\u0414\u0438\u0440\u0435\u043a\u0442\u0438\u0432\u0430 <code>Sitemap<\/code>: \u043f\u043e\u043c\u043e\u0433\u0430\u0435\u043c \u043f\u043e\u0438\u0441\u043a\u043e\u0432\u0438\u043a\u0430\u043c \u043d\u0430\u0439\u0442\u0438 \u0432\u0441\u0435 \u0441\u0442\u0440\u0430\u043d\u0438\u0446\u044b<span class=\"ez-toc-section-end\"><\/span><\/h3>\n<p>\u042d\u0442\u043e \u043f\u0440\u043e\u0441\u0442\u0430\u044f, \u043d\u043e \u043a\u0440\u0438\u0442\u0438\u0447\u0435\u0441\u043a\u0438 \u0432\u0430\u0436\u043d\u0430\u044f \u0441\u0442\u0440\u043e\u043a\u0430. \u041e\u043d\u0430 \u0443\u043a\u0430\u0437\u044b\u0432\u0430\u0435\u0442 \u043f\u043e\u043b\u043d\u044b\u0439 \u043f\u0443\u0442\u044c \u043a \u0432\u0430\u0448\u0435\u0439 \u043a\u0430\u0440\u0442\u0435 \u0441\u0430\u0439\u0442\u0430. \u041f\u043e\u0438\u0441\u043a\u043e\u0432\u044b\u0439 \u0440\u043e\u0431\u043e\u0442, \u0437\u0430\u0439\u0434\u044f \u0432 <code>robots.txt<\/code>, \u0441\u0440\u0430\u0437\u0443 \u0432\u0438\u0434\u0438\u0442 \u044d\u0442\u0443 \u0441\u0441\u044b\u043b\u043a\u0443 \u0438 \u043e\u0442\u043f\u0440\u0430\u0432\u043b\u044f\u0435\u0442\u0441\u044f \u0438\u0437\u0443\u0447\u0430\u0442\u044c \u0441\u0442\u0440\u0443\u043a\u0442\u0443\u0440\u0443 \u0432\u0430\u0448\u0435\u0433\u043e \u0441\u0430\u0439\u0442\u0430.<\/p>\n<p><code>Sitemap: https:\/\/vash-site.ru\/sitemap.xml<\/code><\/p>\n<p>\u0412 \u0444\u0430\u0439\u043b\u0435 \u043c\u043e\u0436\u0435\u0442 \u0431\u044b\u0442\u044c \u043d\u0435\u0441\u043a\u043e\u043b\u044c\u043a\u043e \u043a\u0430\u0440\u0442 \u0441\u0430\u0439\u0442\u0430, \u0435\u0441\u043b\u0438 \u0443 \u0432\u0430\u0441 \u0431\u043e\u043b\u044c\u0448\u043e\u0439 \u043f\u043e\u0440\u0442\u0430\u043b.<\/p>\n<table>\n<thead>\n<tr>\n<th>\u0414\u0438\u0440\u0435\u043a\u0442\u0438\u0432\u0430<\/th>\n<th>\u041d\u0430\u0437\u043d\u0430\u0447\u0435\u043d\u0438\u0435<\/th>\n<th>\u041f\u0440\u0438\u043c\u0435\u0440 \u0438\u0441\u043f\u043e\u043b\u044c\u0437\u043e\u0432\u0430\u043d\u0438\u044f<\/th>\n<\/tr>\n<\/thead>\n<tbody>\n<tr>\n<td><code>User-agent<\/code><\/td>\n<td>\u0423\u043a\u0430\u0437\u044b\u0432\u0430\u0435\u0442, \u0434\u043b\u044f \u043a\u0430\u043a\u043e\u0433\u043e \u0440\u043e\u0431\u043e\u0442\u0430 \u043f\u0440\u0435\u0434\u043d\u0430\u0437\u043d\u0430\u0447\u0435\u043d\u044b \u043f\u0440\u0430\u0432\u0438\u043b\u0430<\/td>\n<td><code>User-agent: Yandex<\/code><\/td>\n<\/tr>\n<tr>\n<td><code>Disallow<\/code><\/td>\n<td>\u0417\u0430\u043f\u0440\u0435\u0449\u0430\u0435\u0442 \u0441\u043a\u0430\u043d\u0438\u0440\u043e\u0432\u0430\u043d\u0438\u0435 \u043a\u0430\u0442\u0430\u043b\u043e\u0433\u0430 \u0438\u043b\u0438 \u0441\u0442\u0440\u0430\u043d\u0438\u0446\u044b<\/td>\n<td><code>Disallow: \/cart\/<\/code><\/td>\n<\/tr>\n<tr>\n<td><code>Allow<\/code><\/td>\n<td>\u0420\u0430\u0437\u0440\u0435\u0448\u0430\u0435\u0442 \u0441\u043a\u0430\u043d\u0438\u0440\u043e\u0432\u0430\u043d\u0438\u0435 \u0432\u043d\u0443\u0442\u0440\u0438 \u0437\u0430\u043f\u0440\u0435\u0449\u0435\u043d\u043d\u043e\u0433\u043e \u043a\u0430\u0442\u0430\u043b\u043e\u0433\u0430<\/td>\n<td><code>Allow: \/wp-admin\/admin-ajax.php<\/code><\/td>\n<\/tr>\n<tr>\n<td><code>Sitemap<\/code><\/td>\n<td>\u0423\u043a\u0430\u0437\u044b\u0432\u0430\u0435\u0442 \u043f\u0443\u0442\u044c \u043a \u043a\u0430\u0440\u0442\u0435 \u0441\u0430\u0439\u0442\u0430<\/td>\n<td><code>Sitemap: https:\/\/site.com\/sitemap.xml<\/code><\/td>\n<\/tr>\n<\/tbody>\n<\/table>\n<h2 id=\"robotstxt-3\"><span class=\"ez-toc-section\" id=\"%D0%93%D0%BE%D1%82%D0%BE%D0%B2%D1%8B%D0%B5_%D0%BF%D1%80%D0%B8%D0%BC%D0%B5%D1%80%D1%8B_robotstxt_%D0%B4%D0%BB%D1%8F_%D0%BC%D0%B0%D0%BB%D0%BE%D0%B3%D0%BE_%D0%B1%D0%B8%D0%B7%D0%BD%D0%B5%D1%81%D0%B0\"><\/span>\u0413\u043e\u0442\u043e\u0432\u044b\u0435 \u043f\u0440\u0438\u043c\u0435\u0440\u044b robots.txt \u0434\u043b\u044f \u043c\u0430\u043b\u043e\u0433\u043e \u0431\u0438\u0437\u043d\u0435\u0441\u0430<span class=\"ez-toc-section-end\"><\/span><\/h2>\n<p>\u0412\u0430\u043c \u043d\u0435 \u043d\u0443\u0436\u043d\u043e \u0431\u044b\u0442\u044c \u043f\u0440\u043e\u0433\u0440\u0430\u043c\u043c\u0438\u0441\u0442\u043e\u043c, \u0447\u0442\u043e\u0431\u044b \u0441\u043e\u0441\u0442\u0430\u0432\u0438\u0442\u044c \u043f\u0440\u0430\u0432\u0438\u043b\u044c\u043d\u044b\u0439 <code>robots.txt<\/code>. \u0412\u043e\u0442 \u043d\u0435\u0441\u043a\u043e\u043b\u044c\u043a\u043e \u0433\u043e\u0442\u043e\u0432\u044b\u0445 \u0448\u0430\u0431\u043b\u043e\u043d\u043e\u0432, \u043a\u043e\u0442\u043e\u0440\u044b\u0435 \u043f\u043e\u0434\u043e\u0439\u0434\u0443\u0442 \u0434\u043b\u044f \u0431\u043e\u043b\u044c\u0448\u0438\u043d\u0441\u0442\u0432\u0430 \u0441\u0430\u0439\u0442\u043e\u0432.<\/p>\n<h3 id=\"wordpress\"><span class=\"ez-toc-section\" id=\"%D0%A8%D0%B0%D0%B1%D0%BB%D0%BE%D0%BD_%D0%B4%D0%BB%D1%8F_%D1%81%D0%B0%D0%B9%D1%82%D0%B0_%D0%BD%D0%B0_WordPress\"><\/span>\u0428\u0430\u0431\u043b\u043e\u043d \u0434\u043b\u044f \u0441\u0430\u0439\u0442\u0430 \u043d\u0430 WordPress<span class=\"ez-toc-section-end\"><\/span><\/h3>\n<p>WordPress \u2014 \u0441\u0430\u043c\u0430\u044f \u043f\u043e\u043f\u0443\u043b\u044f\u0440\u043d\u0430\u044f CMS, \u0438 \u0434\u043b\u044f \u043d\u0435\u0451 \u0435\u0441\u0442\u044c \u0441\u0442\u0430\u043d\u0434\u0430\u0440\u0442\u043d\u044b\u0439 \u043d\u0430\u0431\u043e\u0440 \u043f\u0440\u0430\u0432\u0438\u043b. \u0412\u0430\u0436\u043d\u043e \u0437\u0430\u043a\u0440\u044b\u0442\u044c \u044f\u0434\u0440\u043e \u0441\u0438\u0441\u0442\u0435\u043c\u044b \u0438 \u0430\u0434\u043c\u0438\u043d\u043a\u0443, \u043d\u043e \u0440\u0430\u0437\u0440\u0435\u0448\u0438\u0442\u044c \u0440\u043e\u0431\u043e\u0442\u0443 \u0434\u043e\u0441\u0442\u0443\u043f \u043a \u0444\u0430\u0439\u043b\u0430\u043c, \u043a\u043e\u0442\u043e\u0440\u044b\u0435 \u043e\u0442\u0432\u0435\u0447\u0430\u044e\u0442 \u0437\u0430 \u043e\u0442\u043e\u0431\u0440\u0430\u0436\u0435\u043d\u0438\u0435 \u0441\u0430\u0439\u0442\u0430.<\/p>\n<pre><code>User-agent: *Disallow: \/wp-admin\/Allow: \/wp-admin\/admin-ajax.php# \u0417\u0430\u043a\u0440\u044b\u0432\u0430\u0435\u043c \u0441\u043b\u0443\u0436\u0435\u0431\u043d\u044b\u0435 \u0444\u0430\u0439\u043b\u044b \u044f\u0434\u0440\u0430Disallow: \/wp-includes\/Disallow: \/wp-content\/plugins\/Disallow: \/wp-content\/themes\/# \u0417\u0430\u043a\u0440\u044b\u0432\u0430\u0435\u043c \u0441\u0442\u0440\u0430\u043d\u0438\u0446\u044b \u043f\u043e\u0438\u0441\u043a\u0430 \u0438 \u0442\u0440\u0435\u043a\u0431\u0435\u043a\u0438Disallow: \/search\/Disallow: \/trackback\/Sitemap: https:\/\/vash-wordpress-site.ru\/sitemap.xml<\/code><\/pre>\n<h3 id=\"-4\"><span class=\"ez-toc-section\" id=\"%D0%9F%D1%80%D0%B8%D0%BC%D0%B5%D1%80_%D0%B4%D0%BB%D1%8F_%D0%BD%D0%B5%D0%B1%D0%BE%D0%BB%D1%8C%D1%88%D0%BE%D0%B3%D0%BE_%D0%B8%D0%BD%D1%82%D0%B5%D1%80%D0%BD%D0%B5%D1%82-%D0%BC%D0%B0%D0%B3%D0%B0%D0%B7%D0%B8%D0%BD%D0%B0\"><\/span>\u041f\u0440\u0438\u043c\u0435\u0440 \u0434\u043b\u044f \u043d\u0435\u0431\u043e\u043b\u044c\u0448\u043e\u0433\u043e \u0438\u043d\u0442\u0435\u0440\u043d\u0435\u0442-\u043c\u0430\u0433\u0430\u0437\u0438\u043d\u0430<span class=\"ez-toc-section-end\"><\/span><\/h3>\n<p>\u0417\u0434\u0435\u0441\u044c \u043a\u043b\u044e\u0447\u0435\u0432\u0430\u044f \u0437\u0430\u0434\u0430\u0447\u0430 \u2014 \u0437\u0430\u043a\u0440\u044b\u0442\u044c \u043a\u043e\u0440\u0437\u0438\u043d\u0443, \u0441\u0442\u0440\u0430\u043d\u0438\u0446\u044b \u043e\u0444\u043e\u0440\u043c\u043b\u0435\u043d\u0438\u044f \u0437\u0430\u043a\u0430\u0437\u0430 \u0438 \u0440\u0435\u0437\u0443\u043b\u044c\u0442\u0430\u0442\u044b \u0444\u0438\u043b\u044c\u0442\u0440\u0430\u0446\u0438\u0438 \u0442\u043e\u0432\u0430\u0440\u043e\u0432, \u0447\u0442\u043e\u0431\u044b \u043d\u0435 \u0441\u043e\u0437\u0434\u0430\u0432\u0430\u0442\u044c \u0434\u0443\u0431\u043b\u0438.<\/p>\n<p><img decoding=\"async\" style=\"max-width: 100%; height: auto;\" title=\"\u0441\u0442\u0440\u0443\u043a\u0442\u0443\u0440\u0430 \u0441\u0442\u0440\u0430\u043d\u0438\u0446 \u0438\u043d\u0442\u0435\u0440\u043d\u0435\u0442-\u043c\u0430\u0433\u0430\u0437\u0438\u043d\u0430\" src=\"null\" alt=\"\u0441\u0442\u0440\u0443\u043a\u0442\u0443\u0440\u0430 \u0441\u0442\u0440\u0430\u043d\u0438\u0446 \u0438\u043d\u0442\u0435\u0440\u043d\u0435\u0442-\u043c\u0430\u0433\u0430\u0437\u0438\u043d\u0430\" \/><\/p>\n<pre><code>User-agent: *# \u0417\u0430\u043a\u0440\u044b\u0432\u0430\u0435\u043c \u0441\u043b\u0443\u0436\u0435\u0431\u043d\u044b\u0435 \u0441\u0442\u0440\u0430\u043d\u0438\u0446\u044bDisallow: \/cart\/Disallow: \/checkout\/Disallow: \/my-account\/Disallow: \/order\/# \u0417\u0430\u043a\u0440\u044b\u0432\u0430\u0435\u043c \u0441\u0442\u0440\u0430\u043d\u0438\u0446\u044b, \u0441\u043e\u0437\u0434\u0430\u0432\u0430\u0435\u043c\u044b\u0435 \u0444\u0438\u043b\u044c\u0442\u0440\u0430\u043c\u0438 \u0438 \u0441\u043e\u0440\u0442\u0438\u0440\u043e\u0432\u043a\u043e\u0439Disallow: *?sort=Disallow: *?price_filter=Disallow: *?brand=Sitemap: https:\/\/vash-magazin.ru\/sitemap.xml<\/code><\/pre>\n<h3 id=\"-5\"><span class=\"ez-toc-section\" id=\"%D0%91%D0%B0%D0%B7%D0%BE%D0%B2%D1%8B%D0%B9_%D0%B2%D0%B0%D1%80%D0%B8%D0%B0%D0%BD%D1%82_%D0%B4%D0%BB%D1%8F_%D1%81%D0%B0%D0%B9%D1%82%D0%B0-%D0%B2%D0%B8%D0%B7%D0%B8%D1%82%D0%BA%D0%B8\"><\/span>\u0411\u0430\u0437\u043e\u0432\u044b\u0439 \u0432\u0430\u0440\u0438\u0430\u043d\u0442 \u0434\u043b\u044f \u0441\u0430\u0439\u0442\u0430-\u0432\u0438\u0437\u0438\u0442\u043a\u0438<span class=\"ez-toc-section-end\"><\/span><\/h3>\n<p>\u0414\u043b\u044f \u043f\u0440\u043e\u0441\u0442\u043e\u0433\u043e \u0441\u0430\u0439\u0442\u0430 \u0441 \u043d\u0435\u0441\u043a\u043e\u043b\u044c\u043a\u0438\u043c\u0438 \u0441\u0442\u0440\u0430\u043d\u0438\u0446\u0430\u043c\u0438 (<code>\u041e \u043d\u0430\u0441<\/code>, <code>\u0423\u0441\u043b\u0443\u0433\u0438<\/code>, <code>\u041a\u043e\u043d\u0442\u0430\u043a\u0442\u044b<\/code>) \u0434\u043e\u0441\u0442\u0430\u0442\u043e\u0447\u043d\u043e \u043c\u0438\u043d\u0438\u043c\u0430\u043b\u044c\u043d\u043e\u0433\u043e <code>robots.txt<\/code>, \u043a\u043e\u0442\u043e\u0440\u044b\u0439 \u043f\u0440\u043e\u0441\u0442\u043e \u0443\u043a\u0430\u0437\u044b\u0432\u0430\u0435\u0442 \u043d\u0430 \u043a\u0430\u0440\u0442\u0443 \u0441\u0430\u0439\u0442\u0430.<\/p>\n<pre><code>User-agent: *Disallow:Sitemap: https:\/\/vash-sait-vizitka.ru\/sitemap.xml<\/code><\/pre>\n<p>\u0417\u0434\u0435\u0441\u044c \u043f\u0443\u0441\u0442\u043e\u0439 <code>Disallow<\/code> \u043e\u0437\u043d\u0430\u0447\u0430\u0435\u0442, \u0447\u0442\u043e \u0437\u0430\u043f\u0440\u0435\u0449\u0430\u0442\u044c \u043d\u0438\u0447\u0435\u0433\u043e \u043d\u0435 \u043d\u0443\u0436\u043d\u043e.<\/p>\n<h2 id=\"robotstxt-4\"><span class=\"ez-toc-section\" id=\"%D0%9A%D0%B0%D0%BA_%D0%BD%D0%B0%D0%B9%D1%82%D0%B8_%D0%B8_%D0%BF%D1%80%D0%BE%D0%B2%D0%B5%D1%80%D0%B8%D1%82%D1%8C_%D0%BA%D0%BE%D1%80%D1%80%D0%B5%D0%BA%D1%82%D0%BD%D0%BE%D1%81%D1%82%D1%8C_%D1%81%D0%B2%D0%BE%D0%B5%D0%B3%D0%BE_robotstxt\"><\/span>\u041a\u0430\u043a \u043d\u0430\u0439\u0442\u0438 \u0438 \u043f\u0440\u043e\u0432\u0435\u0440\u0438\u0442\u044c \u043a\u043e\u0440\u0440\u0435\u043a\u0442\u043d\u043e\u0441\u0442\u044c \u0441\u0432\u043e\u0435\u0433\u043e robots.txt<span class=\"ez-toc-section-end\"><\/span><\/h2>\n<p>\u0421\u043e\u0437\u0434\u0430\u0442\u044c \u0444\u0430\u0439\u043b \u2014 \u044d\u0442\u043e \u043f\u043e\u043b\u0434\u0435\u043b\u0430. \u0412\u0430\u0436\u043d\u043e \u0443\u0431\u0435\u0434\u0438\u0442\u044c\u0441\u044f, \u0447\u0442\u043e \u043e\u043d \u0434\u043e\u0441\u0442\u0443\u043f\u0435\u043d \u043f\u043e\u0438\u0441\u043a\u043e\u0432\u0438\u043a\u0430\u043c \u0438 \u043d\u0435 \u0441\u043e\u0434\u0435\u0440\u0436\u0438\u0442 \u043e\u0448\u0438\u0431\u043e\u043a.<\/p>\n<h3 id=\"-6\"><span class=\"ez-toc-section\" id=\"%D0%93%D0%B4%D0%B5_%D0%B4%D0%BE%D0%BB%D0%B6%D0%B5%D0%BD_%D1%80%D0%B0%D1%81%D0%BF%D0%BE%D0%BB%D0%B0%D0%B3%D0%B0%D1%82%D1%8C%D1%81%D1%8F_%D1%84%D0%B0%D0%B9%D0%BB_%D0%BD%D0%B0_%D1%81%D0%B0%D0%B9%D1%82%D0%B5\"><\/span>\u0413\u0434\u0435 \u0434\u043e\u043b\u0436\u0435\u043d \u0440\u0430\u0441\u043f\u043e\u043b\u0430\u0433\u0430\u0442\u044c\u0441\u044f \u0444\u0430\u0439\u043b \u043d\u0430 \u0441\u0430\u0439\u0442\u0435<span class=\"ez-toc-section-end\"><\/span><\/h3>\n<p>\u0424\u0430\u0439\u043b <code>robots.txt<\/code> \u0434\u043e\u043b\u0436\u0435\u043d \u043d\u0430\u0445\u043e\u0434\u0438\u0442\u044c\u0441\u044f \u0432 \u043a\u043e\u0440\u043d\u0435\u0432\u043e\u0439 \u043f\u0430\u043f\u043a\u0435 \u0432\u0430\u0448\u0435\u0433\u043e \u0441\u0430\u0439\u0442\u0430. \u0412\u044b \u0432\u0441\u0435\u0433\u0434\u0430 \u043c\u043e\u0436\u0435\u0442\u0435 \u043f\u0440\u043e\u0432\u0435\u0440\u0438\u0442\u044c \u0435\u0433\u043e \u043d\u0430\u043b\u0438\u0447\u0438\u0435, \u043d\u0430\u0431\u0440\u0430\u0432 \u0432 \u0431\u0440\u0430\u0443\u0437\u0435\u0440\u0435 \u0430\u0434\u0440\u0435\u0441: <code>https:\/\/vash-site.ru\/robots.txt<\/code>. \u0415\u0441\u043b\u0438 \u043e\u0442\u043a\u0440\u044b\u0432\u0430\u0435\u0442\u0441\u044f \u0442\u0435\u043a\u0441\u0442\u043e\u0432\u044b\u0439 \u0444\u0430\u0439\u043b \u0441 \u0434\u0438\u0440\u0435\u043a\u0442\u0438\u0432\u0430\u043c\u0438 \u2014 \u0432\u0441\u0451 \u0432 \u043f\u043e\u0440\u044f\u0434\u043a\u0435. \u0415\u0441\u043b\u0438 \u0432\u0438\u0434\u0438\u0442\u0435 \u043e\u0448\u0438\u0431\u043a\u0443 404 \u2014 \u0444\u0430\u0439\u043b\u0430 \u043d\u0435\u0442 \u0438\u043b\u0438 \u043e\u043d \u043b\u0435\u0436\u0438\u0442 \u043d\u0435 \u0442\u0430\u043c, \u0433\u0434\u0435 \u043d\u0443\u0436\u043d\u043e.<\/p>\n<h3 id=\"httpsstorelandrubloguncategorizedhowtoanalyzewebsite\"><span class=\"ez-toc-section\" id=\"%D0%90%D0%BD%D0%B0%D0%BB%D0%B8%D0%B7_%D1%84%D0%B0%D0%B9%D0%BB%D0%B0_%D1%81_%D0%BF%D0%BE%D0%BC%D0%BE%D1%89%D1%8C%D1%8E_%D0%AF%D0%BD%D0%B4%D0%B5%D0%BA%D1%81%D0%92%D0%B5%D0%B1%D0%BC%D0%B0%D1%81%D1%82%D0%B5%D1%80%D0%B0\"><\/span><a href=\"https:\/\/storeland.ru\/blog\/uncategorized\/how-to-analyze-website\/\">\u0410\u043d\u0430\u043b\u0438\u0437 \u0444\u0430\u0439\u043b\u0430<\/a> \u0441 \u043f\u043e\u043c\u043e\u0449\u044c\u044e \u042f\u043d\u0434\u0435\u043a\u0441.\u0412\u0435\u0431\u043c\u0430\u0441\u0442\u0435\u0440\u0430<span class=\"ez-toc-section-end\"><\/span><\/h3>\n<p>\u042d\u0442\u043e \u0431\u0435\u0441\u043f\u043b\u0430\u0442\u043d\u044b\u0439 \u0438 \u043e\u0447\u0435\u043d\u044c \u0443\u0434\u043e\u0431\u043d\u044b\u0439 \u0438\u043d\u0441\u0442\u0440\u0443\u043c\u0435\u043d\u0442.<\/p>\n<ol>\n<li>\u0417\u0430\u0439\u0434\u0438\u0442\u0435 \u0432 \u042f\u043d\u0434\u0435\u043a\u0441.\u0412\u0435\u0431\u043c\u0430\u0441\u0442\u0435\u0440.<\/li>\n<li>\u041f\u0435\u0440\u0435\u0439\u0434\u0438\u0442\u0435 \u0432 \u0440\u0430\u0437\u0434\u0435\u043b \u00ab\u0418\u043d\u0441\u0442\u0440\u0443\u043c\u0435\u043d\u0442\u044b\u00bb \u2192 \u00ab\u0410\u043d\u0430\u043b\u0438\u0437 robots.txt\u00bb.<\/li>\n<li>\u0421\u0438\u0441\u0442\u0435\u043c\u0430 \u0430\u0432\u0442\u043e\u043c\u0430\u0442\u0438\u0447\u0435\u0441\u043a\u0438 \u0437\u0430\u0433\u0440\u0443\u0437\u0438\u0442 \u0432\u0430\u0448 \u0442\u0435\u043a\u0443\u0449\u0438\u0439 \u0444\u0430\u0439\u043b.<\/li>\n<li>\u0412\u044b \u043c\u043e\u0436\u0435\u0442\u0435 \u043f\u0440\u043e\u0432\u0435\u0440\u0438\u0442\u044c, \u043d\u0435 \u0437\u0430\u0431\u043b\u043e\u043a\u0438\u0440\u043e\u0432\u0430\u043d\u0430 \u043b\u0438 \u043a\u0430\u043a\u0430\u044f-\u0442\u043e \u0432\u0430\u0436\u043d\u0430\u044f \u0441\u0442\u0440\u0430\u043d\u0438\u0446\u0430, \u0432\u0432\u0435\u0434\u044f \u0435\u0451 URL \u0432 \u0441\u043f\u0435\u0446\u0438\u0430\u043b\u044c\u043d\u043e\u0435 \u043f\u043e\u043b\u0435. \u0412\u0435\u0431\u043c\u0430\u0441\u0442\u0435\u0440 \u043f\u043e\u043a\u0430\u0436\u0435\u0442, \u0440\u0430\u0437\u0440\u0435\u0448\u0451\u043d \u0438\u043b\u0438 \u0437\u0430\u043f\u0440\u0435\u0449\u0451\u043d \u043a \u043d\u0435\u0439 \u0434\u043e\u0441\u0442\u0443\u043f.<\/li>\n<\/ol>\n<div style=\"margin: 20px 0;\"><iframe loading=\"lazy\" title=\"\u0412\u0438\u0434\u0435\u043e\" src=\"https:\/\/www.youtube.com\/embed\/TZMKugIjuQo\" width=\"560\" height=\"315\" frameborder=\"0\" allowfullscreen=\"allowfullscreen\"><br \/>\n<\/iframe><\/div>\n<h3 id=\"googlesearchconsole\"><span class=\"ez-toc-section\" id=\"%D0%9F%D1%80%D0%BE%D0%B2%D0%B5%D1%80%D0%BA%D0%B0_%D1%87%D0%B5%D1%80%D0%B5%D0%B7_Google_Search_Console\"><\/span>\u041f\u0440\u043e\u0432\u0435\u0440\u043a\u0430 \u0447\u0435\u0440\u0435\u0437 Google Search Console<span class=\"ez-toc-section-end\"><\/span><\/h3>\n<p>\u0410\u043d\u0430\u043b\u043e\u0433\u0438\u0447\u043d\u044b\u0439 \u0438\u043d\u0441\u0442\u0440\u0443\u043c\u0435\u043d\u0442 \u0435\u0441\u0442\u044c \u0438 \u0443 Google.<\/p>\n<ol>\n<li>\u041e\u0442\u043a\u0440\u043e\u0439\u0442\u0435 Google Search Console.<\/li>\n<li>\u041f\u0435\u0440\u0435\u0439\u0434\u0438\u0442\u0435 \u0432 \u0440\u0430\u0437\u0434\u0435\u043b \u00ab\u041d\u0430\u0441\u0442\u0440\u043e\u0439\u043a\u0438\u00bb \u2192 \u00ab\u0421\u043a\u0430\u043d\u0438\u0440\u043e\u0432\u0430\u043d\u0438\u0435\u00bb \u2192 \u00ab\u0418\u043d\u0441\u0442\u0440\u0443\u043c\u0435\u043d\u0442 \u043f\u0440\u043e\u0432\u0435\u0440\u043a\u0438 \u0444\u0430\u0439\u043b\u0430 robots.txt\u00bb.<\/li>\n<li>\u0421\u0435\u0440\u0432\u0438\u0441 \u043f\u043e\u043a\u0430\u0436\u0435\u0442 \u0432\u0430\u043c \u0441\u043e\u0434\u0435\u0440\u0436\u0438\u043c\u043e\u0435 \u0444\u0430\u0439\u043b\u0430 \u0438 \u043f\u043e\u0434\u0441\u0432\u0435\u0442\u0438\u0442 \u0432\u043e\u0437\u043c\u043e\u0436\u043d\u044b\u0435 \u043e\u0448\u0438\u0431\u043a\u0438.<\/li>\n<\/ol>\n<h2 id=\"-7\"><span class=\"ez-toc-section\" id=\"%D0%A0%D0%B0%D1%81%D0%BF%D1%80%D0%BE%D1%81%D1%82%D1%80%D0%B0%D0%BD%D0%B5%D0%BD%D0%BD%D1%8B%D0%B5_%D0%BE%D1%88%D0%B8%D0%B1%D0%BA%D0%B8_%D0%BA%D0%BE%D1%82%D0%BE%D1%80%D1%8B%D0%B5_%D0%B2%D1%80%D0%B5%D0%B4%D1%8F%D1%82_%D1%81%D0%B0%D0%B9%D1%82%D1%83\"><\/span>\u0420\u0430\u0441\u043f\u0440\u043e\u0441\u0442\u0440\u0430\u043d\u0435\u043d\u043d\u044b\u0435 \u043e\u0448\u0438\u0431\u043a\u0438, \u043a\u043e\u0442\u043e\u0440\u044b\u0435 \u0432\u0440\u0435\u0434\u044f\u0442 \u0441\u0430\u0439\u0442\u0443<span class=\"ez-toc-section-end\"><\/span><\/h2>\n<p>\u041d\u0435\u043f\u0440\u0430\u0432\u0438\u043b\u044c\u043d\u043e \u043d\u0430\u0441\u0442\u0440\u043e\u0435\u043d\u043d\u044b\u0439 <code>robots.txt<\/code> \u043c\u043e\u0436\u0435\u0442 \u043f\u0440\u0438\u043d\u0435\u0441\u0442\u0438 \u0431\u043e\u043b\u044c\u0448\u0435 \u0432\u0440\u0435\u0434\u0430, \u0447\u0435\u043c \u0435\u0433\u043e \u043f\u043e\u043b\u043d\u043e\u0435 \u043e\u0442\u0441\u0443\u0442\u0441\u0442\u0432\u0438\u0435. \u0412\u043e\u0442 \u0441\u0430\u043c\u044b\u0435 \u0447\u0430\u0441\u0442\u044b\u0435 \u043f\u0440\u043e\u043c\u0430\u0445\u0438.<\/p>\n<h3 id=\"-8\"><span class=\"ez-toc-section\" id=\"%D0%A1%D0%BB%D1%83%D1%87%D0%B0%D0%B9%D0%BD%D0%B0%D1%8F_%D0%B1%D0%BB%D0%BE%D0%BA%D0%B8%D1%80%D0%BE%D0%B2%D0%BA%D0%B0_%D0%B2%D1%81%D0%B5%D0%B3%D0%BE_%D1%81%D0%B0%D0%B9%D1%82%D0%B0_%D0%BE%D1%82_%D0%B8%D0%BD%D0%B4%D0%B5%D0%BA%D1%81%D0%B0%D1%86%D0%B8%D0%B8\"><\/span>\u0421\u043b\u0443\u0447\u0430\u0439\u043d\u0430\u044f \u0431\u043b\u043e\u043a\u0438\u0440\u043e\u0432\u043a\u0430 \u0432\u0441\u0435\u0433\u043e \u0441\u0430\u0439\u0442\u0430 \u043e\u0442 \u0438\u043d\u0434\u0435\u043a\u0441\u0430\u0446\u0438\u0438<span class=\"ez-toc-section-end\"><\/span><\/h3>\n<p>\u042d\u0442\u043e \u0441\u0430\u043c\u0430\u044f \u0441\u0442\u0440\u0430\u0448\u043d\u0430\u044f \u043e\u0448\u0438\u0431\u043a\u0430. \u041e\u0434\u043d\u0430-\u0435\u0434\u0438\u043d\u0441\u0442\u0432\u0435\u043d\u043d\u0430\u044f \u0441\u0442\u0440\u043e\u0447\u043a\u0430 <code>Disallow: \/<\/code> \u043f\u043e\u043b\u043d\u043e\u0441\u0442\u044c\u044e \u0437\u0430\u043a\u0440\u044b\u0432\u0430\u0435\u0442 \u0432\u0430\u0448 \u0441\u0430\u0439\u0442 \u0434\u043b\u044f \u0432\u0441\u0435\u0445 \u043f\u043e\u0438\u0441\u043a\u043e\u0432\u0438\u043a\u043e\u0432. \u0418\u043d\u043e\u0433\u0434\u0430 \u0435\u0451 \u0434\u043e\u0431\u0430\u0432\u043b\u044f\u044e\u0442 \u0440\u0430\u0437\u0440\u0430\u0431\u043e\u0442\u0447\u0438\u043a\u0438 \u043d\u0430 \u0432\u0440\u0435\u043c\u044f \u0441\u043e\u0437\u0434\u0430\u043d\u0438\u044f \u0441\u0430\u0439\u0442\u0430, \u0430 \u043f\u043e\u0442\u043e\u043c \u0437\u0430\u0431\u044b\u0432\u0430\u044e\u0442 \u0443\u0431\u0440\u0430\u0442\u044c. \u0412 \u0440\u0435\u0437\u0443\u043b\u044c\u0442\u0430\u0442\u0435 \u0441\u0430\u0439\u0442 \u043c\u0435\u0441\u044f\u0446\u0430\u043c\u0438 \u043c\u043e\u0436\u0435\u0442 \u0431\u044b\u0442\u044c \u043d\u0435\u0432\u0438\u0434\u0438\u043c \u0434\u043b\u044f \u043f\u043e\u0438\u0441\u043a\u0430. <strong>\u0412\u0441\u0435\u0433\u0434\u0430 \u043f\u0440\u043e\u0432\u0435\u0440\u044f\u0439\u0442\u0435 \u044d\u0442\u0443 \u0441\u0442\u0440\u043e\u043a\u0443!<\/strong><\/p>\n<h3 id=\"cssjavascript\"><span class=\"ez-toc-section\" id=\"%D0%97%D0%B0%D0%BF%D1%80%D0%B5%D1%82_%D0%BD%D0%B0_%D1%81%D0%BA%D0%B0%D0%BD%D0%B8%D1%80%D0%BE%D0%B2%D0%B0%D0%BD%D0%B8%D0%B5_CSS_%D0%B8_JavaScript_%D1%84%D0%B0%D0%B9%D0%BB%D0%BE%D0%B2\"><\/span>\u0417\u0430\u043f\u0440\u0435\u0442 \u043d\u0430 \u0441\u043a\u0430\u043d\u0438\u0440\u043e\u0432\u0430\u043d\u0438\u0435 CSS \u0438 JavaScript \u0444\u0430\u0439\u043b\u043e\u0432<span class=\"ez-toc-section-end\"><\/span><\/h3>\n<p>\u0421\u043e\u0432\u0440\u0435\u043c\u0435\u043d\u043d\u044b\u0435 \u043f\u043e\u0438\u0441\u043a\u043e\u0432\u044b\u0435 \u0440\u043e\u0431\u043e\u0442\u044b, \u043e\u0441\u043e\u0431\u0435\u043d\u043d\u043e Google, \u0445\u043e\u0442\u044f\u0442 \u0432\u0438\u0434\u0435\u0442\u044c \u0441\u0430\u0439\u0442 \u0442\u0430\u043a \u0436\u0435, \u043a\u0430\u043a \u0435\u0433\u043e \u0432\u0438\u0434\u0438\u0442 \u043f\u043e\u043b\u044c\u0437\u043e\u0432\u0430\u0442\u0435\u043b\u044c. \u0414\u043b\u044f \u044d\u0442\u043e\u0433\u043e \u0438\u043c \u043d\u0443\u0436\u0435\u043d \u0434\u043e\u0441\u0442\u0443\u043f \u043a \u0444\u0430\u0439\u043b\u0430\u043c \u0441\u0442\u0438\u043b\u0435\u0439 (CSS) \u0438 \u0441\u043a\u0440\u0438\u043f\u0442\u043e\u0432 (JS). \u0415\u0441\u043b\u0438 \u0432\u044b \u0437\u0430\u043a\u0440\u043e\u0435\u0442\u0435 \u0438\u0445 \u0432 <code>robots.txt<\/code>, \u0440\u043e\u0431\u043e\u0442 \u0443\u0432\u0438\u0434\u0438\u0442 \u043b\u0438\u0448\u044c \u0433\u043e\u043b\u044b\u0439 HTML-\u043a\u043e\u0434 \u0438 \u043c\u043e\u0436\u0435\u0442 \u043f\u043e\u0441\u0447\u0438\u0442\u0430\u0442\u044c \u0432\u0430\u0448 \u0441\u0430\u0439\u0442 \u043d\u0435\u043a\u0430\u0447\u0435\u0441\u0442\u0432\u0435\u043d\u043d\u044b\u043c \u0438\u043b\u0438 \u043d\u0435\u0443\u0434\u043e\u0431\u043d\u044b\u043c \u0434\u043b\u044f \u043c\u043e\u0431\u0438\u043b\u044c\u043d\u044b\u0445 \u0443\u0441\u0442\u0440\u043e\u0439\u0441\u0442\u0432.<\/p>\n<blockquote><p>\u0417\u0430\u043f\u0440\u0435\u0449\u0430\u0442\u044c \u0434\u043e\u0441\u0442\u0443\u043f \u043a CSS \u0438 JS \u2014 \u0432\u0441\u0451 \u0440\u0430\u0432\u043d\u043e \u0447\u0442\u043e \u043f\u0440\u043e\u0441\u0438\u0442\u044c \u043e\u0446\u0435\u043d\u0438\u0442\u044c \u0434\u0438\u0437\u0430\u0439\u043d \u0430\u0432\u0442\u043e\u043c\u043e\u0431\u0438\u043b\u044f, \u043d\u043e \u043f\u043e\u043a\u0430\u0437\u044b\u0432\u0430\u0442\u044c \u0442\u043e\u043b\u044c\u043a\u043e \u0435\u0433\u043e \u043a\u0430\u0440\u043a\u0430\u0441 \u0431\u0435\u0437 \u043a\u0443\u0437\u043e\u0432\u0430 \u0438 \u0441\u0430\u043b\u043e\u043d\u0430. \u0420\u0435\u0437\u0443\u043b\u044c\u0442\u0430\u0442 \u043e\u0446\u0435\u043d\u043a\u0438 \u0431\u0443\u0434\u0435\u0442 \u043f\u0440\u0435\u0434\u0441\u043a\u0430\u0437\u0443\u0435\u043c\u043e \u043f\u043b\u043e\u0445\u0438\u043c.<\/p><\/blockquote>\n<h3 id=\"sitemapxml\"><span class=\"ez-toc-section\" id=\"%D0%9E%D1%82%D1%81%D1%83%D1%82%D1%81%D1%82%D0%B2%D0%B8%D0%B5_%D1%81%D1%81%D1%8B%D0%BB%D0%BA%D0%B8_%D0%BD%D0%B0_%D0%B0%D0%BA%D1%82%D1%83%D0%B0%D0%BB%D1%8C%D0%BD%D1%83%D1%8E_%D0%BA%D0%B0%D1%80%D1%82%D1%83_%D1%81%D0%B0%D0%B9%D1%82%D0%B0_Sitemapxml\"><\/span>\u041e\u0442\u0441\u0443\u0442\u0441\u0442\u0432\u0438\u0435 \u0441\u0441\u044b\u043b\u043a\u0438 \u043d\u0430 \u0430\u043a\u0442\u0443\u0430\u043b\u044c\u043d\u0443\u044e \u043a\u0430\u0440\u0442\u0443 \u0441\u0430\u0439\u0442\u0430 Sitemap.xml<span class=\"ez-toc-section-end\"><\/span><\/h3>\n<p>\u042d\u0442\u043e \u043d\u0435 \u0444\u0430\u0442\u0430\u043b\u044c\u043d\u0430\u044f \u043e\u0448\u0438\u0431\u043a\u0430, \u043d\u043e \u0431\u043e\u043b\u044c\u0448\u0430\u044f \u0443\u043f\u0443\u0449\u0435\u043d\u043d\u0430\u044f \u0432\u043e\u0437\u043c\u043e\u0436\u043d\u043e\u0441\u0442\u044c. \u0411\u0435\u0437 \u0434\u0438\u0440\u0435\u043a\u0442\u0438\u0432\u044b <code>Sitemap<\/code> \u043f\u043e\u0438\u0441\u043a\u043e\u0432\u0438\u043a \u0431\u0443\u0434\u0435\u0442 \u0434\u043e\u043b\u044c\u0448\u0435 \u0438\u0441\u043a\u0430\u0442\u044c \u043d\u043e\u0432\u044b\u0435 \u0441\u0442\u0440\u0430\u043d\u0438\u0446\u044b \u043d\u0430 \u0432\u0430\u0448\u0435\u043c \u0441\u0430\u0439\u0442\u0435. \u0423\u0431\u0435\u0434\u0438\u0442\u0435\u0441\u044c, \u0447\u0442\u043e \u0441\u0441\u044b\u043b\u043a\u0430 \u043d\u0430 \u043a\u0430\u0440\u0442\u0443 \u0441\u0430\u0439\u0442\u0430 \u0435\u0441\u0442\u044c \u0438 \u043e\u043d\u0430 \u0432\u0435\u0434\u0451\u0442 \u043d\u0430 \u0430\u043a\u0442\u0443\u0430\u043b\u044c\u043d\u044b\u0439 <code>sitemap.xml<\/code>.<\/p>\n<hr \/>\n<h2 id=\"faq\"><span class=\"ez-toc-section\" id=\"%D0%A7%D0%B0%D1%81%D1%82%D0%BE_%D0%B7%D0%B0%D0%B4%D0%B0%D0%B2%D0%B0%D0%B5%D0%BC%D1%8B%D0%B5_%D0%B2%D0%BE%D0%BF%D1%80%D0%BE%D1%81%D1%8B_FAQ\"><\/span>\u0427\u0430\u0441\u0442\u043e \u0437\u0430\u0434\u0430\u0432\u0430\u0435\u043c\u044b\u0435 \u0432\u043e\u043f\u0440\u043e\u0441\u044b (FAQ)<span class=\"ez-toc-section-end\"><\/span><\/h2>\n<h3 id=\"robotstxt-5\"><span class=\"ez-toc-section\" id=\"%D0%A7%D1%82%D0%BE_%D0%B1%D1%83%D0%B4%D0%B5%D1%82_%D0%B5%D1%81%D0%BB%D0%B8_%D1%83_%D1%81%D0%B0%D0%B9%D1%82%D0%B0_%D1%81%D0%BE%D0%B2%D1%81%D0%B5%D0%BC_%D0%BD%D0%B5%D1%82_%D1%84%D0%B0%D0%B9%D0%BB%D0%B0_robotstxt\"><\/span>\u0427\u0442\u043e \u0431\u0443\u0434\u0435\u0442, \u0435\u0441\u043b\u0438 \u0443 \u0441\u0430\u0439\u0442\u0430 \u0441\u043e\u0432\u0441\u0435\u043c \u043d\u0435\u0442 \u0444\u0430\u0439\u043b\u0430 robots.txt?<span class=\"ez-toc-section-end\"><\/span><\/h3>\n<p>\u041d\u0438\u0447\u0435\u0433\u043e \u0441\u0442\u0440\u0430\u0448\u043d\u043e\u0433\u043e. \u0412 \u044d\u0442\u043e\u043c \u0441\u043b\u0443\u0447\u0430\u0435 \u043f\u043e\u0438\u0441\u043a\u043e\u0432\u044b\u0435 \u0440\u043e\u0431\u043e\u0442\u044b \u0431\u0443\u0434\u0443\u0442 \u0441\u0447\u0438\u0442\u0430\u0442\u044c, \u0447\u0442\u043e \u0438\u043c \u0440\u0430\u0437\u0440\u0435\u0448\u0435\u043d\u043e \u0441\u043a\u0430\u043d\u0438\u0440\u043e\u0432\u0430\u0442\u044c \u0432\u0435\u0441\u044c \u0432\u0430\u0448 \u0441\u0430\u0439\u0442 \u0431\u0435\u0437 \u043e\u0433\u0440\u0430\u043d\u0438\u0447\u0435\u043d\u0438\u0439. \u041e\u0434\u043d\u0430\u043a\u043e \u0432\u044b \u043f\u043e\u0442\u0435\u0440\u044f\u0435\u0442\u0435 \u043a\u043e\u043d\u0442\u0440\u043e\u043b\u044c \u043d\u0430\u0434 \u043f\u0440\u043e\u0446\u0435\u0441\u0441\u043e\u043c \u0438 \u043d\u0435 \u0441\u043c\u043e\u0436\u0435\u0442\u0435 \u0441\u043a\u0440\u044b\u0442\u044c \u0441\u043b\u0443\u0436\u0435\u0431\u043d\u044b\u0435 \u0440\u0430\u0437\u0434\u0435\u043b\u044b.<\/p>\n<h3 id=\"robotstxtnoindex\"><span class=\"ez-toc-section\" id=\"%D0%A7%D0%B5%D0%BC_robotstxt_%D0%BE%D1%82%D0%BB%D0%B8%D1%87%D0%B0%D0%B5%D1%82%D1%81%D1%8F_%D0%BE%D1%82_%D0%BC%D0%B5%D1%82%D0%B0-%D1%82%D0%B5%D0%B3%D0%B0_noindex\"><\/span>\u0427\u0435\u043c robots.txt \u043e\u0442\u043b\u0438\u0447\u0430\u0435\u0442\u0441\u044f \u043e\u0442 \u043c\u0435\u0442\u0430-\u0442\u0435\u0433\u0430 noindex?<span class=\"ez-toc-section-end\"><\/span><\/h3>\n<p><code>Robots.txt<\/code> \u2014 \u044d\u0442\u043e \u0440\u0435\u043a\u043e\u043c\u0435\u043d\u0434\u0430\u0446\u0438\u044f <strong>\u043d\u0435 \u0441\u043a\u0430\u043d\u0438\u0440\u043e\u0432\u0430\u0442\u044c<\/strong> \u0441\u0442\u0440\u0430\u043d\u0438\u0446\u0443 (\u043d\u0435 \u0437\u0430\u0445\u043e\u0434\u0438\u0442\u044c \u043d\u0430 \u043d\u0435\u0451). \u041c\u0435\u0442\u0430-\u0442\u0435\u0433 <code>noindex<\/code> \u2014 \u044d\u0442\u043e \u043f\u0440\u0438\u043a\u0430\u0437 <strong>\u043d\u0435 \u0434\u043e\u0431\u0430\u0432\u043b\u044f\u0442\u044c<\/strong> \u0443\u0436\u0435 \u043f\u0440\u043e\u0441\u043a\u0430\u043d\u0438\u0440\u043e\u0432\u0430\u043d\u043d\u0443\u044e \u0441\u0442\u0440\u0430\u043d\u0438\u0446\u0443 \u0432 \u043f\u043e\u0438\u0441\u043a\u043e\u0432\u0443\u044e \u0432\u044b\u0434\u0430\u0447\u0443. \u0415\u0441\u043b\u0438 \u043d\u0443\u0436\u043d\u043e, \u0447\u0442\u043e\u0431\u044b \u0441\u0442\u0440\u0430\u043d\u0438\u0446\u0430 \u0431\u044b\u043b\u0430 \u0434\u043e\u0441\u0442\u0443\u043f\u043d\u0430 \u043f\u043e \u043f\u0440\u044f\u043c\u043e\u0439 \u0441\u0441\u044b\u043b\u043a\u0435, \u043d\u043e \u043d\u0435 \u043f\u043e\u044f\u0432\u043b\u044f\u043b\u0430\u0441\u044c \u0432 \u043f\u043e\u0438\u0441\u043a\u0435, \u043b\u0443\u0447\u0448\u0435 \u0438\u0441\u043f\u043e\u043b\u044c\u0437\u043e\u0432\u0430\u0442\u044c <code>noindex<\/code>.<\/p>\n<h3 id=\"disallow\"><span class=\"ez-toc-section\" id=\"%D0%93%D0%B0%D1%80%D0%B0%D0%BD%D1%82%D0%B8%D1%80%D1%83%D0%B5%D1%82_%D0%BB%D0%B8_Disallow_%D1%87%D1%82%D0%BE_%D1%81%D1%82%D1%80%D0%B0%D0%BD%D0%B8%D1%86%D0%B0_%D0%BD%D0%B8%D0%BA%D0%BE%D0%B3%D0%B4%D0%B0_%D0%BD%D0%B5_%D0%BF%D0%BE%D0%BF%D0%B0%D0%B4%D0%B5%D1%82_%D0%B2_%D0%BF%D0%BE%D0%B8%D1%81%D0%BA\"><\/span>\u0413\u0430\u0440\u0430\u043d\u0442\u0438\u0440\u0443\u0435\u0442 \u043b\u0438 Disallow, \u0447\u0442\u043e \u0441\u0442\u0440\u0430\u043d\u0438\u0446\u0430 \u043d\u0438\u043a\u043e\u0433\u0434\u0430 \u043d\u0435 \u043f\u043e\u043f\u0430\u0434\u0435\u0442 \u0432 \u043f\u043e\u0438\u0441\u043a?<span class=\"ez-toc-section-end\"><\/span><\/h3>\n<p>\u041d\u0435\u0442, \u043d\u0435 \u0433\u0430\u0440\u0430\u043d\u0442\u0438\u0440\u0443\u0435\u0442. \u0415\u0441\u043b\u0438 \u043d\u0430 \u0432\u0430\u0448\u0443 \u0437\u0430\u043a\u0440\u044b\u0442\u0443\u044e \u0432 <code>robots.txt<\/code> \u0441\u0442\u0440\u0430\u043d\u0438\u0446\u0443 \u0432\u0435\u0434\u0443\u0442 \u0441\u0441\u044b\u043b\u043a\u0438 \u0441 \u0434\u0440\u0443\u0433\u0438\u0445 \u0441\u0430\u0439\u0442\u043e\u0432, \u043f\u043e\u0438\u0441\u043a\u043e\u0432\u0438\u043a \u043c\u043e\u0436\u0435\u0442 \u0443\u0437\u043d\u0430\u0442\u044c \u043e \u0435\u0451 \u0441\u0443\u0449\u0435\u0441\u0442\u0432\u043e\u0432\u0430\u043d\u0438\u0438 \u0438 \u0434\u043e\u0431\u0430\u0432\u0438\u0442\u044c \u0432 \u0432\u044b\u0434\u0430\u0447\u0443, \u0445\u043e\u0442\u044c \u0438 \u0431\u0435\u0437 \u043e\u043f\u0438\u0441\u0430\u043d\u0438\u044f. \u0414\u043b\u044f 100% \u0433\u0430\u0440\u0430\u043d\u0442\u0438\u0438 \u0438\u0441\u043a\u043b\u044e\u0447\u0435\u043d\u0438\u044f \u0438\u0437 \u043f\u043e\u0438\u0441\u043a\u0430 \u0438\u0441\u043f\u043e\u043b\u044c\u0437\u0443\u0439\u0442\u0435 \u043c\u0435\u0442\u0430-\u0442\u0435\u0433 <code>noindex<\/code>.<\/p>\n<h3 id=\"-9\"><span class=\"ez-toc-section\" id=\"%D0%9A%D0%B0%D0%BA_%D0%B7%D0%B0%D0%BA%D1%80%D1%8B%D1%82%D1%8C_%D0%BE%D1%82_%D0%B8%D0%BD%D0%B4%D0%B5%D0%BA%D1%81%D0%B0%D1%86%D0%B8%D0%B8_%D0%BE%D0%B4%D0%BD%D1%83_%D0%BA%D0%BE%D0%BD%D0%BA%D1%80%D0%B5%D1%82%D0%BD%D1%83%D1%8E_%D1%81%D1%82%D1%80%D0%B0%D0%BD%D0%B8%D1%86%D1%83_%D0%B0_%D0%BD%D0%B5_%D0%B2%D0%B5%D1%81%D1%8C_%D1%80%D0%B0%D0%B7%D0%B4%D0%B5%D0%BB\"><\/span>\u041a\u0430\u043a \u0437\u0430\u043a\u0440\u044b\u0442\u044c \u043e\u0442 \u0438\u043d\u0434\u0435\u043a\u0441\u0430\u0446\u0438\u0438 \u043e\u0434\u043d\u0443 \u043a\u043e\u043d\u043a\u0440\u0435\u0442\u043d\u0443\u044e \u0441\u0442\u0440\u0430\u043d\u0438\u0446\u0443, \u0430 \u043d\u0435 \u0432\u0435\u0441\u044c \u0440\u0430\u0437\u0434\u0435\u043b?<span class=\"ez-toc-section-end\"><\/span><\/h3>\n<p>\u041e\u0447\u0435\u043d\u044c \u043f\u0440\u043e\u0441\u0442\u043e. \u0423\u043a\u0430\u0436\u0438\u0442\u0435 \u043f\u043e\u043b\u043d\u044b\u0439 \u043f\u0443\u0442\u044c \u043a \u0441\u0442\u0440\u0430\u043d\u0438\u0446\u0435 \u043e\u0442 \u043a\u043e\u0440\u043d\u044f \u0441\u0430\u0439\u0442\u0430 \u0432 \u0434\u0438\u0440\u0435\u043a\u0442\u0438\u0432\u0435 <code>Disallow<\/code>. \u041d\u0430\u043f\u0440\u0438\u043c\u0435\u0440, \u0447\u0442\u043e\u0431\u044b \u0437\u0430\u043a\u0440\u044b\u0442\u044c \u0441\u0442\u0440\u0430\u043d\u0438\u0446\u0443 <code>https:\/\/vash-site.ru\/private\/secret-page.html<\/code>, \u043f\u0440\u0430\u0432\u0438\u043b\u043e \u0431\u0443\u0434\u0435\u0442 \u0442\u0430\u043a\u0438\u043c: <code>Disallow: \/private\/secret-page.html<\/code>.<\/p>\n<p><script type=\"application\/ld+json\">{  \"@context\": \"https:\/\/schema.org\",  \"@type\": \"FAQPage\",  \"mainEntity\": [    {      \"@type\": \"Question\",      \"name\": \"\u0427\u0442\u043e \u0431\u0443\u0434\u0435\u0442, \u0435\u0441\u043b\u0438 \u0443 \u0441\u0430\u0439\u0442\u0430 \u0441\u043e\u0432\u0441\u0435\u043c \u043d\u0435\u0442 \u0444\u0430\u0439\u043b\u0430 robots.txt?\",      \"acceptedAnswer\": {        \"@type\": \"Answer\",        \"text\": \"\u041d\u0438\u0447\u0435\u0433\u043e \u0441\u0442\u0440\u0430\u0448\u043d\u043e\u0433\u043e. \u0412 \u044d\u0442\u043e\u043c \u0441\u043b\u0443\u0447\u0430\u0435 \u043f\u043e\u0438\u0441\u043a\u043e\u0432\u044b\u0435 \u0440\u043e\u0431\u043e\u0442\u044b \u0431\u0443\u0434\u0443\u0442 \u0441\u0447\u0438\u0442\u0430\u0442\u044c, \u0447\u0442\u043e \u0438\u043c \u0440\u0430\u0437\u0440\u0435\u0448\u0435\u043d\u043e \u0441\u043a\u0430\u043d\u0438\u0440\u043e\u0432\u0430\u0442\u044c \u0432\u0435\u0441\u044c \u0432\u0430\u0448 \u0441\u0430\u0439\u0442 \u0431\u0435\u0437 \u043e\u0433\u0440\u0430\u043d\u0438\u0447\u0435\u043d\u0438\u0439. \u041e\u0434\u043d\u0430\u043a\u043e \u0432\u044b \u043f\u043e\u0442\u0435\u0440\u044f\u0435\u0442\u0435 \u043a\u043e\u043d\u0442\u0440\u043e\u043b\u044c \u043d\u0430\u0434 \u043f\u0440\u043e\u0446\u0435\u0441\u0441\u043e\u043c \u0438 \u043d\u0435 \u0441\u043c\u043e\u0436\u0435\u0442\u0435 \u0441\u043a\u0440\u044b\u0442\u044c \u0441\u043b\u0443\u0436\u0435\u0431\u043d\u044b\u0435 \u0440\u0430\u0437\u0434\u0435\u043b\u044b.\"      }    },    {      \"@type\": \"Question\",      \"name\": \"\u0427\u0435\u043c robots.txt \u043e\u0442\u043b\u0438\u0447\u0430\u0435\u0442\u0441\u044f \u043e\u0442 \u043c\u0435\u0442\u0430-\u0442\u0435\u0433\u0430 noindex?\",      \"acceptedAnswer\": {        \"@type\": \"Answer\",        \"text\": \"Robots.txt \u2014 \u044d\u0442\u043e \u0440\u0435\u043a\u043e\u043c\u0435\u043d\u0434\u0430\u0446\u0438\u044f \u043d\u0435 \u0441\u043a\u0430\u043d\u0438\u0440\u043e\u0432\u0430\u0442\u044c \u0441\u0442\u0440\u0430\u043d\u0438\u0446\u0443 (\u043d\u0435 \u0437\u0430\u0445\u043e\u0434\u0438\u0442\u044c \u043d\u0430 \u043d\u0435\u0451). \u041c\u0435\u0442\u0430-\u0442\u0435\u0433 noindex \u2014 \u044d\u0442\u043e \u043f\u0440\u0438\u043a\u0430\u0437 \u043d\u0435 \u0434\u043e\u0431\u0430\u0432\u043b\u044f\u0442\u044c \u0443\u0436\u0435 \u043f\u0440\u043e\u0441\u043a\u0430\u043d\u0438\u0440\u043e\u0432\u0430\u043d\u043d\u0443\u044e \u0441\u0442\u0440\u0430\u043d\u0438\u0446\u0443 \u0432 \u043f\u043e\u0438\u0441\u043a\u043e\u0432\u0443\u044e \u0432\u044b\u0434\u0430\u0447\u0443. \u0415\u0441\u043b\u0438 \u043d\u0443\u0436\u043d\u043e, \u0447\u0442\u043e\u0431\u044b \u0441\u0442\u0440\u0430\u043d\u0438\u0446\u0430 \u0431\u044b\u043b\u0430 \u0434\u043e\u0441\u0442\u0443\u043f\u043d\u0430 \u043f\u043e \u043f\u0440\u044f\u043c\u043e\u0439 \u0441\u0441\u044b\u043b\u043a\u0435, \u043d\u043e \u043d\u0435 \u043f\u043e\u044f\u0432\u043b\u044f\u043b\u0430\u0441\u044c \u0432 \u043f\u043e\u0438\u0441\u043a\u0435, \u043b\u0443\u0447\u0448\u0435 \u0438\u0441\u043f\u043e\u043b\u044c\u0437\u043e\u0432\u0430\u0442\u044c noindex.\"      }    },    {      \"@type\": \"Question\",      \"name\": \"\u0413\u0430\u0440\u0430\u043d\u0442\u0438\u0440\u0443\u0435\u0442 \u043b\u0438 Disallow, \u0447\u0442\u043e \u0441\u0442\u0440\u0430\u043d\u0438\u0446\u0430 \u043d\u0438\u043a\u043e\u0433\u0434\u0430 \u043d\u0435 \u043f\u043e\u043f\u0430\u0434\u0435\u0442 \u0432 \u043f\u043e\u0438\u0441\u043a?\",      \"acceptedAnswer\": {        \"@type\": \"Answer\",        \"text\": \"\u041d\u0435\u0442, \u043d\u0435 \u0433\u0430\u0440\u0430\u043d\u0442\u0438\u0440\u0443\u0435\u0442. \u0415\u0441\u043b\u0438 \u043d\u0430 \u0432\u0430\u0448\u0443 \u0437\u0430\u043a\u0440\u044b\u0442\u0443\u044e \u0432 robots.txt \u0441\u0442\u0440\u0430\u043d\u0438\u0446\u0443 \u0432\u0435\u0434\u0443\u0442 \u0441\u0441\u044b\u043b\u043a\u0438 \u0441 \u0434\u0440\u0443\u0433\u0438\u0445 \u0441\u0430\u0439\u0442\u043e\u0432, \u043f\u043e\u0438\u0441\u043a\u043e\u0432\u0438\u043a \u043c\u043e\u0436\u0435\u0442 \u0443\u0437\u043d\u0430\u0442\u044c \u043e \u0435\u0451 \u0441\u0443\u0449\u0435\u0441\u0442\u0432\u043e\u0432\u0430\u043d\u0438\u0438 \u0438 \u0434\u043e\u0431\u0430\u0432\u0438\u0442\u044c \u0432 \u0432\u044b\u0434\u0430\u0447\u0443, \u0445\u043e\u0442\u044c \u0438 \u0431\u0435\u0437 \u043e\u043f\u0438\u0441\u0430\u043d\u0438\u044f. \u0414\u043b\u044f 100% \u0433\u0430\u0440\u0430\u043d\u0442\u0438\u0438 \u0438\u0441\u043a\u043b\u044e\u0447\u0435\u043d\u0438\u044f \u0438\u0437 \u043f\u043e\u0438\u0441\u043a\u0430 \u0438\u0441\u043f\u043e\u043b\u044c\u0437\u0443\u0439\u0442\u0435 \u043c\u0435\u0442\u0430-\u0442\u0435\u0433 noindex.\"      }    },    {      \"@type\": \"Question\",      \"name\": \"\u041a\u0430\u043a \u0437\u0430\u043a\u0440\u044b\u0442\u044c \u043e\u0442 \u0438\u043d\u0434\u0435\u043a\u0441\u0430\u0446\u0438\u0438 \u043e\u0434\u043d\u0443 \u043a\u043e\u043d\u043a\u0440\u0435\u0442\u043d\u0443\u044e \u0441\u0442\u0440\u0430\u043d\u0438\u0446\u0443, \u0430 \u043d\u0435 \u0432\u0435\u0441\u044c \u0440\u0430\u0437\u0434\u0435\u043b?\",      \"acceptedAnswer\": {        \"@type\": \"Answer\",        \"text\": \"\u041e\u0447\u0435\u043d\u044c \u043f\u0440\u043e\u0441\u0442\u043e. \u0423\u043a\u0430\u0436\u0438\u0442\u0435 \u043f\u043e\u043b\u043d\u044b\u0439 \u043f\u0443\u0442\u044c \u043a \u0441\u0442\u0440\u0430\u043d\u0438\u0446\u0435 \u043e\u0442 \u043a\u043e\u0440\u043d\u044f \u0441\u0430\u0439\u0442\u0430 \u0432 \u0434\u0438\u0440\u0435\u043a\u0442\u0438\u0432\u0435 Disallow. \u041d\u0430\u043f\u0440\u0438\u043c\u0435\u0440, \u0447\u0442\u043e\u0431\u044b \u0437\u0430\u043a\u0440\u044b\u0442\u044c \u0441\u0442\u0440\u0430\u043d\u0438\u0446\u0443 https:\/\/vash-site.ru\/private\/secret-page.html, \u043f\u0440\u0430\u0432\u0438\u043b\u043e \u0431\u0443\u0434\u0435\u0442 \u0442\u0430\u043a\u0438\u043c: Disallow: \/private\/secret-page.html.\"      }    }  ]}<\/script><\/p>\n","protected":false},"excerpt":{"rendered":"<p>\u0415\u0441\u043b\u0438 \u0432\u044b \u0440\u0430\u0437\u0432\u0438\u0432\u0430\u0435\u0442\u0435 \u0441\u0432\u043e\u0439 \u0431\u0438\u0437\u043d\u0435\u0441 \u0432 \u0438\u043d\u0442\u0435\u0440\u043d\u0435\u0442\u0435, \u0442\u043e \u043d\u0430\u0432\u0435\u0440\u043d\u044f\u043a\u0430 \u0441\u043b\u044b\u0448\u0430\u043b\u0438 \u043e SEO-\u043f\u0440\u043e\u0434\u0432\u0438\u0436\u0435\u043d\u0438\u0438. \u0410 \u0432 \u043c\u0438\u0440\u0435 SEO \u0435\u0441\u0442\u044c \u043e\u0434\u0438\u043d \u043c\u0430\u043b\u0435\u043d\u044c\u043a\u0438\u0439, \u043d\u043e<\/p>\n","protected":false},"author":9,"featured_media":2811,"comment_status":"open","ping_status":"closed","sticky":false,"template":"","format":"standard","meta":{"footnotes":""},"categories":[4],"tags":[],"class_list":["post-2812","post","type-post","status-publish","format-standard","has-post-thumbnail","hentry","category-novichkam"],"aioseo_notices":[],"_links":{"self":[{"href":"https:\/\/storeland.ru\/blog\/wp-json\/wp\/v2\/posts\/2812","targetHints":{"allow":["GET"]}}],"collection":[{"href":"https:\/\/storeland.ru\/blog\/wp-json\/wp\/v2\/posts"}],"about":[{"href":"https:\/\/storeland.ru\/blog\/wp-json\/wp\/v2\/types\/post"}],"author":[{"embeddable":true,"href":"https:\/\/storeland.ru\/blog\/wp-json\/wp\/v2\/users\/9"}],"replies":[{"embeddable":true,"href":"https:\/\/storeland.ru\/blog\/wp-json\/wp\/v2\/comments?post=2812"}],"version-history":[{"count":2,"href":"https:\/\/storeland.ru\/blog\/wp-json\/wp\/v2\/posts\/2812\/revisions"}],"predecessor-version":[{"id":2869,"href":"https:\/\/storeland.ru\/blog\/wp-json\/wp\/v2\/posts\/2812\/revisions\/2869"}],"wp:featuredmedia":[{"embeddable":true,"href":"https:\/\/storeland.ru\/blog\/wp-json\/wp\/v2\/media\/2811"}],"wp:attachment":[{"href":"https:\/\/storeland.ru\/blog\/wp-json\/wp\/v2\/media?parent=2812"}],"wp:term":[{"taxonomy":"category","embeddable":true,"href":"https:\/\/storeland.ru\/blog\/wp-json\/wp\/v2\/categories?post=2812"},{"taxonomy":"post_tag","embeddable":true,"href":"https:\/\/storeland.ru\/blog\/wp-json\/wp\/v2\/tags?post=2812"}],"curies":[{"name":"wp","href":"https:\/\/api.w.org\/{rel}","templated":true}]}}