User-Agent: *
# Allow crawling of static files
Allow: /*.js
Allow: /*.css
Allow: /*.woff
Allow: /*.png
Allow: /*.jpg
Allow: /bitrix/components/
Allow: /bitrix/cache/
Allow: /bitrix/js/
Allow: /bitrix/templates/
Allow: /bitrix/panel/
Allow: /bitrix/*.css
# Block cart / personal URLs (prevents PHP session locks from bots, added 2026-04-16)
Disallow: /sandbox-zip/
Disallow: /sandbox-razb-facets/
Disallow: /sandbox-payanye/
Disallow: /sandbox-promyvka/
Disallow: /sandbox-razborny/
Disallow: /info/privacy/
Disallow: /personal/
Disallow: /*action_cart_
Disallow: /*?action=
# Disallow dynamic & technical paths
Disallow: */index.php
Disallow: /bitrix/
Disallow: /*show_include_exec_time=
Disallow: /*show_page_exec_time=
Disallow: /*show_sql_stat=
Disallow: /*bitrix_include_areas=
Disallow: /*clear_cache=
Disallow: /*clear_cache_session=
Disallow: /*ADD_TO_COMPARE_LIST
Disallow: /*ORDER_BY
# 21.08.2026: запрет снят — постраничная навигация была единственным путём робота
# к товарам глубже первой страницы раздела, и он был закрыт: 6 389 карточек (58% каталога)
# не имели ни одной разрешённой к обходу внутренней ссылки. От дублей защищает указание
# канонического адреса: страницы навигации уже ссылаются на первую страницу раздела.
# Disallow: /*PAGEN_1=*&*
Disallow: /*?print=
Disallow: /*&print=
Disallow: /*print_course=
Disallow: /*?action=
Disallow: /*&action=
Disallow: /*register=
Disallow: /*forgot_password=
Disallow: /*change_password=
Disallow: /*login=
Disallow: /*logout=
Disallow: /*auth=
Disallow: /*backurl=
Disallow: /*back_url=
Disallow: /*BACKURL=
Disallow: /*BACK_URL=
Disallow: /*back_url_admin=
Disallow: /*?utm_source=
Disallow: /*?bxajaxid=
Disallow: /*&bxajaxid=
Disallow: /*?view_result=
Disallow: /*&view_result=
Disallow: */filter/
Disallow: /order/
Disallow: /auth/
Disallow: */basket/
Disallow: */compare.php
Disallow: /*?q=
# Block URLs with specific parameters (without values)
# 21.08.2026: запрет снят — постраничная навигация была единственным путём робота
# к товарам глубже первой страницы раздела, и он был закрыт: 6 389 карточек (58% каталога)
# не имели ни одной разрешённой к обходу внутренней ссылки. От дублей защищает указание
# канонического адреса: страницы навигации уже ссылаются на первую страницу раздела.
# Disallow: /*?PAGEN_1
Disallow: /*?clear_cache
Disallow: /*?order
Disallow: /*?how
Disallow: /*?sort
Disallow: /*?formresult
Disallow: /*?s
Disallow: /*?send
Disallow: /*?WEB_FORM_ID
Disallow: /*?bitrix_include_areas
Disallow: /*?display
Disallow: /*?RESULT_ID
Disallow: /*?back_url_admin
Disallow: /*?backurl
Disallow: /*?q
# 21.08.2026: запрет снят — постраничная навигация была единственным путём робота
# к товарам глубже первой страницы раздела, и он был закрыт: 6 389 карточек (58% каталога)
# не имели ни одной разрешённой к обходу внутренней ссылки. От дублей защищает указание
# канонического адреса: страницы навигации уже ссылаются на первую страницу раздела.
# Disallow: /*?PAGEN_2
Disallow: /*?_ym_debug
Disallow: /*?_ym_lang
Disallow: /*?_ym_status-check
Disallow: /*?filter_history
Disallow: /*?text
# 31.08.2026: непрофильные направления сняты с продажи — разделы и товары деактивированы,
# Битрикс всё равно отдаёт по ним 200, поэтому закрываем от индексации явно.
# фильтры для воды (603 товара)
Disallow: /catalog/promyshlennye_filtry_dlya_vody/
# осушители и увлажнители
Disallow: /catalog/promyshlennye_osushiteli_i_uvlazhniteli/
# агрегаты компрессорно-конденсаторные
Disallow: /catalog/agregaty_kompressorno_kondensatornye/
# компрессорное оборудование
Disallow: /catalog/kompressornoe_oborudovanie/
# Clean-param (Yandex-specific)
# 21.08.2026: PAGEN_1 и PAGEN_2 убраны из склейки параметров по той же причине —
# со склейкой робот считал страницы навигации копией первой и не обходил их.
Clean-param: clear_cache&order&how&sort&formresult&s&send&WEB_FORM_ID /
Clean-param: bitrix_include_areas&display&RESULT_ID&back_url_admin&backurl&q /
Clean-param: _ym_debug&_ym_lang&_ym_status-check&filter_history&text /
Clean-param: utm_source&utm_medium&utm_campaign&utm_term&utm_type /
Clean-param: arrFilter&view&yadclid&back_url_admin&back_url&backurl&BACKURL&BACK_URL&added&etext /
Clean-param: sort&order&display&SORT&ORDER&DISPLAY /
Clean-param: ID&id&auth /
Clean-param: year&YEAR /
Clean-param: action&ACTION&view_result /
Clean-param: ORDER_BY&ADD_TO_COMPARE_LIST /
# Sitemap
Sitemap: https://msmteplo.ru/sitemap-auto-index.xml
Sitemap: https://msmteplo.ru/sitemap-spravochniki.xml

# AI/LLM discovery (markdown text for LLM crawlers, not an XML sitemap)
# File: https://msmteplo.ru/llms.txt

# Block unnecessary bots
User-agent: AmazonBot
Disallow: /