Python 3.14.7: RobotFileParser запрещает обход при сетевой ошибке robots.txt. Практическая проверка отделяет симптом от соседних причин: безопасный fixture, опровергающий control, измеримая развилка, стоп-линия и минимальный пакет для поддержки.
Что изменилось
Запрос ограничен формулировкой «как проверить fail-closed поведение urllib.robotparser при недоступном robots.txt в Python 3.14.7». Наблюдаемый симптом: после таймаута или сетевой ошибки robots.txt вызывающий код трактует пустое состояние как разрешение и продолжает запросы. Официально подтверждена более узкая граница: urllib.robotparser теперь запрещает любой доступ, если robots.txt недоступен из-за server или network error. Это не означает, что любой похожий crash, warning, hang или неверный результат вызван именно этой ошибкой. Сначала запишите точную версию Python, режим сборки, платформу и один ожидаемый переход состояния; обновление всей среды не должно быть первым действием.
Подготовка fixture
Для паспорта T21-10 выполните только такой опыт: поднять loopback HTTP server, один раз вернуть 503 для robots.txt, вызвать read и затем проверить can_fetch для двух синтетических путей без обращения наружу. Входы должны быть синтетическими, а рискованный код — жить в отдельном child process, контейнере, pty или temp root. До запуска задайте deadline, лимит памяти и допустимые файлы. Не используйте реальные архивы, токены, адреса, пользовательские документы или production PID. Если нужный backend, libc, compiler или GUI недоступен, зафиксируйте environment blocker: это честнее, чем имитировать результат.
Сравнение A/B
Опровергающая ветка: robots.txt с явным Allow и отдельный 404-case, каждый на новом RobotFileParser. Наблюдения пишутся строго как «HTTP case | read outcome | mtime | can_fetch для /a и /b | число запросов к loopback». Сначала выполните control A, затем проблемный case B, полностью пересоздайте fixture и повторите A2. Если A2 расходится с A, опыт загрязнён cache, locale, descriptor, signal state или environment. Пустая ячейка не равна нулю, а текст exception не заменяет его класс. Такое разделение не позволяет объявить исправление только потому, что один запуск случайно не упал.
Решение по фактам
Зелёная ветка разрешена только когда 503 или разрыв соединения дают запрет для обоих путей, а валидный Allow control остаётся разрешающим. Если оба варианта ведут себя одинаково плохо, чините fixture, а не Python. Если control чист, но симптом не воспроизводится, итог — not reproduced в конкретной конфигурации, не доказательство отсутствия дефекта вообще. Сравнение 3.14.6 и 3.14.7 допустимо лишь с одинаковым input и limits. Результат относится к issue-boundary, а не к скорости, безопасности или совместимости всего приложения.
Остановка без ущерба
Стоп-линия: не направлять fixture на публичный сайт и не интерпретировать один статус как политику конкретного владельца. Остановитесь также при записи вне temp root, внешнем сетевом запросе, появлении приватных данных, неконтролируемом descendant process или превышении deadline. Не получайте зелёный статус отключением проверок, catch-all обработчиком, бесконечным retry или повышением лимитов после сбоя. Возврат должен быть проверяемым: остановить loopback server, закрыть сокет и очистить только временный журнал запросов. После этого ещё раз снимите process/file inventory и убедитесь, что состояние совпало с baseline.
Минимум для тикета
Для issue #79638 достаточно передать: Python version, три HTTP cases, user-agent label, пары can_fetch и loopback request log без адресов клиентов. Добавьте московский timestamp, labels A/B/A2 и точный критерий «{topic['green']}». Абсолютные пути, PIDs, hostnames, environment dumps, core dumps и содержимое рабочих файлов удалите или замените метками. Официальные источники подтверждают изменение «{topic['boundary']}», но не популярность запроса, позиции в поиске или готовность вашей системы. Такой пакет позволяет повторить один переход без доступа к инфраструктуре.
Материал подготовлен редакцией VOne с помощью ИИ по открытым официальным и первичным источникам; факты, даты и ссылки перепроверены. Реальные пользовательские данные не использовались.
Источники и проверка
- Python 3.14.7 release проверено 2026-08-29
- Python 3.14.7 changelog проверено 2026-08-29
- CPython issue #79638 проверено 2026-08-29
Информация актуальна на дату публикации. Правила сервисов, приложений и сетей могут меняться.