17 ноября вышел dateparser 1.5.1, библиотека для Python, которая превращает даты, написанные человеком («вчера», «2 часа назад», «5 сентября 2020»), в обычный datetime. В релизе пять исправлений безопасности. Все они про одно и то же: специально подобранная длинная строка заставляла библиотеку работать несоразмерно долго и держать процессор занятым.
За две недели до этого, 4 ноября, в версии 1.5.0 закрыли ещё шесть похожих проблем. Так что всего за ноябрь их набралось одиннадцать. Касается это прежде всего тех, кто передаёт в dateparser текст, пришедший снаружи: поле даты из формы, параметр API, содержимое чужих HTML-страниц в парсерах и скрейперах. Именно для разбора дат на веб-страницах библиотеку изначально и делали в Scrapinghub (сейчас Zyte).
Почему длинная строка тормозила разбор дат
Почти во всех случаях виновато квадратичное время: когда строка становится вдвое длиннее, работа растёт не вдвое, а примерно вчетверо. На обычных датах этого не видно, а на тексте в десятки тысяч символов разбор растягивается на секунды. Часть таких мест сидела в регулярных выражениях (это и называют ReDoS), часть в обычном коде, который вставлял и удалял элементы посреди списка.
Самый наглядный пример приведён в бюллетене GHSA-wr9g-q4w6-fp42. Функция search_dates(), которая ищет даты в произвольном тексте, сравнивает слова исходной фразы со словами её упрощённой Unicode-формы. Некоторые символы при упрощении превращаются в несколько слов, и тогда библиотека выравнивала списки самым медленным способом. Текст длиной 48 002 символа из таких знаков разбирался около 5,1 секунды процессорного времени, а такой же по длине текст из латинской буквы x всего 0,18 секунды. Уязвимы версии от 0.7.0 до 1.5.0 включительно, оценка по CVSS 7,5 из 10.
search_dates(): уязвимы версии от 0.7.0, исправление в 1.5.1, атаковать можно по сети без входа и без участия пользователя. Источник: github.com, GHSA-wr9g-q4w6-fp42.Остальные четыре исправления в 1.5.1 закрывают похожие ловушки: длинные цепочки пробелов в персидском календаре, длинный ряд пропускаемых слов после числа, много числительных, записанных словами (там была ещё и неограниченная рекурсия), и длинную цепочку разделителей перед пропускаемыми словами в parse().
Что исправили в 1.5.0 и почему старые версии не получат патчей
В 1.5.0 исправили медленную обработку длинных рядов знаков препинания, цифр и пробелов, в том числе для китайского, японского, хинди и ещё нескольких языков, а также длинных рядов названий месяцев. Самый простой для атаки случай описан в бюллетене GHSA-fmxc-97cw-ph6p: начиная с версии 0.7.2 dateparser.parse() срезает двоеточия в конце любой строки, и на длинном ряду двоеточий регулярное выражение заново просматривало остаток строки от каждого из них.
Ограничение списка языков через languages здесь не помогает, потому что двоеточия срезаются ещё до того, как библиотека пробует какой-либо язык. Разработчики прямо пишут, что версии до 1.5.0 исправлять не будут, поэтому единственный путь это обновление.
Как обновиться и что ещё стоит сделать
Сначала стоит узнать, какая версия стоит в проекте. Библиотека часто приезжает не напрямую, а зависимостью другого пакета, так что смотреть лучше в окружении, где работает приложение:
pip show dateparser | grep -i version # обновление через pip pip install -U "dateparser>=1.5.1" # в проекте на uv uv lock --upgrade-package dateparser uv sync
Второй совет дают сами разработчики: даже после исправлений время разбора растёт вместе с длиной строки, ведь каждый подходящий язык обрабатывает весь текст. Поэтому длину того, что пришло от пользователя, лучше ограничивать всегда. Для поля с датой хватит пары сотен символов:
import dateparser
MAX_DATE_LEN = 200
def parse_user_date(text: str):
# Настоящая дата не бывает длиной в тысячи символов
if len(text) > MAX_DATE_LEN:
return None
return dateparser.parse(text, languages=["ru", "en"])
Тем, кто прыгает сразу с 1.4.x, стоит прогнать тесты: в 1.5.0 убрали кэширование объектов Settings, удалили остатки поддержки fastText и несколько давно сломанных функций, а часть вызовов теперь выдаёт FutureWarning. Например, предупреждение появится, если библиотека не может определить часовой пояс сервера, а в одной из следующих версий вместо него будет ошибка. В 1.5.1 изменилась и выдача search_dates(): числительные словами она ищет не дальше чем в 16 словах подряд, а из длинного ряда таких дат возвращает не больше восьми.
Приятная мелочь для русского языка
Кроме исправлений безопасности, в 1.5.1 научились понимать фразы вроде «Меньше 1 минуты назад», которые раньше не разбирались. Ещё одна полезная правка: дата с точкой после сокращённого месяца, например «Sept. 5, 2020», больше не разрывается в search_dates() на две части.
Если dateparser есть в зависимостях и через него проходит хоть что-то пришедшее извне, обновление до 1.5.1 стоит поставить без отлагательств: версии до 1.5.0 исправлений не получат, а ограничение длины входной строки полезно держать и после обновления.