🕷️ Crawler Inspector

URL Lookup

Direct Parameter Lookup

Raw Queries and Responses

1. Shard Calculation

Query:

Response:

Calculated Shard: 92 (from laksa151)

2. Crawled Status Check

Query:

curl -X POST \
  'http://laksa092.int.ahrefs:8124/' \
  -H 'Content-Type: text/plain' \
  -H 'X-ClickHouse-Database: crawler3' \
  -H 'Authorization: Basic YXBpOg==' \
  -d 'SELECT getAhrefsURLFromUnparsed(src_unparsed) AS found_url, ifNull(toUnixTimestamp(download_stamp), 0) AS crawl_time, ifNull(toUnixTimestamp(props_url_first_seen), 0) AS first_indexed_time, download_http_code AS http_code, src_unparsed AS src_unparsed, src_root_hash AS src_root_hash, history_drop_reason AS history_drop_reason, meta_title AS meta_title, meta_descriptions AS meta_descriptions, attrs_boilerpipe_text AS attrs_boilerpipe_text, attrs_markdown AS attrs_markdown, attrs_readable_markdown AS attrs_readable_markdown, meta_canonical AS meta_canonical FROM crawler3.page_info_local FINAL PREWHERE (src_root_hash, src_unparsed) IN ((getAhrefsRootHashFromUnparsed(getAhrefsUnparsedNoserviceFromURL(\'https://www.pvsm.ru/python/361564\')), getAhrefsUnparsedNoserviceFromURL(\'https://www.pvsm.ru/python/361564\'))) FORMAT JSONEachRow'

Response:

{"found_url":"https:\/\/www.pvsm.ru\/python\/361564","crawl_time":1768275626,"first_indexed_time":1613248520,"http_code":200,"src_unparsed":"ru,pvsm!www,\/python\/361564 s443","src_root_hash":"13201570603529966892","history_drop_reason":null,"meta_title":"Как скомпилировать Python","meta_descriptions":["Привет, Хабр!Я хочу рассказать об удивительном событии, о котором я узнал пару месяцев"],"attrs_boilerpipe_text":"Привет!\nЯ хочу рассказать об удивительном событии, о котором я узнал пару месяцев назад. Оказывается, одна популярная python-утилита уже более года распространяется в виде бинарных файлов, которые компилируются прямо из python. И речь не про банальную упаковку каким-нибудь\nPyInstaller\n-ом, а про честную\nAhead-of-time\nкомпиляцию целого python-пакета. Если вы удивлены так же как и я, добро пожаловать под кат.\nОбъясню, почему я считаю это событие по-настоящему удивительным. Существует два вида компиляции: \nAhead-of-time (AOT)\n, когда весь код компилируется до запуска программы и\nJust in time compiler (JIT)\n, когда непосредственно компиляция программы под требуемую архитектуру процессора осуществляется во время ее выполнения. Во втором случае первоначальный запуск программы осуществляется виртуальной машиной или интерпретатором.\nЕсли сгруппировать популярные языки программирования по типу компиляции, то получим следующий список:\nAhead-of-time compiler: C, C++, Rust, Kotlin, Nim, D, Go, Dart;\nJust in time compiler: Lua, С#, Groovy, Dart.\nВ python из коробки нет JIT компилятора, но отдельные библиотеки, предоставляющие такую возможность, существуют давно\nСмотря на эту таблицу, можно заметить определенную закономерность:\nстатически типизированные языки находятся в обеих строках\n. Некоторые даже могут распространяться с двумя версиями компиляторов: Kotlin может исполняться как с JIT JavaVM, так и с AOT Kotlin\/Native. То же самое можно сказать про Dart (версии 2). A вот динамически типизированные языки компилируются только JIT-ом, что впрочем вполне логично. \nПри запуске виртуальная машина сначала накапливает информацию о типах переменных, затем после накопления статистики, запускается компиляция наиболее нагруженных частей программы. Виртуальная машина отслеживает типы аргументов и переключает выполнение программы между уже скомпилированными и не скомпилированными участками кода в зависимости от текущих значений переменных.\nПри использовании JIT компиляции типы не очень то и нужны, ведь информация о типах собирается во время работы программы. Поэтому все популярные динамически типизированные языки программирования распространяются именно с JIT компилятором.\nНо как быть с AOT компиляцией кода, в котором нет типов?\nМеня очень заинтересовал этот вопрос, и я полез разбираться.\nИтак, вернемся к утилите, о которой говорилось в начале статьи. Речь про\nmypy\n- наиболее популярный синтаксический анализатор python-кода.\nС апреля 2019 года эта утилита распространяется в скомпилированном виде, о чем рассказывается в\nблоге\nпроекта. А для компиляции используется еще одна утилита от тех же авторов —\nmypyc\n. Погуглив немного, я нашел достаточно большую статью “\nПуть к проверке типов 4 миллионов строк Python-кода\n” про становление и развитие mypy (на Хабре доступен перевод:\nчасть 1\n,\nчасть 2\n,\nчасть 3\n). Там немного рассказывается о целях создания mypyc: столкнувшись с недостаточной производительностью mypy при разборе крупных python-проектов в Dropbox, разработчики добавили кеширование результатов проверки кода, а затем возможность запуска утилиты как сервиса. Но исчерпав очевидные возможности оптимизации, столкнулись с выбором: переписать все на\ngo\nили на\ncython\n. В результате проект пошел по третьему пути —\nнаписание своего AOT python-компилятора\n.\nДело в том, что для правильной работы\nmypy\nи так необходимо построить то же синтаксическое дерево, что и интерпретатору во время исполнения кода. То есть\nmypy уже “понимает” python\n, но использует эту информацию только для статистического анализа, а вот\nmypyc\nможет преобразовывать эту информацию в полноценный бинарный код.\nДумаю тут многие решили, что разобрались в вопросе того, как скомпилировать динамически типизированный python-код. Python c версии 3.4 поддерживает аннотацию типов, а\nmypy\nкак раз и используется для проверки корректности аннотаций. Получается, python как бы уже и не динамически типизированный язык, что позволяет применить AOT компиляцию. Но загвоздка в том, что\nmypyc\nможет компилировать и неаннотированный код\n!\nФункция bubble_sort\nДля примера рассмотрим функцию сортировки “пузырьком”. Файл\nlib.py:\ndef bubble_sort(data):\n   n = len(data)\n   for i in range(n - 1):\n       for j in range(n - i - 1):\n           if data[j] > data[j + 1]:\n               buff = data[j]\n               data[j] = data[j + 1]\n               data[j + 1] = buff\n   return data\nУ типов нет аннотаций, но это не мешает\nmypyc\nее скомпилировать. Чтобы запустить компиляцию, нужно установить\nmypyc\n. Он не распространяется отдельным пакетом, но если у вас установлен\nmypy\n, то и\nmypyc\nуже присутствует в системе! Запускаем\nmypyc\n, следующей командой:\n> mypyc lib.py\nПосле запуска в проекте будут созданы следующие директории:\n.mypy_cache\n  —\nmypy\nкэш, mypyc неявно запускает mypy для разбора программы и получения AST;\nbuild\n— артефакты сборки;\nlib.cpython-38-x86_64-linux-gnu.so\n— собственно сборка под целевую платформу. Данный файл представляет из себя готовый CPython Extension.\nCPython Extension\n— встроенный в\nCPython\nмеханизм взаимодействия с кодом, написанным на С\/C++. По сути это динамическая библиотека, которую\nCPython\nумеет загружать при импорте нашего модуля\nlib\n. Через данный механизм осуществляется взаимодействие с модулями, написанными на python.\nКомпиляция состоит из двух фаз:\nКомпиляция python кода в код С;\nКомпиляция С в бинарный\n.so\nфайл, для этого\nmypyc\nсам запускает gcc (\ngcc\nи\npython-dev\nтакже должен быть установлены).\nФайл\nlib.cpython-38-x86_64-linux-gnu.so\nимеет преимущество перед\nlib.py\nпри импорте на соответствующей платформе, и исполняться теперь будет именно он.\nНу и давайте сравним производительность модуля до и после компиляции. Для этого создадим файл\nmain.py\nс кодом запуска сортировки:\nimport lib\n\n\ndata = lib.bubble_sort(list(range(5000, 0, -1)))\n\nassert data == list(range(1, 5001))\nПолучим примерно следующие результаты:\nДо\nПосле\nreal 5.68\nuser 5.60\nsys 0.01\nreal 2.78\nuser 2.73\nsys 0.01\nОжидаемо скомпилированный код\nоказался быстрее (~ в 2 раза)\n, что неплохо, так как для такого результата нам потребовалось запустить лишь одну команду. Хотя от скомпилированного кода привычно ожидаешь большего.\nЧтобы ответить на вопрос\n“как компилируется динамически типизированный код”\n, придется заглянуть в представление этой функции на С. Но разобрать ее будет достаточно сложно, поэтому давайте попробуем разобраться с примером попроще.  \nФункция sum(a, b)\nСкомпилируем функцию суммы от двух переменных:\ndef sum(a, b):\n  return a + b\nПеред запуском компиляции я ожидал увидеть примерно следующий код на С:\nint sum(int a, int b) {\n   return a + b;\n}\nОднако результат оказался cущественно иным (\nкод немного упрощен\n):\nPyObject *CPyDef_sum(PyObject *cpy_r_a, PyObject *cpy_r_b){\n    return PyNumber_Add(cpy_r_a, cpy_r_b);\n}\nРассмотрим, что тут происходит. Во-первых, так как мы не знаем типы входных переменных, функция в качестве аргументов принимает указатели на объекты класса\nPyObject\n, по сути это внутренние\nCPython\nструктуры. Далее\nкомпилятор должен сложить эти объекты\n, но как, если настоящие типы аргументов неизвестны во время компиляции: это могут быть целые числа, числа с плавающей точкой, списки и вообще не факт, что аргументы можно складывать, тогда нужно вернуть ошибку. И что же делает в этом случае mypyc? \nКак оказалось, все очень просто: он просит\nCPython\nсамостоятельно сложить эти аргументы. Функция\nPyNumber_Add\n— это внутренняя функция\nСPython\n, которая доступна из расширения, ведь\nСPython\nотлично умеет складывать свои объекты\n.\nВзаимодействие CPython c Extension можно изобразить следующим диалогом:\n — А посчитай-ка мне функцию sum для A, B;\n — Хорошо, но скажи сначала, сколько будет A + B;\n — Будет С;\n — Хорошо, тогда держи ответ - С.\nВот такой нехитрый прием используется при компиляции динамического кода:\nкомпилируем все, что можем, а все остальное отдаем интерпретатору\n. \nКонечно, данный пример выглядит гротескно, но даже\nнесмотря на такую неэффективность\n, mypyc позволяет добиться существенного\nприроста производительности\n, как в примере с сортировкой.\nФункция sum(a: int, b: int)\nИтак, у нас получилось скомпилировать python, и мы разобрались с тем, как это работает, а также увидели определенную неэффективность полученного результата. Теперь попробуем разобраться в том, как можно это улучшить. Очевидно, что основная проблема заключается во\nмножественном взаимодействии\nCPython - Extension\n. Но как это побороть? \nДля повышения эффективности, нужно, чтобы расширение, получив управление, могло как можно\nдольше оставлять его у себя\nбез обращения к\nCPython\n. Если бы у mypyc была информация о типах переменных, то он бы мог самостоятельно произвести сложение без возврата управления. Но вывести типы самостоятельно mypyc не может, он даже\nне контролирует код\n, из которого осуществляется вызов функции sum. Соответственно, ему нужно помочь, проставив аннотации вручную. Давайте посмотрим, как поменяется результирующая С-функция, если добавить аннотацию типов:\ndef sum(a: int, b: int):\n  return a + b\nСкомпилированный результат на C (\nнемного очищенный\n):\nPyObject *CPyDef_sum(CPyTagged cpy_r_a, CPyTagged cpy_r_b) {\n   CPyTagged cpy_r_r0;\n   PyObject *cpy_r_r1;\n   cpy_r_r0 = CPyTagged_Add(cpy_r_a, cpy_r_b);\n   cpy_r_r1 = CPyTagged_StealAsObject(cpy_r_r0);\n\n   return cpy_r_r1;\n}\nГлавное, что можно заметить:\nфункция существенно поменялась\n, а значит, компилятор реагирует на появление аннотации. Давайте разбираться, что изменилось. \nТеперь\nCPyDef_sum\nполучает на вход не указатели на\nPyObject\n, а структуры\nCPyTagged\n. Это все еще не\nint\n, но уже и не часть\nCPython\n, а часть библиотек mypyc, которую он добавляет в скомпилированный код расширения. Для ее инициализации в рантайме сначала проверяется тип, так что теперь функция\nsum\nработает только с\nint\nи обойти аннотацию не получится.\nДалее происходит вызов\nCPyTaggetAdd\nвместо\nPyNumber_Add\n. Это уже\nвнутренняя функция mypyc\n. Если заглянуть в\nкод\nCPyTaggetAdd\n, то можно понять, что там происходит проверка диапазонов значений\na\nи\nb\n, и если они укладываются в int, то происходит простое суммирование, а также проверка на переполнение:\nif (likely(CPyTagged_CheckShort(left) && CPyTagged_CheckShort(right))) {\n    CPyTagged sum = left + right;\n\n    if (likely(!CPyTagged_IsAddOverflow(sum, left, right))) {\n        return sum;\n    }\n}\nТаким образом, наш диалог\nCPython - Extension\nпревращается\nиз абсурдного в нормальный\n:\n — А посчитай-ка мне функцию sum для A, B;\n — Хорошо, тогда держи ответ С.\nФункция bubble_sort(data: List[int])\nНастало время вернуться к функции сортировки, чтобы провести замеры скорости. Изменим начальную функцию, добавив аннотацию для\ndata\n:\ndef bubble_sort(data: List[int]):\n    …\nСкомпилируем результат и замерим время сортировки:\nБез компиляции\nС компиляцией, без аннотации типов\nС компиляцией и аннотацией типов\nreal 5.68\nuser 5.60\nsys 0.01\nreal 2.78\nuser 2.73\nsys 0.01\nreal 1.32\nuser 1.30\nsys 0.01\nИтак, мы получили еще двукратное ускорение относительно скомпилированного, не аннотированного кода, и четырехкратное относительно оригинального!\nПара слов о mypyc\nЕсли вы уже бросились компилировать ваши пакеты, то стоит задержаться на пару минут, чтобы дочитать этот абзац до конца. Главным недостатком\nmypyc\nпока остается стабильность: он все еще в альфе, точнее, сейчас это вообще не самостоятельный проект, а часть\nmypy\n. Собственно он и создавался специально под задачу увеличения производительности\nmypy\nи для этой цели он уже\nболее года как стабилен\n. Но как общее решение по компиляции любого python-кода, он еще сыроват, о чем авторы предупреждают на странице проекта.\nТакже существуют принципиальные ограничения, накладываемые на компилируемый код или на код, взаимодействующий со скомпилированным:\nПринудительная проверка типов в рантайме;\nВ компилируемом коде запрещается monkey patching;\nMypy хранит классы в С структурах для увеличения скорости доступа к атрибутам, но это приводит к проблемам совместимости.\nЭти ограничения носят\nпринципиальный\nхарактер и являются следствием архитектуры компилятора. Но из них проистекают другие ограничения, например, невозможность использования модуля стандартной библиотеки abc. Помимо этого, есть большая порция недоработок и багов. Чаще всего они приводят к тому, что код\ngcc\nотказывается компилировать полученный С код, при этом, чтобы понять настоящую причину ошибки, приходится прокручивать в голове непростую процедуру реверс инжиниринга. Пока резутльт таков, что при компиляции одного из моих проектов, без проблем компилировалось примерно\n20 % модулей\n, зато каких либо проблем при работе с уже скомпилированными модулями я не заметил.\nТем не менее, большая часть улучшений в их\nRoadmap\nзакрыта, и проект готовится к публичному\nрелизу\n.\nNuitka\nУже в процессе работы над статьей, я узнал про еще один проект с аналогичными целями. Механизм работы\nNuitka\nсильно напоминает описанный выше. Разница заключается в том, что\nNuitka\nкомпилирует Python модуль в С++ код, который также собирается в\nСPython Extension\n. Дополнительно существует возможность собрать весь проект в\nодин исполняемый файл\n, тогда уже сам\nCPython\nподключается к проекту как динамическая библиотека\nlibpython\n.\nNuitka\nпока не учитывает аннотацию типов, поэтому результирующий код и скорость работы не зависят от наличия аннотаций. Полученная же скорость в моем тесте\nсоответствует результату mypy\nна не аннотированном коде.\nЗавершение\nНедавно один мой коллега высказал мнение, что\nmypy\nсильно усложняет\nему жизнь: из текста ошибок невозможно понять, “чего он от меня хочет”, а анализатор из\nPyCharm\nнемного лучше. Теперь я понимаю, что он недооценивает\nmypy\n. Так как он\nнамного большее, чем просто синтаксический анализатор\n. По сути он реализует подмножество языка, потенциал которого в плане оптимизации сильно превосходит обычный python. Поэтому встранивание\nmypy\nв пайплайн проекта — инвестиция не только в поиск ошибок, но и\nбудущий перфоманс\nприложения. Мне очень понравилось, что взаимодействие с\nCPython\nосуществляется через механизм расширений интерпретатора, ведь это позволяет сделать выборочную компиляцию наиболее нагруженных модулей, оставив большую часть кода без изменений. Такой путь представляется мне\nнаиболее безопасным\n(учитывая, что\nmypyc\nдо сих пор в альфе). Конечно, использовать ли\nmypyc\nна продакшене, решать вам, но если вы уже уперлись в потолок по производительности и подумываете о том, чтобы переписать какие-то части на низкоуровневые языки, то стоит попробовать запустить\nmypyc\n, тем более, что сделать это просто, если вы уже используете mypy.\nP.S.\nНадеюсь, вам было интересно узнать о новом способе повышения производительности python, а также глубже разобраться в механизме компиляции динамически типизированного кода. Если тема окажется интересной, то в следующей статье планирую больше рассказать про\nmypyc\n, его ограничения и частые ошибки,  а также, как их можно обойти.\nUPD\nВ комментариях подсказали, об еще одном python компиляторе -\nCython\n, оказывается теперь он умеет компилировать python код напрямую (минуя ручную фазу преобразования кода в\ncython\n-код). Судя по замерам cython пока\nне учитыват\nаннотацию типов, но время выполнения (\nreal 1.82\n) оказалось посередине между результатом mypyc на аннотированном и не аннотированном кода. Но возможно ее добавят в будущем.\nАвтор: Eвгений Зуев\nИсточник","attrs_markdown":"- [Главная](https:\/\/www.pvsm.ru\/)\n\n- [Архив новостей](https:\/\/www.pvsm.ru\/site-archive)\n- [Android](https:\/\/www.pvsm.ru\/android-os-news)\n- [Google](https:\/\/www.pvsm.ru\/google-company)\n- [Apple](https:\/\/www.pvsm.ru\/apple-company)\n- [Microsoft](https:\/\/www.pvsm.ru\/microsoft-company)\n- [Информационная безопасность](https:\/\/www.pvsm.ru\/information-security-news)\n- [Веб – разработка](https:\/\/www.pvsm.ru\/web-development)\n\n***\n[![PVSM.RU - Новости информационных технологий](https:\/\/www.pvsm.ru\/img\/pvsmlogo-cbp.png)](https:\/\/www.pvsm.ru\/ \"PVSM.RU - Новости информационных технологий\")\n\n- - [Новости](https:\/\/www.pvsm.ru\/cat\/news \"Новости (127532)\")\n  - [Программирование](https:\/\/www.pvsm.ru\/cat\/programmirovanie \"Программирование (10922)\")\n  - [информационная безопасность](https:\/\/www.pvsm.ru\/cat\/informatsionnaya-bezopasnost \"информационная безопасность (9485)\")\n  - [Это интересно](https:\/\/www.pvsm.ru\/cat\/e-to-interesno \"Это интересно (8856)\")\n  - [Научно-популярное](https:\/\/www.pvsm.ru\/cat\/nauchno-populyarnoe \"Научно-популярное (8267)\")\n  - [Гаджеты и устройства для гиков](https:\/\/www.pvsm.ru\/cat\/gadzhety-i-ustrojstva-dlya-gikov \"Гаджеты и устройства для гиков (8035)\")\n  - [Текучка](https:\/\/www.pvsm.ru\/cat\/tekuchka \"Текучка (7204)\")\n  - [javascript](https:\/\/www.pvsm.ru\/cat\/javascript \"javascript (5926)\")\n  - [diy или сделай сам](https:\/\/www.pvsm.ru\/cat\/diy-ili-sdelaj-sam \"diy или сделай сам (4778)\")\n  - [гаджеты](https:\/\/www.pvsm.ru\/cat\/gadzhety \"гаджеты (4430)\")\n  - [android](https:\/\/www.pvsm.ru\/cat\/android \"android (4350)\")\n  - [системное администрирование](https:\/\/www.pvsm.ru\/cat\/sistemnoe-administrirovanie \"системное администрирование (4189)\")\n  - [управление проектами](https:\/\/www.pvsm.ru\/cat\/upravlenie-proektami \"управление проектами (4180)\")\n  - [разработка](https:\/\/www.pvsm.ru\/cat\/razrabotka \"разработка (3991)\")\n  - [python](https:\/\/www.pvsm.ru\/cat\/python \"python (3891)\")\n  - [будущее здесь](https:\/\/www.pvsm.ru\/cat\/budushhee-zdes \"будущее здесь (3874)\")\n  - [open source](https:\/\/www.pvsm.ru\/cat\/open-source \"open source (3794)\")\n  - [искусственный интеллект](https:\/\/www.pvsm.ru\/cat\/iskusstvenny-j-intellekt \"искусственный интеллект (3650)\")\n  - [Веб-разработка](https:\/\/www.pvsm.ru\/cat\/veb-razrabotka \"Веб-разработка (3648)\")\n  - [космонавтика](https:\/\/www.pvsm.ru\/cat\/kosmonavtika \"космонавтика (3580)\")\n  - [Разработка веб-сайтов](https:\/\/www.pvsm.ru\/cat\/razrabotka-veb-sajtov \"Разработка веб-сайтов (3471)\")\n  - [Google](https:\/\/www.pvsm.ru\/cat\/google \"Google (3446)\")\n  - [Железо](https:\/\/www.pvsm.ru\/cat\/zhelezo \"Железо (3385)\")\n  - [linux](https:\/\/www.pvsm.ru\/cat\/linux \"linux (3263)\")\n  - [Алгоритмы](https:\/\/www.pvsm.ru\/cat\/algoritmy \"Алгоритмы (3236)\")\n\n- ## Информация\n  - [Лучший хостинг сайтов - REG.RU](https:\/\/reg.ru\/?rlink=reflink-717)\n  - Промокод 5% скидки на услуги\n  - [39CC-C72F-6342-560A](https:\/\/reg.ru\/?rlink=reflink-717)\n- ## Комментарии\n  - Ostrovityanin к записи [Уникальный игровой телефон с двумя процессорами за 2 000 рублей — разбираем плод инженерного гения из Китая](https:\/\/www.pvsm.ru\/gadzhety\/406760#comment-106257)\n  - Денис к записи [Продажи машин премиум-класса в России выросли на 47%: BMW едва не стал лидером сегмента](https:\/\/www.pvsm.ru\/news\/440131#comment-106254)\n  - Multychell к записи [Пишем игру на LWJGL](https:\/\/www.pvsm.ru\/java\/297242#comment-106253)\n  - Егор к записи [В Китае назвали лучшие гибриды и электромобили 2025 года. В лидерах — Aito M9 и Zeekr 001, последнее место — у Voyah Free](https:\/\/www.pvsm.ru\/news\/438673#comment-106249)\n  - dattly к записи [Саммари книги AI Value Creators, глава 1](https:\/\/www.pvsm.ru\/ai\/419770#comment-106241)\n  - круто к записи [Уникальный игровой телефон с двумя процессорами за 2 000 рублей — разбираем плод инженерного гения из Китая](https:\/\/www.pvsm.ru\/gadzhety\/406760#comment-106240)\n  - Антон к записи [Tank, который лидирует среди премиальных брендов в Санкт-Петербурге, впервые закрыл дилерский центр](https:\/\/www.pvsm.ru\/news\/436853#comment-106234)\n  - Артем к записи [Абсолютный рекорд за всю историю: октябрь стал лучшим месяцем для гибридных машин в России](https:\/\/www.pvsm.ru\/news\/436588#comment-106233)\n  - Анатолий к записи [Счёт идет на десятки тысяч. В России рекордные продажи гибридов и электромобилей, самые популярные — Li Auto и Zeekr](https:\/\/www.pvsm.ru\/news\/436760#comment-106232)\n  - Олег к записи [1300 км без заправки, более 200 км без бензина, Snapdragon 8255, три экрана и аудиосистема Boyah Sound. Предзаказы на Exlantix ET5 в Китае откроют 13 ноября](https:\/\/www.pvsm.ru\/news\/435756#comment-106229)\n## Рекомендуем\n- [REG.RU надежный хостинг](http:\/\/www.reg.ru\/?rlink=reflink-717 \"REG.RU - надежный хостинг\")\n  \n  Промокод на скидку 5% REG.RU  \n  39CC-C72F-6342-560A\n\nНаверх\n\n# Как скомпилировать Python\n**[2021-02-12](https:\/\/www.pvsm.ru\/date\/2021\/02\/12 \"Записи за 2021-02-12\")** **в 12:41****,** **admin**, рубрики: [compiler](https:\/\/www.pvsm.ru\/cat\/compiler), [mypy](https:\/\/www.pvsm.ru\/cat\/mypy), [nuitka](https:\/\/www.pvsm.ru\/cat\/nuitka), [python](https:\/\/www.pvsm.ru\/cat\/python), [Блог компании Exness](https:\/\/www.pvsm.ru\/cat\/blog-kompanii-exness), [высокая производительность](https:\/\/www.pvsm.ru\/cat\/vy-sokaya-proizvoditel-nost), [Компиляторы](https:\/\/www.pvsm.ru\/cat\/kompilyatory-2), [Программирование](https:\/\/www.pvsm.ru\/cat\/programmirovanie)\n\n![Как скомпилировать Python - 1](https:\/\/www.pvsm.ru\/images\/2021\/02\/13\/kak-skompilirovat-Python.jpg)\n\nПривет\\!\n\nЯ хочу рассказать об удивительном событии, о котором я узнал пару месяцев назад. Оказывается, одна популярная python-утилита уже более года распространяется в виде бинарных файлов, которые компилируются прямо из python. И речь не про банальную упаковку каким-нибудь *PyInstaller*\\-ом, а про честную *Ahead-of-time* компиляцию целого python-пакета. Если вы удивлены так же как и я, добро пожаловать под кат.\n\nОбъясню, почему я считаю это событие по-настоящему удивительным. Существует два вида компиляции: *Ahead-of-time (AOT)*, когда весь код компилируется до запуска программы и *Just in time compiler (JIT)*, когда непосредственно компиляция программы под требуемую архитектуру процессора осуществляется во время ее выполнения. Во втором случае первоначальный запуск программы осуществляется виртуальной машиной или интерпретатором.\n\nЕсли сгруппировать популярные языки программирования по типу компиляции, то получим следующий список:\n\n- Ahead-of-time compiler: C, C++, Rust, Kotlin, Nim, D, Go, Dart;\n- Just in time compiler: Lua, С\\#, Groovy, Dart.\n\n*В python из коробки нет JIT компилятора, но отдельные библиотеки, предоставляющие такую возможность, существуют давно*\n\nСмотря на эту таблицу, можно заметить определенную закономерность: **статически типизированные языки находятся в обеих строках**. Некоторые даже могут распространяться с двумя версиями компиляторов: Kotlin может исполняться как с JIT JavaVM, так и с AOT Kotlin\/Native. То же самое можно сказать про Dart (версии 2). A вот динамически типизированные языки компилируются только JIT-ом, что впрочем вполне логично.\n\n> *При запуске виртуальная машина сначала накапливает информацию о типах переменных, затем после накопления статистики, запускается компиляция наиболее нагруженных частей программы. Виртуальная машина отслеживает типы аргументов и переключает выполнение программы между уже скомпилированными и не скомпилированными участками кода в зависимости от текущих значений переменных.*\n\nПри использовании JIT компиляции типы не очень то и нужны, ведь информация о типах собирается во время работы программы. Поэтому все популярные динамически типизированные языки программирования распространяются именно с JIT компилятором. **Но как быть с AOT компиляцией кода, в котором нет типов?** Меня очень заинтересовал этот вопрос, и я полез разбираться.\n\nИтак, вернемся к утилите, о которой говорилось в начале статьи. Речь про [mypy](http:\/\/mypy-lang.org\/) - наиболее популярный синтаксический анализатор python-кода.\n\n![Как скомпилировать Python - 2](https:\/\/www.pvsm.ru\/images\/2021\/02\/13\/kak-skompilirovat-Python-2.)\n\nС апреля 2019 года эта утилита распространяется в скомпилированном виде, о чем рассказывается в [блоге](https:\/\/mypy-lang.blogspot.com\/2019\/04\/mypy-0700-released-up-to-4x-faster.html) проекта. А для компиляции используется еще одна утилита от тех же авторов — *mypyc*. Погуглив немного, я нашел достаточно большую статью “[Путь к проверке типов 4 миллионов строк Python-кода](https:\/\/dropbox.tech\/application\/our-journey-to-type-checking-4-million-lines-of-python)” про становление и развитие mypy (на Хабре доступен перевод: [часть 1](https:\/\/habr.com\/ru\/company\/ruvds\/blog\/468233\/), [часть 2](https:\/\/habr.com\/ru\/company\/ruvds\/blog\/468235\/), [часть 3](https:\/\/habr.com\/ru\/company\/ruvds\/blog\/468237\/)). Там немного рассказывается о целях создания mypyc: столкнувшись с недостаточной производительностью mypy при разборе крупных python-проектов в Dropbox, разработчики добавили кеширование результатов проверки кода, а затем возможность запуска утилиты как сервиса. Но исчерпав очевидные возможности оптимизации, столкнулись с выбором: переписать все на *go* или на *cython*. В результате проект пошел по третьему пути — **написание своего AOT python-компилятора**.\n\nДело в том, что для правильной работы *mypy* и так необходимо построить то же синтаксическое дерево, что и интерпретатору во время исполнения кода. То есть **mypy уже “понимает” python**, но использует эту информацию только для статистического анализа, а вот *mypyc* может преобразовывать эту информацию в полноценный бинарный код.\n\nДумаю тут многие решили, что разобрались в вопросе того, как скомпилировать динамически типизированный python-код. Python c версии 3.4 поддерживает аннотацию типов, а *mypy* как раз и используется для проверки корректности аннотаций. Получается, python как бы уже и не динамически типизированный язык, что позволяет применить AOT компиляцию. Но загвоздка в том, что *mypyc* **может компилировать и неаннотированный код**\\!\n\n## Функция bubble\\_sort\nДля примера рассмотрим функцию сортировки “пузырьком”. Файл *lib.py:*\n```\ndef bubble_sort(data):\n   n = len(data)\n   for i in range(n - 1):\n       for j in range(n - i - 1):\n           if data[j] > data[j + 1]:\n               buff = data[j]\n               data[j] = data[j + 1]\n               data[j + 1] = buff\n   return data\n```\nУ типов нет аннотаций, но это не мешает *mypyc* ее скомпилировать. Чтобы запустить компиляцию, нужно установить *mypyc*. Он не распространяется отдельным пакетом, но если у вас установлен *mypy*, то и *mypyc* уже присутствует в системе! Запускаем *mypyc*, следующей командой:\n```\n> mypyc lib.py\n```\nПосле запуска в проекте будут созданы следующие директории:\n\n- `.mypy_cache` — *mypy* кэш, mypyc неявно запускает mypy для разбора программы и получения AST;\n- `build` — артефакты сборки;\n- `lib.cpython-38-x86_64-linux-gnu.so` — собственно сборка под целевую платформу. Данный файл представляет из себя готовый CPython Extension.\n\n> *CPython Extension* — встроенный в *CPython* механизм взаимодействия с кодом, написанным на С\/C++. По сути это динамическая библиотека, которую *CPython* умеет загружать при импорте нашего модуля *lib*. Через данный механизм осуществляется взаимодействие с модулями, написанными на python.\n\nКомпиляция состоит из двух фаз:\n\n1. Компиляция python кода в код С;\n2. Компиляция С в бинарный *.so* файл, для этого *mypyc* сам запускает gcc (*gcc* и *python-dev* также должен быть установлены).\n\nФайл `lib.cpython-38-x86_64-linux-gnu.so` имеет преимущество перед *lib.py* при импорте на соответствующей платформе, и исполняться теперь будет именно он.\n\nНу и давайте сравним производительность модуля до и после компиляции. Для этого создадим файл *main.py* с кодом запуска сортировки:\n```\nimport lib\n\n\ndata = lib.bubble_sort(list(range(5000, 0, -1)))\n\nassert data == list(range(1, 5001))\n```\nПолучим примерно следующие результаты:\n\n|   |   |\n|---|---|\n| До | После |\n| real 5.68 user 5.60 sys 0.01 | real 2.78 user 2.73 sys 0.01 |\n\nОжидаемо скомпилированный код **оказался быстрее (~ в 2 раза)**, что неплохо, так как для такого результата нам потребовалось запустить лишь одну команду. Хотя от скомпилированного кода привычно ожидаешь большего.\n\n![Как скомпилировать Python - 3](https:\/\/www.pvsm.ru\/images\/2021\/02\/13\/kak-skompilirovat-Python-3.)\n\nЧтобы ответить на вопрос *“как компилируется динамически типизированный код”*, придется заглянуть в представление этой функции на С. Но разобрать ее будет достаточно сложно, поэтому давайте попробуем разобраться с примером попроще.\n\n## Функция sum(a, b)\nСкомпилируем функцию суммы от двух переменных:\n```\ndef sum(a, b):\n  return a + b\n```\nПеред запуском компиляции я ожидал увидеть примерно следующий код на С:\n```\nint sum(int a, int b) {\n   return a + b;\n}\n```\nОднако результат оказался cущественно иным (**код немного упрощен**):\n```\nPyObject *CPyDef_sum(PyObject *cpy_r_a, PyObject *cpy_r_b){\n    return PyNumber_Add(cpy_r_a, cpy_r_b);\n}\n```\nРассмотрим, что тут происходит. Во-первых, так как мы не знаем типы входных переменных, функция в качестве аргументов принимает указатели на объекты класса *PyObject*, по сути это внутренние *CPython* структуры. Далее **компилятор должен сложить эти объекты**, но как, если настоящие типы аргументов неизвестны во время компиляции: это могут быть целые числа, числа с плавающей точкой, списки и вообще не факт, что аргументы можно складывать, тогда нужно вернуть ошибку. И что же делает в этом случае mypyc?\n\nКак оказалось, все очень просто: он просит *CPython* самостоятельно сложить эти аргументы. Функция *PyNumber\\_Add* — это внутренняя функция *СPython*, которая доступна из расширения, ведь ***СPython* отлично умеет складывать свои объекты**.\n\nВзаимодействие CPython c Extension можно изобразить следующим диалогом:\n\n> — А посчитай-ка мне функцию sum для A, B;\n> \n> — Хорошо, но скажи сначала, сколько будет A + B;\n> \n> — Будет С;\n> \n> — Хорошо, тогда держи ответ - С.\n\nВот такой нехитрый прием используется при компиляции динамического кода: **компилируем все, что можем, а все остальное отдаем интерпретатору**.\n\nКонечно, данный пример выглядит гротескно, но даже **несмотря на такую неэффективность**, mypyc позволяет добиться существенного **прироста производительности**, как в примере с сортировкой.\n\n## Функция sum(a: int, b: int)\nИтак, у нас получилось скомпилировать python, и мы разобрались с тем, как это работает, а также увидели определенную неэффективность полученного результата. Теперь попробуем разобраться в том, как можно это улучшить. Очевидно, что основная проблема заключается во **множественном взаимодействии** *CPython - Extension*. Но как это побороть?\n\nДля повышения эффективности, нужно, чтобы расширение, получив управление, могло как можно **дольше оставлять его у себя** без обращения к *CPython*. Если бы у mypyc была информация о типах переменных, то он бы мог самостоятельно произвести сложение без возврата управления. Но вывести типы самостоятельно mypyc не может, он даже **не контролирует код**, из которого осуществляется вызов функции sum. Соответственно, ему нужно помочь, проставив аннотации вручную. Давайте посмотрим, как поменяется результирующая С-функция, если добавить аннотацию типов:\n```\ndef sum(a: int, b: int):\n  return a + b\n```\nСкомпилированный результат на C (*немного очищенный*):\n```\nPyObject *CPyDef_sum(CPyTagged cpy_r_a, CPyTagged cpy_r_b) {\n   CPyTagged cpy_r_r0;\n   PyObject *cpy_r_r1;\n   cpy_r_r0 = CPyTagged_Add(cpy_r_a, cpy_r_b);\n   cpy_r_r1 = CPyTagged_StealAsObject(cpy_r_r0);\n\n   return cpy_r_r1;\n}\n```\nГлавное, что можно заметить: **функция существенно поменялась**, а значит, компилятор реагирует на появление аннотации. Давайте разбираться, что изменилось.\n\nТеперь *CPyDef\\_sum* получает на вход не указатели на *PyObject*, а структуры *CPyTagged*. Это все еще не *int*, но уже и не часть *CPython*, а часть библиотек mypyc, которую он добавляет в скомпилированный код расширения. Для ее инициализации в рантайме сначала проверяется тип, так что теперь функция *sum* работает только с *int* и обойти аннотацию не получится.\n\nДалее происходит вызов *CPyTaggetAdd* вместо *PyNumber\\_Add*. Это уже **внутренняя функция mypyc**. Если заглянуть в [код](https:\/\/github.com\/python\/mypy\/blob\/5e20a26b922e2f5b71425ea7f57d2b4cba5a9324\/mypyc\/lib-rt\/int_ops.c#L136) *CPyTaggetAdd*, то можно понять, что там происходит проверка диапазонов значений *a* и *b*, и если они укладываются в int, то происходит простое суммирование, а также проверка на переполнение:\n```\nif (likely(CPyTagged_CheckShort(left) && CPyTagged_CheckShort(right))) {\n    CPyTagged sum = left + right;\n\n    if (likely(!CPyTagged_IsAddOverflow(sum, left, right))) {\n        return sum;\n    }\n}\n```\nТаким образом, наш диалог *CPython - Extension* превращается **из абсурдного в нормальный**:\n\n> — А посчитай-ка мне функцию sum для A, B;\n> \n> — Хорошо, тогда держи ответ С.\n## Функция bubble\\_sort(data: List\\[int\\])\nНастало время вернуться к функции сортировки, чтобы провести замеры скорости. Изменим начальную функцию, добавив аннотацию для *data*:\n```\ndef bubble_sort(data: List[int]):\n    …\n```\nСкомпилируем результат и замерим время сортировки:\n\n|   |   |   |\n|---|---|---|\n| Без компиляции | С компиляцией, без аннотации типов | С компиляцией и аннотацией типов |\n| real 5.68 user 5.60 sys 0.01 | real 2.78 user 2.73 sys 0.01 | real 1.32 user 1.30 sys 0.01 |\n\nИтак, мы получили еще двукратное ускорение относительно скомпилированного, не аннотированного кода, и четырехкратное относительно оригинального\\!\n\n![Как скомпилировать Python - 4](https:\/\/www.pvsm.ru\/images\/2021\/02\/13\/kak-skompilirovat-Python-4.)\n\n## Пара слов о mypyc\nЕсли вы уже бросились компилировать ваши пакеты, то стоит задержаться на пару минут, чтобы дочитать этот абзац до конца. Главным недостатком *mypyc* пока остается стабильность: он все еще в альфе, точнее, сейчас это вообще не самостоятельный проект, а часть *mypy*. Собственно он и создавался специально под задачу увеличения производительности *mypy* и для этой цели он уже **более года как стабилен**. Но как общее решение по компиляции любого python-кода, он еще сыроват, о чем авторы предупреждают на странице проекта.\n\nТакже существуют принципиальные ограничения, накладываемые на компилируемый код или на код, взаимодействующий со скомпилированным:\n\n- Принудительная проверка типов в рантайме;\n- В компилируемом коде запрещается monkey patching;\n- Mypy хранит классы в С структурах для увеличения скорости доступа к атрибутам, но это приводит к проблемам совместимости.\n\nЭти ограничения носят **принципиальный** характер и являются следствием архитектуры компилятора. Но из них проистекают другие ограничения, например, невозможность использования модуля стандартной библиотеки abc. Помимо этого, есть большая порция недоработок и багов. Чаще всего они приводят к тому, что код *gcc* отказывается компилировать полученный С код, при этом, чтобы понять настоящую причину ошибки, приходится прокручивать в голове непростую процедуру реверс инжиниринга. Пока резутльт таков, что при компиляции одного из моих проектов, без проблем компилировалось примерно **20 % модулей**, зато каких либо проблем при работе с уже скомпилированными модулями я не заметил.\n\nТем не менее, большая часть улучшений в их *Roadmap* закрыта, и проект готовится к публичному [релизу](https:\/\/github.com\/mypyc\/mypyc\/issues\/780).\n\n## Nuitka\nУже в процессе работы над статьей, я узнал про еще один проект с аналогичными целями. Механизм работы [Nuitka](https:\/\/nuitka.net\/) сильно напоминает описанный выше. Разница заключается в том, что *Nuitka* компилирует Python модуль в С++ код, который также собирается в *СPython Extension*. Дополнительно существует возможность собрать весь проект в **один исполняемый файл**, тогда уже сам *CPython* подключается к проекту как динамическая библиотека *libpython*.\n\n*Nuitka* пока не учитывает аннотацию типов, поэтому результирующий код и скорость работы не зависят от наличия аннотаций. Полученная же скорость в моем тесте **соответствует результату mypy** на не аннотированном коде.\n\n## Завершение\nНедавно один мой коллега высказал мнение, что *mypy* **сильно усложняет** ему жизнь: из текста ошибок невозможно понять, “чего он от меня хочет”, а анализатор из *PyCharm* немного лучше. Теперь я понимаю, что он недооценивает *mypy*. Так как он **намного большее, чем просто синтаксический анализатор**. По сути он реализует подмножество языка, потенциал которого в плане оптимизации сильно превосходит обычный python. Поэтому встранивание *mypy* в пайплайн проекта — инвестиция не только в поиск ошибок, но и **будущий перфоманс** приложения. Мне очень понравилось, что взаимодействие с *CPython* осуществляется через механизм расширений интерпретатора, ведь это позволяет сделать выборочную компиляцию наиболее нагруженных модулей, оставив большую часть кода без изменений. Такой путь представляется мне **наиболее безопасным** (учитывая, что *mypyc* до сих пор в альфе). Конечно, использовать ли *mypyc* на продакшене, решать вам, но если вы уже уперлись в потолок по производительности и подумываете о том, чтобы переписать какие-то части на низкоуровневые языки, то стоит попробовать запустить *mypyc*, тем более, что сделать это просто, если вы уже используете mypy.\n\n## P.S.\nНадеюсь, вам было интересно узнать о новом способе повышения производительности python, а также глубже разобраться в механизме компиляции динамически типизированного кода. Если тема окажется интересной, то в следующей статье планирую больше рассказать про *mypyc*, его ограничения и частые ошибки, а также, как их можно обойти.\n\n## UPD\nВ комментариях подсказали, об еще одном python компиляторе - *Cython*, оказывается теперь он умеет компилировать python код напрямую (минуя ручную фазу преобразования кода в *cython*\\-код). Судя по замерам cython пока [не учитыват](https:\/\/github.com\/cython\/cython\/issues\/2587) аннотацию типов, но время выполнения (*real 1.82*) оказалось посередине между результатом mypyc на аннотированном и не аннотированном кода. Но возможно ее добавят в будущем.\n\n*Автор: Eвгений Зуев*\n\n*[Источник](https:\/\/habr.com\/ru\/post\/542106\/?utm_source=habrahabr&utm_medium=rss&utm_campaign=542106 \"Как скомпилировать Python\")*\n\n[![Версия для печати](https:\/\/www.pvsm.ru\/wp-content\/plugins\/wp-print\/images\/print.gif)](https:\/\/www.pvsm.ru\/python\/361564\/print\/ \"Версия для печати\") [Версия для печати](https:\/\/www.pvsm.ru\/python\/361564\/print\/ \"Версия для печати\")\n\n### Рекомендованный контент\n[![Моржовый оператор := в Python](https:\/\/www.pvsm.ru\/wp-content\/plugins\/contextual-related-posts\/timthumb\/timthumb.php?src=http%3A%2F%2Fwww.pvsm.ru%2Fimg%2Fpvsm-noimage.gif&w=100&h=100&zc=1&q=75)](https:\/\/www.pvsm.ru\/python\/393014)[Моржовый оператор := в Python](https:\/\/www.pvsm.ru\/python\/393014)\n\n[![Симметричная индексация в Python](https:\/\/www.pvsm.ru\/wp-content\/plugins\/contextual-related-posts\/timthumb\/timthumb.php?src=http%3A%2F%2Fwww.pvsm.ru%2Fimages%2F2024%2F06%2F19%2Fsimmetrichnaya-indeksaciya-v-Python.png&w=100&h=100&zc=1&q=75)](https:\/\/www.pvsm.ru\/python\/392164)[Симметричная индексация в Python](https:\/\/www.pvsm.ru\/python\/392164)\n\n[![Руководство по веб-скрейпингу на Python](https:\/\/www.pvsm.ru\/wp-content\/plugins\/contextual-related-posts\/timthumb\/timthumb.php?src=http%3A%2F%2Fwww.pvsm.ru%2Fimages%2F2024%2F03%2F03%2Frukovodstvo-po-veb-skreipingu-na-Python.png&w=100&h=100&zc=1&q=75)](https:\/\/www.pvsm.ru\/beautiful-soup\/390285)[Руководство по веб-скрейпингу на Python](https:\/\/www.pvsm.ru\/beautiful-soup\/390285)\n\n[![Эволюция подсчета в Python](https:\/\/www.pvsm.ru\/wp-content\/plugins\/contextual-related-posts\/timthumb\/timthumb.php?src=http%3A%2F%2Fwww.pvsm.ru%2Fimages%2F2024%2F05%2F30%2Fevolyuciya-podscheta-v-Python.png&w=100&h=100&zc=1&q=75)](https:\/\/www.pvsm.ru\/python\/391773)[Эволюция подсчета в Python](https:\/\/www.pvsm.ru\/python\/391773)\n\n[![std fs в Rust медленнее, чем Python? Нет, это аппаратный баг](https:\/\/www.pvsm.ru\/wp-content\/plugins\/contextual-related-posts\/timthumb\/timthumb.php?src=http%3A%2F%2Fwww.pvsm.ru%2Fimages%2F2023%2F12%2F03%2Fstd-fs-v-Rust-medlennee-chem-Python-net-eto-apparatnyi-bag.png&w=100&h=100&zc=1&q=75)](https:\/\/www.pvsm.ru\/amd\/388512)[std fs в Rust медленнее, чем Python? Нет, это аппаратный баг](https:\/\/www.pvsm.ru\/amd\/388512)\n\n[![100 вопросов для подготовки к собесу Python](https:\/\/www.pvsm.ru\/wp-content\/plugins\/contextual-related-posts\/timthumb\/timthumb.php?src=http%3A%2F%2Fwww.pvsm.ru%2Fimages%2F2023%2F12%2F24%2F100-voprosov-dlya-podgotovki-k-sobesu-Python-2.png&w=100&h=100&zc=1&q=75)](https:\/\/www.pvsm.ru\/python\/388904)[100 вопросов для подготовки к собесу Python](https:\/\/www.pvsm.ru\/python\/388904)\n\n[Нажмите, чтобы отменить ответ.](https:\/\/www.pvsm.ru\/python\/361564#respond)\n***\n\n[![Рейтинг@Mail.ru](https:\/\/da.cf.be.a1.top.mail.ru\/counter?js=na;id=2030102;t=59)](http:\/\/top.mail.ru\/jump?from=2030102)\n\n[![Rambler's Top100](https:\/\/counter.rambler.ru\/top100.cnt?2887880)](http:\/\/top100.rambler.ru\/navi\/2887880\/)\n\n[Главная](https:\/\/www.pvsm.ru\/) \\| [Архив новостей](https:\/\/www.pvsm.ru\/site-archive \"Архив новостей\") \\| [Android](https:\/\/www.pvsm.ru\/android-os-news \"Android\") \\| [Google](https:\/\/www.pvsm.ru\/google-company \"Google\") \\| [Apple](https:\/\/www.pvsm.ru\/apple-company \"Apple\") \\| [Microsoft](https:\/\/www.pvsm.ru\/microsoft-company \"Microsoft\") \\| [Информационная безопасность](https:\/\/www.pvsm.ru\/information-security-news \"Информационная безопасность\") \\| [Веб – разработка](https:\/\/www.pvsm.ru\/web-development \"Веб – разработка\")\n\n[Публикации RSS](https:\/\/www.pvsm.ru\/feed \"RSS\") \\| [Комментарии RSS](https:\/\/www.pvsm.ru\/comments\/feed \"Комментарии RSS\")\n\n© 2010-2026 PVSM.RU\n\nВсе права на материалы принадлежат их авторам.  \nОсновными материалами сайта являются\n\nархивные копии материалов\n\nпо ИТ тематике Рунета, взятые\n\nиз открытых и общедоступных источников\n\n.\n\n![](https:\/\/mc.yandex.ru\/watch\/6293305)\n\nhttps:\/\/ajax.googleapis.com\/ajax\/libs\/jquery\/3.4.1\/jquery.min.js","attrs_readable_markdown":null,"meta_canonical":null}

3. Robots.txt Check

Query:

Response:

4. Spam/Ban Check

Query:

Response:

5. Seen Status Check

ℹ️ Skipped - page is already crawled

📄

INDEXABLE

✅

CRAWLED

2 months ago

🤖

ROBOTS ALLOWED

Page Info Filters

Filter	Status	Condition	Details
HTTP status	PASS	`download_http_code = 200`	HTTP 200
Age cutoff	PASS	`download_stamp > now() - 6 MONTH`	2.8 months ago
History drop	PASS	`isNull(history_drop_reason)`	No drop reason
Spam/ban	PASS	`fh_dont_index != 1 AND ml_spam_score = 0`	ml_spam_score=0
Canonical	PASS	`meta_canonical IS NULL OR = '' OR = src_unparsed`	Not set

Page Details

Property	Value
URL	https://www.pvsm.ru/python/361564
Last Crawled	2026-01-13 03:40:26 (2 months ago)
First Indexed	2021-02-13 20:35:20 (5 years ago)
HTTP Status Code	200
Meta Title	Как скомпилировать Python
Meta Description	Привет, Хабр!Я хочу рассказать об удивительном событии, о котором я узнал пару месяцев
Meta Canonical	null
Boilerpipe Text	Привет! Я хочу рассказать об удивительном событии, о котором я узнал пару месяцев назад. Оказывается, одна популярная python-утилита уже более года распространяется в виде бинарных файлов, которые компилируются прямо из python. И речь не про банальную упаковку каким-нибудь PyInstaller -ом, а про честную Ahead-of-time компиляцию целого python-пакета. Если вы удивлены так же как и я, добро пожаловать под кат. Объясню, почему я считаю это событие по-настоящему удивительным. Существует два вида компиляции: Ahead-of-time (AOT) , когда весь код компилируется до запуска программы и Just in time compiler (JIT) , когда непосредственно компиляция программы под требуемую архитектуру процессора осуществляется во время ее выполнения. Во втором случае первоначальный запуск программы осуществляется виртуальной машиной или интерпретатором. Если сгруппировать популярные языки программирования по типу компиляции, то получим следующий список: Ahead-of-time compiler: C, C++, Rust, Kotlin, Nim, D, Go, Dart; Just in time compiler: Lua, С#, Groovy, Dart. В python из коробки нет JIT компилятора, но отдельные библиотеки, предоставляющие такую возможность, существуют давно Смотря на эту таблицу, можно заметить определенную закономерность: статически типизированные языки находятся в обеих строках . Некоторые даже могут распространяться с двумя версиями компиляторов: Kotlin может исполняться как с JIT JavaVM, так и с AOT Kotlin/Native. То же самое можно сказать про Dart (версии 2). A вот динамически типизированные языки компилируются только JIT-ом, что впрочем вполне логично. При запуске виртуальная машина сначала накапливает информацию о типах переменных, затем после накопления статистики, запускается компиляция наиболее нагруженных частей программы. Виртуальная машина отслеживает типы аргументов и переключает выполнение программы между уже скомпилированными и не скомпилированными участками кода в зависимости от текущих значений переменных. При использовании JIT компиляции типы не очень то и нужны, ведь информация о типах собирается во время работы программы. Поэтому все популярные динамически типизированные языки программирования распространяются именно с JIT компилятором. Но как быть с AOT компиляцией кода, в котором нет типов? Меня очень заинтересовал этот вопрос, и я полез разбираться. Итак, вернемся к утилите, о которой говорилось в начале статьи. Речь про mypy - наиболее популярный синтаксический анализатор python-кода. С апреля 2019 года эта утилита распространяется в скомпилированном виде, о чем рассказывается в блоге проекта. А для компиляции используется еще одна утилита от тех же авторов — mypyc . Погуглив немного, я нашел достаточно большую статью “ Путь к проверке типов 4 миллионов строк Python-кода ” про становление и развитие mypy (на Хабре доступен перевод: часть 1 , часть 2 , часть 3 ). Там немного рассказывается о целях создания mypyc: столкнувшись с недостаточной производительностью mypy при разборе крупных python-проектов в Dropbox, разработчики добавили кеширование результатов проверки кода, а затем возможность запуска утилиты как сервиса. Но исчерпав очевидные возможности оптимизации, столкнулись с выбором: переписать все на go или на cython . В результате проект пошел по третьему пути — написание своего AOT python-компилятора . Дело в том, что для правильной работы mypy и так необходимо построить то же синтаксическое дерево, что и интерпретатору во время исполнения кода. То есть mypy уже “понимает” python , но использует эту информацию только для статистического анализа, а вот mypyc может преобразовывать эту информацию в полноценный бинарный код. Думаю тут многие решили, что разобрались в вопросе того, как скомпилировать динамически типизированный python-код. Python c версии 3.4 поддерживает аннотацию типов, а mypy как раз и используется для проверки корректности аннотаций. Получается, python как бы уже и не динамически типизированный язык, что позволяет применить AOT компиляцию. Но загвоздка в том, что mypyc может компилировать и неаннотированный код ! Функция bubble_sort Для примера рассмотрим функцию сортировки “пузырьком”. Файл lib.py: def bubble_sort(data): n = len(data) for i in range(n - 1): for j in range(n - i - 1): if data[j] > data[j + 1]: buff = data[j] data[j] = data[j + 1] data[j + 1] = buff return data У типов нет аннотаций, но это не мешает mypyc ее скомпилировать. Чтобы запустить компиляцию, нужно установить mypyc . Он не распространяется отдельным пакетом, но если у вас установлен mypy , то и mypyc уже присутствует в системе! Запускаем mypyc , следующей командой: > mypyc lib.py После запуска в проекте будут созданы следующие директории: .mypy_cache — mypy кэш, mypyc неявно запускает mypy для разбора программы и получения AST; build — артефакты сборки; lib.cpython-38-x86_64-linux-gnu.so — собственно сборка под целевую платформу. Данный файл представляет из себя готовый CPython Extension. CPython Extension — встроенный в CPython механизм взаимодействия с кодом, написанным на С/C++. По сути это динамическая библиотека, которую CPython умеет загружать при импорте нашего модуля lib . Через данный механизм осуществляется взаимодействие с модулями, написанными на python. Компиляция состоит из двух фаз: Компиляция python кода в код С; Компиляция С в бинарный .so файл, для этого mypyc сам запускает gcc ( gcc и python-dev также должен быть установлены). Файл lib.cpython-38-x86_64-linux-gnu.so имеет преимущество перед lib.py при импорте на соответствующей платформе, и исполняться теперь будет именно он. Ну и давайте сравним производительность модуля до и после компиляции. Для этого создадим файл main.py с кодом запуска сортировки: import lib data = lib.bubble_sort(list(range(5000, 0, -1))) assert data == list(range(1, 5001)) Получим примерно следующие результаты: До После real 5.68 user 5.60 sys 0.01 real 2.78 user 2.73 sys 0.01 Ожидаемо скомпилированный код оказался быстрее (~ в 2 раза) , что неплохо, так как для такого результата нам потребовалось запустить лишь одну команду. Хотя от скомпилированного кода привычно ожидаешь большего. Чтобы ответить на вопрос “как компилируется динамически типизированный код” , придется заглянуть в представление этой функции на С. Но разобрать ее будет достаточно сложно, поэтому давайте попробуем разобраться с примером попроще. Функция sum(a, b) Скомпилируем функцию суммы от двух переменных: def sum(a, b): return a + b Перед запуском компиляции я ожидал увидеть примерно следующий код на С: int sum(int a, int b) { return a + b; } Однако результат оказался cущественно иным ( код немного упрощен ): PyObject CPyDef_sum(PyObject cpy_r_a, PyObject cpy_r_b){ return PyNumber_Add(cpy_r_a, cpy_r_b); } Рассмотрим, что тут происходит. Во-первых, так как мы не знаем типы входных переменных, функция в качестве аргументов принимает указатели на объекты класса PyObject , по сути это внутренние CPython структуры. Далее компилятор должен сложить эти объекты , но как, если настоящие типы аргументов неизвестны во время компиляции: это могут быть целые числа, числа с плавающей точкой, списки и вообще не факт, что аргументы можно складывать, тогда нужно вернуть ошибку. И что же делает в этом случае mypyc? Как оказалось, все очень просто: он просит CPython самостоятельно сложить эти аргументы. Функция PyNumber_Add — это внутренняя функция СPython , которая доступна из расширения, ведь СPython отлично умеет складывать свои объекты . Взаимодействие CPython c Extension можно изобразить следующим диалогом: — А посчитай-ка мне функцию sum для A, B; — Хорошо, но скажи сначала, сколько будет A + B; — Будет С; — Хорошо, тогда держи ответ - С. Вот такой нехитрый прием используется при компиляции динамического кода: компилируем все, что можем, а все остальное отдаем интерпретатору . Конечно, данный пример выглядит гротескно, но даже несмотря на такую неэффективность , mypyc позволяет добиться существенного прироста производительности , как в примере с сортировкой. Функция sum(a: int, b: int) Итак, у нас получилось скомпилировать python, и мы разобрались с тем, как это работает, а также увидели определенную неэффективность полученного результата. Теперь попробуем разобраться в том, как можно это улучшить. Очевидно, что основная проблема заключается во множественном взаимодействии CPython - Extension . Но как это побороть? Для повышения эффективности, нужно, чтобы расширение, получив управление, могло как можно дольше оставлять его у себя без обращения к CPython . Если бы у mypyc была информация о типах переменных, то он бы мог самостоятельно произвести сложение без возврата управления. Но вывести типы самостоятельно mypyc не может, он даже не контролирует код , из которого осуществляется вызов функции sum. Соответственно, ему нужно помочь, проставив аннотации вручную. Давайте посмотрим, как поменяется результирующая С-функция, если добавить аннотацию типов: def sum(a: int, b: int): return a + b Скомпилированный результат на C ( немного очищенный ): PyObject CPyDef_sum(CPyTagged cpy_r_a, CPyTagged cpy_r_b) { CPyTagged cpy_r_r0; PyObject *cpy_r_r1; cpy_r_r0 = CPyTagged_Add(cpy_r_a, cpy_r_b); cpy_r_r1 = CPyTagged_StealAsObject(cpy_r_r0); return cpy_r_r1; } Главное, что можно заметить: функция существенно поменялась , а значит, компилятор реагирует на появление аннотации. Давайте разбираться, что изменилось. Теперь CPyDef_sum получает на вход не указатели на PyObject , а структуры CPyTagged . Это все еще не int , но уже и не часть CPython , а часть библиотек mypyc, которую он добавляет в скомпилированный код расширения. Для ее инициализации в рантайме сначала проверяется тип, так что теперь функция sum работает только с int и обойти аннотацию не получится. Далее происходит вызов CPyTaggetAdd вместо PyNumber_Add . Это уже внутренняя функция mypyc . Если заглянуть в код CPyTaggetAdd , то можно понять, что там происходит проверка диапазонов значений a и b , и если они укладываются в int, то происходит простое суммирование, а также проверка на переполнение: if (likely(CPyTagged_CheckShort(left) && CPyTagged_CheckShort(right))) { CPyTagged sum = left + right; if (likely(!CPyTagged_IsAddOverflow(sum, left, right))) { return sum; } } Таким образом, наш диалог CPython - Extension превращается из абсурдного в нормальный : — А посчитай-ка мне функцию sum для A, B; — Хорошо, тогда держи ответ С. Функция bubble_sort(data: List[int]) Настало время вернуться к функции сортировки, чтобы провести замеры скорости. Изменим начальную функцию, добавив аннотацию для data : def bubble_sort(data: List[int]): … Скомпилируем результат и замерим время сортировки: Без компиляции С компиляцией, без аннотации типов С компиляцией и аннотацией типов real 5.68 user 5.60 sys 0.01 real 2.78 user 2.73 sys 0.01 real 1.32 user 1.30 sys 0.01 Итак, мы получили еще двукратное ускорение относительно скомпилированного, не аннотированного кода, и четырехкратное относительно оригинального! Пара слов о mypyc Если вы уже бросились компилировать ваши пакеты, то стоит задержаться на пару минут, чтобы дочитать этот абзац до конца. Главным недостатком mypyc пока остается стабильность: он все еще в альфе, точнее, сейчас это вообще не самостоятельный проект, а часть mypy . Собственно он и создавался специально под задачу увеличения производительности mypy и для этой цели он уже более года как стабилен . Но как общее решение по компиляции любого python-кода, он еще сыроват, о чем авторы предупреждают на странице проекта. Также существуют принципиальные ограничения, накладываемые на компилируемый код или на код, взаимодействующий со скомпилированным: Принудительная проверка типов в рантайме; В компилируемом коде запрещается monkey patching; Mypy хранит классы в С структурах для увеличения скорости доступа к атрибутам, но это приводит к проблемам совместимости. Эти ограничения носят принципиальный характер и являются следствием архитектуры компилятора. Но из них проистекают другие ограничения, например, невозможность использования модуля стандартной библиотеки abc. Помимо этого, есть большая порция недоработок и багов. Чаще всего они приводят к тому, что код gcc отказывается компилировать полученный С код, при этом, чтобы понять настоящую причину ошибки, приходится прокручивать в голове непростую процедуру реверс инжиниринга. Пока резутльт таков, что при компиляции одного из моих проектов, без проблем компилировалось примерно 20 % модулей , зато каких либо проблем при работе с уже скомпилированными модулями я не заметил. Тем не менее, большая часть улучшений в их Roadmap закрыта, и проект готовится к публичному релизу . Nuitka Уже в процессе работы над статьей, я узнал про еще один проект с аналогичными целями. Механизм работы Nuitka сильно напоминает описанный выше. Разница заключается в том, что Nuitka компилирует Python модуль в С++ код, который также собирается в СPython Extension . Дополнительно существует возможность собрать весь проект в один исполняемый файл , тогда уже сам CPython подключается к проекту как динамическая библиотека libpython . Nuitka пока не учитывает аннотацию типов, поэтому результирующий код и скорость работы не зависят от наличия аннотаций. Полученная же скорость в моем тесте соответствует результату mypy на не аннотированном коде. Завершение Недавно один мой коллега высказал мнение, что mypy сильно усложняет ему жизнь: из текста ошибок невозможно понять, “чего он от меня хочет”, а анализатор из PyCharm немного лучше. Теперь я понимаю, что он недооценивает mypy . Так как он намного большее, чем просто синтаксический анализатор . По сути он реализует подмножество языка, потенциал которого в плане оптимизации сильно превосходит обычный python. Поэтому встранивание mypy в пайплайн проекта — инвестиция не только в поиск ошибок, но и будущий перфоманс приложения. Мне очень понравилось, что взаимодействие с CPython осуществляется через механизм расширений интерпретатора, ведь это позволяет сделать выборочную компиляцию наиболее нагруженных модулей, оставив большую часть кода без изменений. Такой путь представляется мне наиболее безопасным (учитывая, что mypyc до сих пор в альфе). Конечно, использовать ли mypyc на продакшене, решать вам, но если вы уже уперлись в потолок по производительности и подумываете о том, чтобы переписать какие-то части на низкоуровневые языки, то стоит попробовать запустить mypyc , тем более, что сделать это просто, если вы уже используете mypy. P.S. Надеюсь, вам было интересно узнать о новом способе повышения производительности python, а также глубже разобраться в механизме компиляции динамически типизированного кода. Если тема окажется интересной, то в следующей статье планирую больше рассказать про mypyc , его ограничения и частые ошибки, а также, как их можно обойти. UPD В комментариях подсказали, об еще одном python компиляторе - Cython , оказывается теперь он умеет компилировать python код напрямую (минуя ручную фазу преобразования кода в cython -код). Судя по замерам cython пока не учитыват аннотацию типов, но время выполнения ( real 1.82 ) оказалось посередине между результатом mypyc на аннотированном и не аннотированном кода. Но возможно ее добавят в будущем. Автор: Eвгений Зуев Источник
Markdown	- [Главная](https://www.pvsm.ru/) - [Архив новостей](https://www.pvsm.ru/site-archive) - [Android](https://www.pvsm.ru/android-os-news) - [Google](https://www.pvsm.ru/google-company) - [Apple](https://www.pvsm.ru/apple-company) - [Microsoft](https://www.pvsm.ru/microsoft-company) - [Информационная безопасность](https://www.pvsm.ru/information-security-news) - [Веб – разработка](https://www.pvsm.ru/web-development) * [![PVSM.RU - Новости информационных технологий](https://www.pvsm.ru/img/pvsmlogo-cbp.png)](https://www.pvsm.ru/ "PVSM.RU - Новости информационных технологий") - - [Новости](https://www.pvsm.ru/cat/news "Новости (127532)") - [Программирование](https://www.pvsm.ru/cat/programmirovanie "Программирование (10922)") - [информационная безопасность](https://www.pvsm.ru/cat/informatsionnaya-bezopasnost "информационная безопасность (9485)") - [Это интересно](https://www.pvsm.ru/cat/e-to-interesno "Это интересно (8856)") - [Научно-популярное](https://www.pvsm.ru/cat/nauchno-populyarnoe "Научно-популярное (8267)") - [Гаджеты и устройства для гиков](https://www.pvsm.ru/cat/gadzhety-i-ustrojstva-dlya-gikov "Гаджеты и устройства для гиков (8035)") - [Текучка](https://www.pvsm.ru/cat/tekuchka "Текучка (7204)") - [javascript](https://www.pvsm.ru/cat/javascript "javascript (5926)") - [diy или сделай сам](https://www.pvsm.ru/cat/diy-ili-sdelaj-sam "diy или сделай сам (4778)") - [гаджеты](https://www.pvsm.ru/cat/gadzhety "гаджеты (4430)") - [android](https://www.pvsm.ru/cat/android "android (4350)") - [системное администрирование](https://www.pvsm.ru/cat/sistemnoe-administrirovanie "системное администрирование (4189)") - [управление проектами](https://www.pvsm.ru/cat/upravlenie-proektami "управление проектами (4180)") - [разработка](https://www.pvsm.ru/cat/razrabotka "разработка (3991)") - [python](https://www.pvsm.ru/cat/python "python (3891)") - [будущее здесь](https://www.pvsm.ru/cat/budushhee-zdes "будущее здесь (3874)") - [open source](https://www.pvsm.ru/cat/open-source "open source (3794)") - [искусственный интеллект](https://www.pvsm.ru/cat/iskusstvenny-j-intellekt "искусственный интеллект (3650)") - [Веб-разработка](https://www.pvsm.ru/cat/veb-razrabotka "Веб-разработка (3648)") - [космонавтика](https://www.pvsm.ru/cat/kosmonavtika "космонавтика (3580)") - [Разработка веб-сайтов](https://www.pvsm.ru/cat/razrabotka-veb-sajtov "Разработка веб-сайтов (3471)") - [Google](https://www.pvsm.ru/cat/google "Google (3446)") - [Железо](https://www.pvsm.ru/cat/zhelezo "Железо (3385)") - [linux](https://www.pvsm.ru/cat/linux "linux (3263)") - [Алгоритмы](https://www.pvsm.ru/cat/algoritmy "Алгоритмы (3236)") - ## Информация - [Лучший хостинг сайтов - REG.RU](https://reg.ru/?rlink=reflink-717) - Промокод 5% скидки на услуги - [39CC-C72F-6342-560A](https://reg.ru/?rlink=reflink-717) - ## Комментарии - Ostrovityanin к записи [Уникальный игровой телефон с двумя процессорами за 2 000 рублей — разбираем плод инженерного гения из Китая](https://www.pvsm.ru/gadzhety/406760#comment-106257) - Денис к записи [Продажи машин премиум-класса в России выросли на 47%: BMW едва не стал лидером сегмента](https://www.pvsm.ru/news/440131#comment-106254) - Multychell к записи [Пишем игру на LWJGL](https://www.pvsm.ru/java/297242#comment-106253) - Егор к записи [В Китае назвали лучшие гибриды и электромобили 2025 года. В лидерах — Aito M9 и Zeekr 001, последнее место — у Voyah Free](https://www.pvsm.ru/news/438673#comment-106249) - dattly к записи [Саммари книги AI Value Creators, глава 1](https://www.pvsm.ru/ai/419770#comment-106241) - круто к записи [Уникальный игровой телефон с двумя процессорами за 2 000 рублей — разбираем плод инженерного гения из Китая](https://www.pvsm.ru/gadzhety/406760#comment-106240) - Антон к записи [Tank, который лидирует среди премиальных брендов в Санкт-Петербурге, впервые закрыл дилерский центр](https://www.pvsm.ru/news/436853#comment-106234) - Артем к записи [Абсолютный рекорд за всю историю: октябрь стал лучшим месяцем для гибридных машин в России](https://www.pvsm.ru/news/436588#comment-106233) - Анатолий к записи [Счёт идет на десятки тысяч. В России рекордные продажи гибридов и электромобилей, самые популярные — Li Auto и Zeekr](https://www.pvsm.ru/news/436760#comment-106232) - Олег к записи [1300 км без заправки, более 200 км без бензина, Snapdragon 8255, три экрана и аудиосистема Boyah Sound. Предзаказы на Exlantix ET5 в Китае откроют 13 ноября](https://www.pvsm.ru/news/435756#comment-106229) ## Рекомендуем - [REG.RU надежный хостинг](http://www.reg.ru/?rlink=reflink-717 "REG.RU - надежный хостинг") Промокод на скидку 5% REG.RU 39CC-C72F-6342-560A Наверх # Как скомпилировать Python [2021-02-12](https://www.pvsm.ru/date/2021/02/12 "Записи за 2021-02-12") в 12:41**, admin, рубрики: [compiler](https://www.pvsm.ru/cat/compiler), [mypy](https://www.pvsm.ru/cat/mypy), [nuitka](https://www.pvsm.ru/cat/nuitka), [python](https://www.pvsm.ru/cat/python), [Блог компании Exness](https://www.pvsm.ru/cat/blog-kompanii-exness), [высокая производительность](https://www.pvsm.ru/cat/vy-sokaya-proizvoditel-nost), [Компиляторы](https://www.pvsm.ru/cat/kompilyatory-2), [Программирование](https://www.pvsm.ru/cat/programmirovanie) ![Как скомпилировать Python - 1](https://www.pvsm.ru/images/2021/02/13/kak-skompilirovat-Python.jpg) Привет\! Я хочу рассказать об удивительном событии, о котором я узнал пару месяцев назад. Оказывается, одна популярная python-утилита уже более года распространяется в виде бинарных файлов, которые компилируются прямо из python. И речь не про банальную упаковку каким-нибудь PyInstaller\-ом, а про честную Ahead-of-time компиляцию целого python-пакета. Если вы удивлены так же как и я, добро пожаловать под кат. Объясню, почему я считаю это событие по-настоящему удивительным. Существует два вида компиляции: Ahead-of-time (AOT), когда весь код компилируется до запуска программы и Just in time compiler (JIT), когда непосредственно компиляция программы под требуемую архитектуру процессора осуществляется во время ее выполнения. Во втором случае первоначальный запуск программы осуществляется виртуальной машиной или интерпретатором. Если сгруппировать популярные языки программирования по типу компиляции, то получим следующий список: - Ahead-of-time compiler: C, C++, Rust, Kotlin, Nim, D, Go, Dart; - Just in time compiler: Lua, С\#, Groovy, Dart. В python из коробки нет JIT компилятора, но отдельные библиотеки, предоставляющие такую возможность, существуют давно Смотря на эту таблицу, можно заметить определенную закономерность: статически типизированные языки находятся в обеих строках. Некоторые даже могут распространяться с двумя версиями компиляторов: Kotlin может исполняться как с JIT JavaVM, так и с AOT Kotlin/Native. То же самое можно сказать про Dart (версии 2). A вот динамически типизированные языки компилируются только JIT-ом, что впрочем вполне логично. > При запуске виртуальная машина сначала накапливает информацию о типах переменных, затем после накопления статистики, запускается компиляция наиболее нагруженных частей программы. Виртуальная машина отслеживает типы аргументов и переключает выполнение программы между уже скомпилированными и не скомпилированными участками кода в зависимости от текущих значений переменных. При использовании JIT компиляции типы не очень то и нужны, ведь информация о типах собирается во время работы программы. Поэтому все популярные динамически типизированные языки программирования распространяются именно с JIT компилятором. Но как быть с AOT компиляцией кода, в котором нет типов? Меня очень заинтересовал этот вопрос, и я полез разбираться. Итак, вернемся к утилите, о которой говорилось в начале статьи. Речь про [mypy](http://mypy-lang.org/) - наиболее популярный синтаксический анализатор python-кода. ![Как скомпилировать Python - 2](https://www.pvsm.ru/images/2021/02/13/kak-skompilirovat-Python-2.) С апреля 2019 года эта утилита распространяется в скомпилированном виде, о чем рассказывается в [блоге](https://mypy-lang.blogspot.com/2019/04/mypy-0700-released-up-to-4x-faster.html) проекта. А для компиляции используется еще одна утилита от тех же авторов — mypyc. Погуглив немного, я нашел достаточно большую статью “[Путь к проверке типов 4 миллионов строк Python-кода](https://dropbox.tech/application/our-journey-to-type-checking-4-million-lines-of-python)” про становление и развитие mypy (на Хабре доступен перевод: [часть 1](https://habr.com/ru/company/ruvds/blog/468233/), [часть 2](https://habr.com/ru/company/ruvds/blog/468235/), [часть 3](https://habr.com/ru/company/ruvds/blog/468237/)). Там немного рассказывается о целях создания mypyc: столкнувшись с недостаточной производительностью mypy при разборе крупных python-проектов в Dropbox, разработчики добавили кеширование результатов проверки кода, а затем возможность запуска утилиты как сервиса. Но исчерпав очевидные возможности оптимизации, столкнулись с выбором: переписать все на go или на cython. В результате проект пошел по третьему пути — написание своего AOT python-компилятора. Дело в том, что для правильной работы mypy и так необходимо построить то же синтаксическое дерево, что и интерпретатору во время исполнения кода. То есть mypy уже “понимает” python, но использует эту информацию только для статистического анализа, а вот mypyc может преобразовывать эту информацию в полноценный бинарный код. Думаю тут многие решили, что разобрались в вопросе того, как скомпилировать динамически типизированный python-код. Python c версии 3.4 поддерживает аннотацию типов, а mypy как раз и используется для проверки корректности аннотаций. Получается, python как бы уже и не динамически типизированный язык, что позволяет применить AOT компиляцию. Но загвоздка в том, что mypyc может компилировать и неаннотированный код\! ## Функция bubble\_sort Для примера рассмотрим функцию сортировки “пузырьком”. Файл lib.py: ``` def bubble_sort(data): n = len(data) for i in range(n - 1): for j in range(n - i - 1): if data[j] > data[j + 1]: buff = data[j] data[j] = data[j + 1] data[j + 1] = buff return data ``` У типов нет аннотаций, но это не мешает mypyc ее скомпилировать. Чтобы запустить компиляцию, нужно установить mypyc. Он не распространяется отдельным пакетом, но если у вас установлен mypy, то и mypyc уже присутствует в системе! Запускаем mypyc, следующей командой: ``` > mypyc lib.py ``` После запуска в проекте будут созданы следующие директории: - `.mypy_cache` — mypy кэш, mypyc неявно запускает mypy для разбора программы и получения AST; - `build` — артефакты сборки; - `lib.cpython-38-x86_64-linux-gnu.so` — собственно сборка под целевую платформу. Данный файл представляет из себя готовый CPython Extension. > CPython Extension — встроенный в CPython механизм взаимодействия с кодом, написанным на С/C++. По сути это динамическая библиотека, которую CPython умеет загружать при импорте нашего модуля lib. Через данный механизм осуществляется взаимодействие с модулями, написанными на python. Компиляция состоит из двух фаз: 1. Компиляция python кода в код С; 2. Компиляция С в бинарный .so файл, для этого mypyc сам запускает gcc (gcc и python-dev также должен быть установлены). Файл `lib.cpython-38-x86_64-linux-gnu.so` имеет преимущество перед lib.py при импорте на соответствующей платформе, и исполняться теперь будет именно он. Ну и давайте сравним производительность модуля до и после компиляции. Для этого создадим файл main.py с кодом запуска сортировки: ``` import lib data = lib.bubble_sort(list(range(5000, 0, -1))) assert data == list(range(1, 5001)) ``` Получим примерно следующие результаты: \| \| \| \|---\|---\| \| До \| После \| \| real 5.68 user 5.60 sys 0.01 \| real 2.78 user 2.73 sys 0.01 \| Ожидаемо скомпилированный код оказался быстрее (~ в 2 раза), что неплохо, так как для такого результата нам потребовалось запустить лишь одну команду. Хотя от скомпилированного кода привычно ожидаешь большего. ![Как скомпилировать Python - 3](https://www.pvsm.ru/images/2021/02/13/kak-skompilirovat-Python-3.) Чтобы ответить на вопрос “как компилируется динамически типизированный код”, придется заглянуть в представление этой функции на С. Но разобрать ее будет достаточно сложно, поэтому давайте попробуем разобраться с примером попроще. ## Функция sum(a, b) Скомпилируем функцию суммы от двух переменных: ``` def sum(a, b): return a + b ``` Перед запуском компиляции я ожидал увидеть примерно следующий код на С: ``` int sum(int a, int b) { return a + b; } ``` Однако результат оказался cущественно иным (код немного упрощен): ``` PyObject CPyDef_sum(PyObject cpy_r_a, PyObject cpy_r_b){ return PyNumber_Add(cpy_r_a, cpy_r_b); } ``` Рассмотрим, что тут происходит. Во-первых, так как мы не знаем типы входных переменных, функция в качестве аргументов принимает указатели на объекты класса PyObject, по сути это внутренние CPython* структуры. Далее компилятор должен сложить эти объекты, но как, если настоящие типы аргументов неизвестны во время компиляции: это могут быть целые числа, числа с плавающей точкой, списки и вообще не факт, что аргументы можно складывать, тогда нужно вернуть ошибку. И что же делает в этом случае mypyc? Как оказалось, все очень просто: он просит CPython самостоятельно сложить эти аргументы. Функция PyNumber\_Add — это внутренняя функция СPython, которая доступна из расширения, ведь **СPython отлично умеет складывать свои объекты. Взаимодействие CPython c Extension можно изобразить следующим диалогом: > — А посчитай-ка мне функцию sum для A, B; > > — Хорошо, но скажи сначала, сколько будет A + B; > > — Будет С; > > — Хорошо, тогда держи ответ - С. Вот такой нехитрый прием используется при компиляции динамического кода: компилируем все, что можем, а все остальное отдаем интерпретатору. Конечно, данный пример выглядит гротескно, но даже несмотря на такую неэффективность, mypyc позволяет добиться существенного прироста производительности, как в примере с сортировкой. ## Функция sum(a: int, b: int) Итак, у нас получилось скомпилировать python, и мы разобрались с тем, как это работает, а также увидели определенную неэффективность полученного результата. Теперь попробуем разобраться в том, как можно это улучшить. Очевидно, что основная проблема заключается во множественном взаимодействии** CPython - Extension. Но как это побороть? Для повышения эффективности, нужно, чтобы расширение, получив управление, могло как можно дольше оставлять его у себя без обращения к CPython. Если бы у mypyc была информация о типах переменных, то он бы мог самостоятельно произвести сложение без возврата управления. Но вывести типы самостоятельно mypyc не может, он даже не контролирует код, из которого осуществляется вызов функции sum. Соответственно, ему нужно помочь, проставив аннотации вручную. Давайте посмотрим, как поменяется результирующая С-функция, если добавить аннотацию типов: ``` def sum(a: int, b: int): return a + b ``` Скомпилированный результат на C (немного очищенный): ``` PyObject CPyDef_sum(CPyTagged cpy_r_a, CPyTagged cpy_r_b) { CPyTagged cpy_r_r0; PyObject cpy_r_r1; cpy_r_r0 = CPyTagged_Add(cpy_r_a, cpy_r_b); cpy_r_r1 = CPyTagged_StealAsObject(cpy_r_r0); return cpy_r_r1; } ``` Главное, что можно заметить: функция существенно поменялась, а значит, компилятор реагирует на появление аннотации. Давайте разбираться, что изменилось. Теперь CPyDef\_sum получает на вход не указатели на PyObject, а структуры CPyTagged. Это все еще не int, но уже и не часть CPython, а часть библиотек mypyc, которую он добавляет в скомпилированный код расширения. Для ее инициализации в рантайме сначала проверяется тип, так что теперь функция sum работает только с int и обойти аннотацию не получится. Далее происходит вызов CPyTaggetAdd вместо PyNumber\_Add. Это уже внутренняя функция mypyc. Если заглянуть в [код](https://github.com/python/mypy/blob/5e20a26b922e2f5b71425ea7f57d2b4cba5a9324/mypyc/lib-rt/int_ops.c#L136) CPyTaggetAdd, то можно понять, что там происходит проверка диапазонов значений a и b, и если они укладываются в int, то происходит простое суммирование, а также проверка на переполнение: ``` if (likely(CPyTagged_CheckShort(left) && CPyTagged_CheckShort(right))) { CPyTagged sum = left + right; if (likely(!CPyTagged_IsAddOverflow(sum, left, right))) { return sum; } } ``` Таким образом, наш диалог CPython - Extension превращается из абсурдного в нормальный: > — А посчитай-ка мне функцию sum для A, B; > > — Хорошо, тогда держи ответ С. ## Функция bubble\_sort(data: List\[int\]) Настало время вернуться к функции сортировки, чтобы провести замеры скорости. Изменим начальную функцию, добавив аннотацию для data: ``` def bubble_sort(data: List[int]): … ``` Скомпилируем результат и замерим время сортировки: \| \| \| \| \|---\|---\|---\| \| Без компиляции \| С компиляцией, без аннотации типов \| С компиляцией и аннотацией типов \| \| real 5.68 user 5.60 sys 0.01 \| real 2.78 user 2.73 sys 0.01 \| real 1.32 user 1.30 sys 0.01 \| Итак, мы получили еще двукратное ускорение относительно скомпилированного, не аннотированного кода, и четырехкратное относительно оригинального\! ![Как скомпилировать Python - 4](https://www.pvsm.ru/images/2021/02/13/kak-skompilirovat-Python-4.) ## Пара слов о mypyc Если вы уже бросились компилировать ваши пакеты, то стоит задержаться на пару минут, чтобы дочитать этот абзац до конца. Главным недостатком mypyc пока остается стабильность: он все еще в альфе, точнее, сейчас это вообще не самостоятельный проект, а часть mypy. Собственно он и создавался специально под задачу увеличения производительности mypy и для этой цели он уже более года как стабилен. Но как общее решение по компиляции любого python-кода, он еще сыроват, о чем авторы предупреждают на странице проекта. Также существуют принципиальные ограничения, накладываемые на компилируемый код или на код, взаимодействующий со скомпилированным: - Принудительная проверка типов в рантайме; - В компилируемом коде запрещается monkey patching; - Mypy хранит классы в С структурах для увеличения скорости доступа к атрибутам, но это приводит к проблемам совместимости. Эти ограничения носят принципиальный характер и являются следствием архитектуры компилятора. Но из них проистекают другие ограничения, например, невозможность использования модуля стандартной библиотеки abc. Помимо этого, есть большая порция недоработок и багов. Чаще всего они приводят к тому, что код gcc отказывается компилировать полученный С код, при этом, чтобы понять настоящую причину ошибки, приходится прокручивать в голове непростую процедуру реверс инжиниринга. Пока резутльт таков, что при компиляции одного из моих проектов, без проблем компилировалось примерно 20 % модулей, зато каких либо проблем при работе с уже скомпилированными модулями я не заметил. Тем не менее, большая часть улучшений в их Roadmap закрыта, и проект готовится к публичному [релизу](https://github.com/mypyc/mypyc/issues/780). ## Nuitka Уже в процессе работы над статьей, я узнал про еще один проект с аналогичными целями. Механизм работы [Nuitka](https://nuitka.net/) сильно напоминает описанный выше. Разница заключается в том, что Nuitka компилирует Python модуль в С++ код, который также собирается в СPython Extension. Дополнительно существует возможность собрать весь проект в один исполняемый файл, тогда уже сам CPython подключается к проекту как динамическая библиотека libpython. Nuitka пока не учитывает аннотацию типов, поэтому результирующий код и скорость работы не зависят от наличия аннотаций. Полученная же скорость в моем тесте соответствует результату mypy на не аннотированном коде. ## Завершение Недавно один мой коллега высказал мнение, что mypy сильно усложняет ему жизнь: из текста ошибок невозможно понять, “чего он от меня хочет”, а анализатор из PyCharm немного лучше. Теперь я понимаю, что он недооценивает mypy. Так как он намного большее, чем просто синтаксический анализатор. По сути он реализует подмножество языка, потенциал которого в плане оптимизации сильно превосходит обычный python. Поэтому встранивание mypy в пайплайн проекта — инвестиция не только в поиск ошибок, но и будущий перфоманс приложения. Мне очень понравилось, что взаимодействие с CPython осуществляется через механизм расширений интерпретатора, ведь это позволяет сделать выборочную компиляцию наиболее нагруженных модулей, оставив большую часть кода без изменений. Такой путь представляется мне наиболее безопасным (учитывая, что mypyc до сих пор в альфе). Конечно, использовать ли mypyc на продакшене, решать вам, но если вы уже уперлись в потолок по производительности и подумываете о том, чтобы переписать какие-то части на низкоуровневые языки, то стоит попробовать запустить mypyc, тем более, что сделать это просто, если вы уже используете mypy. ## P.S. Надеюсь, вам было интересно узнать о новом способе повышения производительности python, а также глубже разобраться в механизме компиляции динамически типизированного кода. Если тема окажется интересной, то в следующей статье планирую больше рассказать про mypyc, его ограничения и частые ошибки, а также, как их можно обойти. ## UPD В комментариях подсказали, об еще одном python компиляторе - Cython, оказывается теперь он умеет компилировать python код напрямую (минуя ручную фазу преобразования кода в cython\-код). Судя по замерам cython пока [не учитыват](https://github.com/cython/cython/issues/2587) аннотацию типов, но время выполнения (real 1.82) оказалось посередине между результатом mypyc на аннотированном и не аннотированном кода. Но возможно ее добавят в будущем. Автор: Eвгений Зуев [Источник](https://habr.com/ru/post/542106/?utm_source=habrahabr&utm_medium=rss&utm_campaign=542106 "Как скомпилировать Python") [![Версия для печати](https://www.pvsm.ru/wp-content/plugins/wp-print/images/print.gif)](https://www.pvsm.ru/python/361564/print/ "Версия для печати") [Версия для печати](https://www.pvsm.ru/python/361564/print/ "Версия для печати") ### Рекомендованный контент [![Моржовый оператор := в Python](https://www.pvsm.ru/wp-content/plugins/contextual-related-posts/timthumb/timthumb.php?src=http%3A%2F%2Fwww.pvsm.ru%2Fimg%2Fpvsm-noimage.gif&w=100&h=100&zc=1&q=75)](https://www.pvsm.ru/python/393014)[Моржовый оператор := в Python](https://www.pvsm.ru/python/393014) [![Симметричная индексация в Python](https://www.pvsm.ru/wp-content/plugins/contextual-related-posts/timthumb/timthumb.php?src=http%3A%2F%2Fwww.pvsm.ru%2Fimages%2F2024%2F06%2F19%2Fsimmetrichnaya-indeksaciya-v-Python.png&w=100&h=100&zc=1&q=75)](https://www.pvsm.ru/python/392164)[Симметричная индексация в Python](https://www.pvsm.ru/python/392164) [![Руководство по веб-скрейпингу на Python](https://www.pvsm.ru/wp-content/plugins/contextual-related-posts/timthumb/timthumb.php?src=http%3A%2F%2Fwww.pvsm.ru%2Fimages%2F2024%2F03%2F03%2Frukovodstvo-po-veb-skreipingu-na-Python.png&w=100&h=100&zc=1&q=75)](https://www.pvsm.ru/beautiful-soup/390285)[Руководство по веб-скрейпингу на Python](https://www.pvsm.ru/beautiful-soup/390285) [![Эволюция подсчета в Python](https://www.pvsm.ru/wp-content/plugins/contextual-related-posts/timthumb/timthumb.php?src=http%3A%2F%2Fwww.pvsm.ru%2Fimages%2F2024%2F05%2F30%2Fevolyuciya-podscheta-v-Python.png&w=100&h=100&zc=1&q=75)](https://www.pvsm.ru/python/391773)[Эволюция подсчета в Python](https://www.pvsm.ru/python/391773) [![std fs в Rust медленнее, чем Python? Нет, это аппаратный баг](https://www.pvsm.ru/wp-content/plugins/contextual-related-posts/timthumb/timthumb.php?src=http%3A%2F%2Fwww.pvsm.ru%2Fimages%2F2023%2F12%2F03%2Fstd-fs-v-Rust-medlennee-chem-Python-net-eto-apparatnyi-bag.png&w=100&h=100&zc=1&q=75)](https://www.pvsm.ru/amd/388512)[std fs в Rust медленнее, чем Python? Нет, это аппаратный баг](https://www.pvsm.ru/amd/388512) [![100 вопросов для подготовки к собесу Python](https://www.pvsm.ru/wp-content/plugins/contextual-related-posts/timthumb/timthumb.php?src=http%3A%2F%2Fwww.pvsm.ru%2Fimages%2F2023%2F12%2F24%2F100-voprosov-dlya-podgotovki-k-sobesu-Python-2.png&w=100&h=100&zc=1&q=75)](https://www.pvsm.ru/python/388904)[100 вопросов для подготовки к собесу Python](https://www.pvsm.ru/python/388904) [Нажмите, чтобы отменить ответ.](https://www.pvsm.ru/python/361564#respond) *** [![Рейтинг@Mail.ru](https://da.cf.be.a1.top.mail.ru/counter?js=na;id=2030102;t=59)](http://top.mail.ru/jump?from=2030102) [![Rambler's Top100](https://counter.rambler.ru/top100.cnt?2887880)](http://top100.rambler.ru/navi/2887880/) [Главная](https://www.pvsm.ru/) \\| [Архив новостей](https://www.pvsm.ru/site-archive "Архив новостей") \\| [Android](https://www.pvsm.ru/android-os-news "Android") \\| [Google](https://www.pvsm.ru/google-company "Google") \\| [Apple](https://www.pvsm.ru/apple-company "Apple") \\| [Microsoft](https://www.pvsm.ru/microsoft-company "Microsoft") \\| [Информационная безопасность](https://www.pvsm.ru/information-security-news "Информационная безопасность") \\| [Веб – разработка](https://www.pvsm.ru/web-development "Веб – разработка") [Публикации RSS](https://www.pvsm.ru/feed "RSS") \\| [Комментарии RSS](https://www.pvsm.ru/comments/feed "Комментарии RSS") © 2010-2026 PVSM.RU Все права на материалы принадлежат их авторам. Основными материалами сайта являются архивные копии материалов по ИТ тематике Рунета, взятые из открытых и общедоступных источников . ![](https://mc.yandex.ru/watch/6293305) https://ajax.googleapis.com/ajax/libs/jquery/3.4.1/jquery.min.js
Readable Markdown	null
Shard	92 (laksa)
Root Hash	13201570603529966892
Unparsed URL	ru,pvsm!www,/python/361564 s443