🕷️ Crawler Inspector

URL Lookup

Direct Parameter Lookup

Raw Queries and Responses

1. Shard Calculation

Query:

Response:

Calculated Shard: 134 (from laksa096)

2. Crawled Status Check

Query:

curl -X POST \
  'http://laksa134.int.ahrefs:8124/' \
  -H 'Content-Type: text/plain' \
  -H 'X-ClickHouse-Database: crawler3' \
  -H 'Authorization: Basic YXBpOg==' \
  -d 'SELECT getAhrefsURLFromUnparsed(src_unparsed) AS found_url, ifNull(toUnixTimestamp(download_stamp), 0) AS crawl_time, ifNull(toUnixTimestamp(props_url_first_seen), 0) AS first_indexed_time, download_http_code AS http_code, src_unparsed AS src_unparsed, src_root_hash AS src_root_hash, history_drop_reason AS history_drop_reason, meta_title AS meta_title, meta_descriptions AS meta_descriptions, attrs_boilerpipe_text AS attrs_boilerpipe_text, attrs_markdown AS attrs_markdown, attrs_readable_markdown AS attrs_readable_markdown, meta_canonical AS meta_canonical FROM crawler3.page_info_local FINAL PREWHERE (src_root_hash, src_unparsed) IN ((getAhrefsRootHashFromUnparsed(getAhrefsUnparsedNoserviceFromURL(\'https://habr.com/ru/companies/numdes/articles/581374/\')), getAhrefsUnparsedNoserviceFromURL(\'https://habr.com/ru/companies/numdes/articles/581374/\'))) FORMAT JSONEachRow'

Response:

{"found_url":"https:\/\/habr.com\/ru\/companies\/numdes\/articles\/581374\/","crawl_time":1774264090,"first_indexed_time":1683614984,"http_code":200,"src_unparsed":"com,habr!\/ru\/companies\/numdes\/articles\/581374\/ s443","src_root_hash":"14843476518697139734","history_drop_reason":null,"meta_title":"Компиляция Python \/ Хабр","meta_descriptions":["Предположим, вы разработали приложение или библиотеку на Python и уже готовитесь передать его \/ её заказчику. И в этот момент возникают вопросы, о которых многие даже не задумываются. Во-первых,..."],"attrs_boilerpipe_text":"Предположим, вы разработали приложение или библиотеку на Python и уже готовитесь передать его \/ её  заказчику. И в этот момент возникают вопросы, о которых многие даже не задумываются.\nВо-первых, так может оказаться, что вы разработали супер крутой алгоритм, которого ни у кого нет, и показывать его хочется только избранным.\nВо-вторых, возникает вопрос окружения - хочется быть уверенным, что заказчик справится с установкой правильной версии Python и всех вспомогательных библиотек, но это не всегда простая задача. Было бы удобно упаковать приложение в автономный исполняемый файл.\nИ, наконец, хочется,  чтобы конечное приложение работало быстрее, чем в среде разработки.\nИ вот тут настало время скомпилировать Python-код. Меня зовут Руслан, я старший разработчик компании «Цифровое проектирование». Сегодня я расскажу, как выбрать тот самый компилятор из множества доступных.\nAOT\/JIT\nКомпиляция – это сборка программы, включающая: трансляцию всех модулей программы, написанных на языке программирования высокого уровня, в эквивалентные программные модули на низкоуровневом языке, близком  к машинному коду, или на машинном языке и сборку исполняемой программы. Существует два вида компиляции:\nAOT-компиляция (ahead-of-time)\n– компиляция перед исполнением программы. Т.е. программа компилируется один раз, в результате компиляции получается исполняемый файл.\nJIT-компиляция (just-in-time)\n– компиляция во время исполнения программы. Т.е. программа (а точнее, блоки программы) компилируется много раз - при каждом запуске. \nБенчмарк\nТак как одной из целей является ускорение, необходимо оценить, насколько быстро работает скомпилированный код. В качестве бенчмарка будем использовать\npyperfomance\n. К сожалению, pyperfomance не подошел для Cython и Pythran, потому что не позволяет визуализировать все возможности языка. Ускорения для Cython без модификации кода получить не удалось, а Pythran не умеет в пользовательские классы. Для них воспользуемся вычислением числа пи:\ndef approximate_pi(n):\n   step = 1.0 \/ n\n   result = 0\n   for i in range(n):\n   \t\tx = (i + 0.5) * step\n   \t\tresult += 4.0 \/ (1.0 + x * x)\n   return step * result\nЭксперименты будем проводить на процессоре Intel Core i7 10510U. На CPython 3.9.7 время вычисления числа пи до 100.000.000 знака заняло 5.82 секунды.\nAOT-компиляция Python\nPyInstaller\nPyInstaller упаковывает приложения Python в автономные исполняемые файлы в Windows, GNU \/ Linux, Mac OS X, FreeBSD, Solaris и AIX. \nУстанавливается через pip:\npip install pyinstaller\nПосле установки для создания исполняемого файла достаточно выполнить команду:\npyinstaller <имя_файла>.py\nВ результате будет создано:\n*.spec\n– файл спецификации (используется для ускорения будущих сборок приложения, связи файлов данных с приложением, для включения .dll и .so файлов, добавление в исполняемый файл параметров runtime-а Python);\nbuild\/\n– директория с метаданными для сборки исполняемого файла;\ndist\/\n– директория, содержащая все зависимости и исполняемый файл.\nСборку приложения можно настроить с помощью параметров командной строки:\n--name\n– изменение имени исполняемого файла (по умолчанию, такое же, как у сценария);\n--onefile\n– создание только исполняемого файла (по умолчанию, папка с зависимостями и исполняемый файл);\n--hidden-import\n– перечисление импортов, которые PyInstaller не смог обнаружить автоматически;\n--add-data\n– добавление в сборку файлов данных;\n--add-binary\n– добавление в сборку бинарных файлов;\n--exclude-module\n– исключение модулей из исполняемого файла;\n--key\n– ключ шифрования AES256. Да, приложение не будет содержать исходного кода, но его можно декомпилировать, например, так:\nPyinstaller Extractor (.exe → .pyc)\nи\nuncompile6 (.pyc → .py)\n.  Для скрытия исходного кода можно обфусцировать байт-код Python с помощью шифрования.\nУ PyInstaller есть ограничения. Он работает с Python 3.5–3.9. Поддерживает создание исполняемых файлов для разных операционных систем, но не умеет выполнять кросскомпиляцию, т. е. необходимо генерировать исполняемый файл для каждой ОС отдельно. Более того, исполняемый файл зависит от пользовательского glibc, т. е. необходимо генерировать исполняемый файл для самой старой версии каждой ОС.\nPyInstaller знает о многих Python-пакетах и умеет их учитывать при сборке исполняемого файла. Но не о всех. Например, фреймворк\nuvicorn\nпрактически весь нужно явно импортировать в файл, к которому будет применена команда pyinstaller. Полный список поддерживаемых из коробки пакетов можно посмотреть\nздесь\n.\nCython\nCython - это оптимизирующий статический компилятор как для языка программирования Python, так и для расширенного языка программирования Cython. С его помощью можно код на Python транслировать в С и затем скомпилировать в бинарник, совместимый с CPython. Компиляцию придется делать под все операционные системы и архитектуры процессора.\nСтавится Cython через pip:\npip install Cython\nРассмотрим его работу на примере с вычислением числа пи:\nНемного модифицируем нашу функцию:\ndef approximate_pi(int n):\n   cdef float step\n   cdef float result\n   cdef float x\n   step = 1.0 \/ n\n   result = 0.0\n   for i in range(n):\n   \t\tx = (i + 0.5) * step\n   \t\tresult += 4.0 \/ (1.0 + x * x)\n\n   return step * result\nCython → C:\ncython -2  pi_approximater.pyx -o pi_approximater.c\nКомпилируем С-шный код:\ngcc -g -O2 -shared -o pi_approximater.so pi_approximater.c python-config --includes --ldflags -fPIC\nИ замеряем время на бенчмарке:\n3,66 секунды.\nА что делать, если в нашем проекте несколько файлов, которые нужно скомпилировать? Тогда нужно использовать так называемый сценарий сборки. С его помощью можно модернизировать сборку в зависимости от операционной системы, указывать несколько файлов, которые необходимо скомпилировать, и многое другое.\nСоздадим файл build.py:\nfrom distutils.core import setup\nfrom Cython.Build import cythonize\n\nsetup(\n   ext_modules=cythonize(\"bench_cython.pyx\"),\n)\nЗапустим:\npython build.py build_ext –-inplace\nВ результате будет сгенерирован\n.so\/.dll\nфайл.\nNuitka\nNuitka способна упаковывать приложения Python в автономные исполняемые файлы, а также транслировать Python-код в С для его последующей компиляции. Работает с разными версиями Python (2.6, 2.7, 3.3 - 3.9).\nСтавится через pip:\npip install nuitka\nДля генерации исполняемого файла достаточно выполнить команду:\npython -m nuitka --follow-import some_program.py\nДля компиляции модуля:\npython -m nuitka --module some_module.py\nДля компиляции пакета:\npython -m nuitka --module some_package --include-package = some_package\nPythran\nPythran – статический компилятор Python, позиционирующий себя как ориентированный на научные вычисления и использующий преимущества многоядерных процессоров и блоков инструкций SIMD. Он транслирует Python-код, аннотированный описаниями интерфейса, в C++. До версии 0.9.5 (включительно) Pythran поддерживал Python 3 и Python 2.7. Последние версии поддерживают только Python 3.\nУстановка:\npip install pythran\nГенерируем бинарный файл\n<имя файла>.so\n:\npythran <имя файла>.py\nPythran по умолчанию не умеет в пользовательские классы, поэтому при попытке их компиляции будет выброшена ошибка:\nTop level statements can only be assignments, strings,functions, comments, or imports\nДобавим комментарий аннотации функции:\n#pythran export approximate_pi(int)  \ndef approximate_pi(n):\n   step = 1.0 \/ n\n   result = 0\n   for i in range(n):\n   \t\tx = (i + 0.5) * step\n   \t\tresult += 4.0 \/ (1.0 + x * x)\n   return step * result\nСкомпилируем и бенчмарк выдает 0,00007 секунды.\ncx-Freeze\ncx-Freeze – это набор скриптов и модулей преобразования скриптов Python в исполняемые файлы. cx_Freeze - кроссплатформенный. Он поддерживает Python 3.5.2 и выше.\nСтавится с помощью pip:\npip install cx_Freeze\nДля генерации исполняемого файла достаточно выполнить команду:\ncxfreeze <имя файла>.py\nСборку можно настроить с помощью параметров командной строки:\n-h\n,\n--help\n- справка;\n-O\n- оптимизировать сгенерированный байт-код согласно PYTHONOPTIMIZE;\n-c\n,\n--compress\n- сжать байт-код в zip-файлах;\n-s\n,\n--silent\n- выводить только предупреждения и ошибки;\n--target-dir\n=DIR,\n--install-dir\n=DIR - каталог, в который следует поместить целевой файл и все зависимые файлы.\nТакже возможно использование сценария сборки, например, так:\nimport sys\nfrom cx_Freeze import setup, Executable\n \n# Dependencies are automatically detected, but it might need fine tuning.\nbuild_exe_options = {\"packages\": [\"os\"], \"excludes\": [\"tkinter\"]}\n \n# GUI applications require a different base on Windows (the default is for a\n# console application).\nbase = None\nif sys.platform == \"win32\":\n    base = \"Win32GUI\"\n \nsetup(  name = \"guifoo\",\n        version = \"0.1\",\n        description = \"My GUI application!\",\n        options = {\"build_exe\": build_exe_options},\n        executables = [Executable(\"guifoo.py\", base=base)])\nСборка исполняемого файла:\n \npython setup.py build\nJIT-компиляция Python\nJIT-компиляция не позволяет скрывать исходники или создавать автономный исполняемый файл, но дает возможность значительно ускорить выполнение программы.\nPyPy\nPyPy - интерпретатор языка программирования Python 2.7 и Python 3.7. Он написан на RPython и содержит:\nкомпилятор байт-кода, отвечающий за создание объектов кода Python из исходного кода пользовательского приложения;\nоценщик байт-кода, ответственный за интерпретацию объектов кода Python;\nстандартное объектное пространство, отвечающее за создание и управление объектами Python, видимыми приложением.\nPyPy поддерживает сотни библиотек Python, включая NumPy.\nОсновные особенности (сравнение с CPython):\nСкорость.\nПри выполнении длительно выполняющихся программ, когда значительная часть времени тратится на выполнение кода Python, PyPy может значительно ускорить ваш код.\nИспользование памяти.\nПрограммы Python, требующие много памяти (несколько сотен Мб или более), могут занимать меньше места, чем в CPython. Однако это не всегда так, поскольку зависит от множества деталей. Также базовый уровень потребления оперативной памяти выше, чем у CPython.\nСкачать PyPy можно с\nздесь\n. После скачивания PyPy готов к запуску после распаковки архива. Если необходимо сделать PyPy доступным для всей системы, достаточно поместить символическую ссылку на исполняемый файл pypy в\n\/usr\/local\/bin\n. Также можно поставить с помощью\npyenv\n.\nPyPy работает на Mac, Linux (не все дистрибутивы) или Windows.\nДля запуска кода с помощью PyPy вместо команды\npython3\n(как c помощью CPython) достаточно воспользоваться командой\npypy3\n:\n \npypy3 something.py\nPyston\nPyston - это форк CPython 3.8.8 с дополнительной оптимизацией производительности. В настоящее время он поддерживает установку только из исходников. Или с помощью\npyenv\n.\nВ Pyston поддерживаются все возможности CPython, в том числе C API для разработки расширений на языке Си. Среди основных отличий Pyston от CPython помимо общих оптимизаций выделяется использование\nDynASM JIT\nи\ninline-кэширования\n. \nЗаключение\nИтак, мы рассмотрели 5 фреймворков AOT-компиляции Python. Для любителей аналитики, ниже приведена таблица со сравнительным анализом.\nPyInstaller\nCython\nNuitka\nPythran\ncx-Freeze\nГенерация автономных исполняемых файлов\n+\n-\n+\n-\n+\nКомпиляция python-модуля в исполняемый файл, совместимый с CPython\n-\n+\n+\n+\n+\nКомпиляция байт-кода Python\n+\n-\n+\n-\n+\nТрансляция Python в С\/C++\n-\n+\n+\n+\n-\nКроссплатформенность\n+\n+\n+\n+\n+\nКросскомпиляция\n-\n-\n-\n-\n-\nСреднее относительное время выполнения кода на различных версиях CPython, интерпретаторах с поддержкой JIT-компиляции и после сборки на фреймворках AOT-компиляции:\nСписок литературы\nhttp:\/\/www.pyinstaller.org\/\nhttps:\/\/cython.org\/\nhttps:\/\/nuitka.net\/\nhttps:\/\/github.com\/serge-sans-paille\/pythran\nhttps:\/\/cx-freeze.readthedocs.io\/en\/latest\/\nhttps:\/\/github.com\/pyston\/pyston\nhttps:\/\/www.pypy.org\/","attrs_markdown":"[Все потоки](https:\/\/habr.com\/ru\/articles\/)\n\n[Войти](https:\/\/habr.com\/kek\/v1\/auth\/habrahabr\/?back=\/ru\/companies\/numdes\/articles\/581374\/&hl=ru)\n\n[![](https:\/\/habrastorage.org\/getpro\/habr\/company\/d42\/ce2\/110\/d42ce21104a442024a88c47bcf45a426.jpg)](https:\/\/habr.com\/ru\/companies\/numdes\/profile\/)\n\n[Цифровое проектирование](https:\/\/habr.com\/ru\/companies\/numdes\/profile\/)\n\nНаука и технологии\n\n30\n\nПодписчики\n\nПодписаться\n\n[![](https:\/\/habrastorage.org\/r\/w48\/getpro\/habr\/avatars\/8d2\/8b6\/a2f\/8d28b6a2f57e234b64dc164f8639db37.jpg)](https:\/\/habr.com\/ru\/users\/NumDes\/)\n\n[NumDes](https:\/\/habr.com\/ru\/users\/NumDes\/)\n\n6 окт 2021 в 12:56\n# Компиляция Python\n7 мин\n\n123K\n\n[Блог компании Цифровое проектирование](https:\/\/habr.com\/ru\/companies\/numdes\/articles\/)[Высоконагруженные системы \\*](https:\/\/habr.com\/ru\/hubs\/hi\/) [Python \\*](https:\/\/habr.com\/ru\/hubs\/python\/) [Программирование \\*](https:\/\/habr.com\/ru\/hubs\/programming\/) [Компиляторы \\*](https:\/\/habr.com\/ru\/hubs\/compilers\/)\n\n![](https:\/\/habrastorage.org\/r\/w1560\/getpro\/habr\/upload_files\/991\/60e\/aaf\/99160eaaf94489fa7c74a354f7dc1513.png)\n\nПредположим, вы разработали приложение или библиотеку на Python и уже готовитесь передать его \/ её заказчику. И в этот момент возникают вопросы, о которых многие даже не задумываются.\n\nВо-первых, так может оказаться, что вы разработали супер крутой алгоритм, которого ни у кого нет, и показывать его хочется только избранным.\n\nВо-вторых, возникает вопрос окружения - хочется быть уверенным, что заказчик справится с установкой правильной версии Python и всех вспомогательных библиотек, но это не всегда простая задача. Было бы удобно упаковать приложение в автономный исполняемый файл.\n\nИ, наконец, хочется, чтобы конечное приложение работало быстрее, чем в среде разработки.\n\nИ вот тут настало время скомпилировать Python-код. Меня зовут Руслан, я старший разработчик компании «Цифровое проектирование». Сегодня я расскажу, как выбрать тот самый компилятор из множества доступных.\n\n## AOT\/JIT\nКомпиляция – это сборка программы, включающая: трансляцию всех модулей программы, написанных на языке программирования высокого уровня, в эквивалентные программные модули на низкоуровневом языке, близком к машинному коду, или на машинном языке и сборку исполняемой программы. Существует два вида компиляции:\n\n- **AOT-компиляция (ahead-of-time)** – компиляция перед исполнением программы. Т.е. программа компилируется один раз, в результате компиляции получается исполняемый файл.\n- **JIT-компиляция (just-in-time)** – компиляция во время исполнения программы. Т.е. программа (а точнее, блоки программы) компилируется много раз - при каждом запуске.\n## Бенчмарк\nТак как одной из целей является ускорение, необходимо оценить, насколько быстро работает скомпилированный код. В качестве бенчмарка будем использовать [pyperfomance](https:\/\/pyperformance.readthedocs.io\/). К сожалению, pyperfomance не подошел для Cython и Pythran, потому что не позволяет визуализировать все возможности языка. Ускорения для Cython без модификации кода получить не удалось, а Pythran не умеет в пользовательские классы. Для них воспользуемся вычислением числа пи:\n```\n\n```\nЭксперименты будем проводить на процессоре Intel Core i7 10510U. На CPython 3.9.7 время вычисления числа пи до 100.000.000 знака заняло 5.82 секунды.\n\n## AOT-компиляция Python\n**PyInstaller**\n\nPyInstaller упаковывает приложения Python в автономные исполняемые файлы в Windows, GNU \/ Linux, Mac OS X, FreeBSD, Solaris и AIX.\n\nУстанавливается через pip:\n\n`pip install pyinstaller`\n\nПосле установки для создания исполняемого файла достаточно выполнить команду:\n\n`pyinstaller <имя_файла>.py`\n\nВ результате будет создано:\n\n- **\\*.spec** – файл спецификации (используется для ускорения будущих сборок приложения, связи файлов данных с приложением, для включения .dll и .so файлов, добавление в исполняемый файл параметров runtime-а Python);\n- **build\/** – директория с метаданными для сборки исполняемого файла;\n- **dist\/** – директория, содержащая все зависимости и исполняемый файл.\n\nСборку приложения можно настроить с помощью параметров командной строки:\n\n- **\\--name** – изменение имени исполняемого файла (по умолчанию, такое же, как у сценария);\n- **\\--onefile** – создание только исполняемого файла (по умолчанию, папка с зависимостями и исполняемый файл);\n- **\\--hidden-import** – перечисление импортов, которые PyInstaller не смог обнаружить автоматически;\n- **\\--add-data** – добавление в сборку файлов данных;\n- **\\--add-binary** – добавление в сборку бинарных файлов;\n- **\\--exclude-module** – исключение модулей из исполняемого файла;\n- **\\--key** – ключ шифрования AES256. Да, приложение не будет содержать исходного кода, но его можно декомпилировать, например, так: **Pyinstaller Extractor (.exe → .pyc)** и **uncompile6 (.pyc → .py)**. Для скрытия исходного кода можно обфусцировать байт-код Python с помощью шифрования.\n\nУ PyInstaller есть ограничения. Он работает с Python 3.5–3.9. Поддерживает создание исполняемых файлов для разных операционных систем, но не умеет выполнять кросскомпиляцию, т. е. необходимо генерировать исполняемый файл для каждой ОС отдельно. Более того, исполняемый файл зависит от пользовательского glibc, т. е. необходимо генерировать исполняемый файл для самой старой версии каждой ОС.\n\nPyInstaller знает о многих Python-пакетах и умеет их учитывать при сборке исполняемого файла. Но не о всех. Например, фреймворк **uvicorn** практически весь нужно явно импортировать в файл, к которому будет применена команда pyinstaller. Полный список поддерживаемых из коробки пакетов можно посмотреть [здесь](https:\/\/github.com\/pyinstaller\/pyinstaller\/wiki\/Supported-Packages).\n\n**Cython**\n\nCython - это оптимизирующий статический компилятор как для языка программирования Python, так и для расширенного языка программирования Cython. С его помощью можно код на Python транслировать в С и затем скомпилировать в бинарник, совместимый с CPython. Компиляцию придется делать под все операционные системы и архитектуры процессора.\n\nСтавится Cython через pip:\n\n`pip install Cython`\n\nРассмотрим его работу на примере с вычислением числа пи:\n\n1. ***Немного модифицируем нашу функцию:***\n   ```\n   \n   ```\n2. ***Cython → C:***\n   `cython -2  pi_approximater.pyx -o pi_approximater.c`\n3. ***Компилируем С-шный код:***\n   `gcc -g -O2 -shared -o pi_approximater.so pi_approximater.c python-config --includes --ldflags -fPIC`\n4. ***И замеряем время на бенчмарке:*** 3,66 секунды.\n\nА что делать, если в нашем проекте несколько файлов, которые нужно скомпилировать? Тогда нужно использовать так называемый сценарий сборки. С его помощью можно модернизировать сборку в зависимости от операционной системы, указывать несколько файлов, которые необходимо скомпилировать, и многое другое.\n\nСоздадим файл build.py:\n```\n\n```\nЗапустим: `python build.py build_ext –-inplace`\n\nВ результате будет сгенерирован **.so\/.dll** файл.\n\n**Nuitka**\n\nNuitka способна упаковывать приложения Python в автономные исполняемые файлы, а также транслировать Python-код в С для его последующей компиляции. Работает с разными версиями Python (2.6, 2.7, 3.3 - 3.9).\n\nСтавится через pip:\n\n`pip install nuitka`\n\nДля генерации исполняемого файла достаточно выполнить команду:\n\n`python -m nuitka --follow-import some_program.py`\n\nДля компиляции модуля:\n\n`python -m nuitka --module some_module.py`\n\nДля компиляции пакета:\n\n`python -m nuitka --module some_package --include-package = some_package`\n\n**Pythran**\n\nPythran – статический компилятор Python, позиционирующий себя как ориентированный на научные вычисления и использующий преимущества многоядерных процессоров и блоков инструкций SIMD. Он транслирует Python-код, аннотированный описаниями интерфейса, в C++. До версии 0.9.5 (включительно) Pythran поддерживал Python 3 и Python 2.7. Последние версии поддерживают только Python 3.\n\nУстановка:\n\n`pip install pythran`\n\nГенерируем бинарный файл **\\<имя файла\\>.so**:\n\n`pythran <имя файла>.py`\n\nPythran по умолчанию не умеет в пользовательские классы, поэтому при попытке их компиляции будет выброшена ошибка:\n\n> ***Top level statements can only be assignments, strings,functions, comments, or imports***\n\nДобавим комментарий аннотации функции:\n```\n\n```\nСкомпилируем и бенчмарк выдает 0,00007 секунды.\n\n**cx-Freeze**\n\ncx-Freeze – это набор скриптов и модулей преобразования скриптов Python в исполняемые файлы. cx\\_Freeze - кроссплатформенный. Он поддерживает Python 3.5.2 и выше.\n\nСтавится с помощью pip:\n\n`pip install cx_Freeze`\n\nДля генерации исполняемого файла достаточно выполнить команду:\n\n`cxfreeze <имя файла>.py`\n\nСборку можно настроить с помощью параметров командной строки:\n\n- **\\-h**, **\\--help** - справка;\n- **\\-O** - оптимизировать сгенерированный байт-код согласно PYTHONOPTIMIZE;\n- **\\-c**, **\\--compress** - сжать байт-код в zip-файлах;\n- **\\-s**, **\\--silent** - выводить только предупреждения и ошибки;\n- **\\--target-dir**\\=DIR, **\\--install-dir**\\=DIR - каталог, в который следует поместить целевой файл и все зависимые файлы.\n\nТакже возможно использование сценария сборки, например, так:\n```\n\n```\nСборка исполняемого файла:\n\n`python setup.py build`\n\n## JIT-компиляция Python\nJIT-компиляция не позволяет скрывать исходники или создавать автономный исполняемый файл, но дает возможность значительно ускорить выполнение программы.\n\n**PyPy**\n\nPyPy - интерпретатор языка программирования Python 2.7 и Python 3.7. Он написан на RPython и содержит:\n\n- компилятор байт-кода, отвечающий за создание объектов кода Python из исходного кода пользовательского приложения;\n- оценщик байт-кода, ответственный за интерпретацию объектов кода Python;\n- стандартное объектное пространство, отвечающее за создание и управление объектами Python, видимыми приложением.\n\nPyPy поддерживает сотни библиотек Python, включая NumPy.\n\nОсновные особенности (сравнение с CPython):\n\n- **Скорость.** При выполнении длительно выполняющихся программ, когда значительная часть времени тратится на выполнение кода Python, PyPy может значительно ускорить ваш код.\n- **Использование памяти.** Программы Python, требующие много памяти (несколько сотен Мб или более), могут занимать меньше места, чем в CPython. Однако это не всегда так, поскольку зависит от множества деталей. Также базовый уровень потребления оперативной памяти выше, чем у CPython.\n\nСкачать PyPy можно с [здесь](https:\/\/www.pypy.org\/download.html). После скачивания PyPy готов к запуску после распаковки архива. Если необходимо сделать PyPy доступным для всей системы, достаточно поместить символическую ссылку на исполняемый файл pypy в **\/usr\/local\/bin**. Также можно поставить с помощью **pyenv**.\n\nPyPy работает на Mac, Linux (не все дистрибутивы) или Windows.\n\nДля запуска кода с помощью PyPy вместо команды **python3** (как c помощью CPython) достаточно воспользоваться командой **pypy3**:\n\n`pypy3 something.py`\n\n**Pyston**\n\nPyston - это форк CPython 3.8.8 с дополнительной оптимизацией производительности. В настоящее время он поддерживает установку только из исходников. Или с помощью **pyenv**.\n\nВ Pyston поддерживаются все возможности CPython, в том числе C API для разработки расширений на языке Си. Среди основных отличий Pyston от CPython помимо общих оптимизаций выделяется использование[DynASM JIT](https:\/\/luajit.org\/dynasm.html) и[inline-кэширования](https:\/\/bugs.python.org\/issue14757).\n\n## Заключение\nИтак, мы рассмотрели 5 фреймворков AOT-компиляции Python. Для любителей аналитики, ниже приведена таблица со сравнительным анализом.\n\n|   |   |   |   |   |   |\n|---|---|---|---|---|---|\n|   | **PyInstaller** | **Cython** | **Nuitka** | **Pythran** | **cx-Freeze** |\n| Генерация автономных исполняемых файлов | \\+ | \\- | \\+ | \\- | \\+ |\n| Компиляция python-модуля в исполняемый файл, совместимый с CPython | \\- | \\+ | \\+ | \\+ | \\+ |\n| Компиляция байт-кода Python | \\+ | \\- | \\+ | \\- | \\+ |\n| Трансляция Python в С\/C++ | \\- | \\+ | \\+ | \\+ | \\- |\n| Кроссплатформенность | \\+ | \\+ | \\+ | \\+ | \\+ |\n| Кросскомпиляция | \\- | \\- | \\- | \\- | \\- |\n\nСреднее относительное время выполнения кода на различных версиях CPython, интерпретаторах с поддержкой JIT-компиляции и после сборки на фреймворках AOT-компиляции:\n\n![](https:\/\/habrastorage.org\/r\/w1560\/getpro\/habr\/upload_files\/579\/021\/08d\/57902108df33a9aa3734859ab9df7f0a.jpg)\n\n![](https:\/\/habrastorage.org\/r\/w1560\/getpro\/habr\/upload_files\/350\/a5c\/2a9\/350a5c2a95414192fa578eaf40b10f33.png)\n\n## Список литературы\n1. [http:\/\/www.pyinstaller.org\/](http:\/\/www.pyinstaller.org\/)\n2. [https:\/\/cython.org\/](https:\/\/cython.org\/)\n3. [https:\/\/nuitka.net\/](https:\/\/nuitka.net\/)\n4. [https:\/\/github.com\/serge-sans-paille\/pythran](https:\/\/github.com\/serge-sans-paille\/pythran)\n5. [https:\/\/cx-freeze.readthedocs.io\/en\/latest\/](https:\/\/cx-freeze.readthedocs.io\/en\/latest\/)\n6. [https:\/\/github.com\/pyston\/pyston](https:\/\/github.com\/pyston\/pyston)\n7. [https:\/\/www.pypy.org\/](https:\/\/www.pypy.org\/)\n\nТеги:\n\n- [python](https:\/\/habr.com\/ru\/search\/?target_type=posts&order=relevance&q=[python])\n- [jit-компилятор](https:\/\/habr.com\/ru\/search\/?target_type=posts&order=relevance&q=[jit-%D0%BA%D0%BE%D0%BC%D0%BF%D0%B8%D0%BB%D1%8F%D1%82%D0%BE%D1%80])\n- [aot](https:\/\/habr.com\/ru\/search\/?target_type=posts&order=relevance&q=[aot])\n- [pyinstaller](https:\/\/habr.com\/ru\/search\/?target_type=posts&order=relevance&q=[pyinstaller])\n- [cython](https:\/\/habr.com\/ru\/search\/?target_type=posts&order=relevance&q=[cython])\n- [nuitka](https:\/\/habr.com\/ru\/search\/?target_type=posts&order=relevance&q=[nuitka])\n- [cx\\_freeze](https:\/\/habr.com\/ru\/search\/?target_type=posts&order=relevance&q=[cx_freeze])\n- [pypy](https:\/\/habr.com\/ru\/search\/?target_type=posts&order=relevance&q=[pypy])\n\nХабы:\n\n- [Блог компании Цифровое проектирование](https:\/\/habr.com\/ru\/companies\/numdes\/articles\/)\n- [Высоконагруженные системы](https:\/\/habr.com\/ru\/hubs\/hi\/)\n- [Python](https:\/\/habr.com\/ru\/hubs\/python\/)\n- [Программирование](https:\/\/habr.com\/ru\/hubs\/programming\/)\n- [Компиляторы](https:\/\/habr.com\/ru\/hubs\/compilers\/)\n\n\\+10\n\n194\n\n[21](https:\/\/habr.com\/ru\/companies\/numdes\/articles\/581374\/comments\/)\n\n[![](https:\/\/habrastorage.org\/getpro\/habr\/company\/d42\/ce2\/110\/d42ce21104a442024a88c47bcf45a426.jpg)](https:\/\/habr.com\/ru\/companies\/numdes\/profile\/)\n\n[Цифровое проектирование](https:\/\/habr.com\/ru\/companies\/numdes\/profile\/)\n\nНаука и технологии\n\n[Сайт](https:\/\/numdes.com\/)[Хабр Карьера](https:\/\/career.habr.com\/companies\/numdes)[ВКонтакте](https:\/\/vk.com\/numdes)[Instagram](https:\/\/instagram.com\/numdesgn)\n\n[![](https:\/\/habrastorage.org\/getpro\/habr\/avatars\/8d2\/8b6\/a2f\/8d28b6a2f57e234b64dc164f8639db37.jpg)](https:\/\/habr.com\/ru\/users\/NumDes\/)\n\n5\n\nКарма\n\nЦифровое проектирование[@NumDes](https:\/\/habr.com\/ru\/users\/NumDes\/)\n\nПользователь\n\nПодписаться\n\nХабр доступен 24\/7 благодаря поддержке друзей\n\n![Хабр Карьера Курсы](https:\/\/habrastorage.org\/webt\/qq\/ey\/pn\/qqeypn-py71suynxbusbakjdfjw.png)\n\nХабр Курсы для всех\n\nРЕКЛАМА\n\nПрактикум, Хекслет, SkyPro, авторские курсы — собрали всех и попросили скидки. Осталось выбрать\\!\n\n[Перейти](https:\/\/career.habr.com\/courses\/?erid=2VSb5wDLYUH&utm_source=habr&utm_medium=sponsorship_hub)\n\n[Комментарии 21](https:\/\/habr.com\/ru\/companies\/numdes\/articles\/581374\/comments\/)\n\n## Публикации\nЛучшие за сутки\n\nПохожие\n\n## Информация\nСайт\n\n[numdes.com](https:\/\/numdes.com\/)\n\nДата регистрации\n\n24 августа 2021\n\nЧисленность\n\n51–100 человек\n\nМестоположение\n\nРоссия\n\nВаш аккаунт\n\n- [Войти](https:\/\/habr.com\/kek\/v1\/auth\/habrahabr\/?back=\/ru\/companies\/numdes\/articles\/581374\/&hl=ru)\n- [Регистрация](https:\/\/habr.com\/kek\/v1\/auth\/habrahabr-register\/?back=\/ru\/companies\/numdes\/articles\/581374\/&hl=ru)\n\nРазделы\n\n- [Статьи](https:\/\/habr.com\/ru\/articles\/)\n- [Новости](https:\/\/habr.com\/ru\/news\/)\n- [Хабы](https:\/\/habr.com\/ru\/hubs\/)\n- [Компании](https:\/\/habr.com\/ru\/companies\/)\n- [Авторы](https:\/\/habr.com\/ru\/users\/)\n- [Песочница](https:\/\/habr.com\/ru\/sandbox\/)\n\nИнформация\n\n- [Устройство сайта](https:\/\/habr.com\/ru\/docs\/help\/)\n- [Для авторов](https:\/\/habr.com\/ru\/docs\/authors\/codex\/)\n- [Для компаний](https:\/\/habr.com\/ru\/docs\/companies\/corpblogs\/)\n- [Документы](https:\/\/habr.com\/ru\/docs\/docs\/transparency\/)\n- [Соглашение](https:\/\/account.habr.com\/info\/agreement\/?hl=ru_RU)\n- [Конфиденциальность](https:\/\/account.habr.com\/info\/confidential\/?hl=ru_RU)\n\nУслуги\n\n- [Корпоративный блог](https:\/\/company.habr.com\/ru\/corporate-blogs\/)\n- [Медийная реклама](https:\/\/company.habr.com\/ru\/advertising\/)\n- [Нативные проекты](https:\/\/company.habr.com\/ru\/native-special\/)\n- [Образовательные программы](https:\/\/company.habr.com\/ru\/education-programs\/)\n- [Стартапам](https:\/\/company.habr.com\/ru\/hello-startup\/)\n\nНастройка языка\n\n[Техническая поддержка](https:\/\/habr.com\/ru\/feedback\/)\n\n© 2006–2026, [Habr](https:\/\/company.habr.com\/)","attrs_readable_markdown":"![](https:\/\/habrastorage.org\/r\/w1560\/getpro\/habr\/upload_files\/991\/60e\/aaf\/99160eaaf94489fa7c74a354f7dc1513.png)\n\nПредположим, вы разработали приложение или библиотеку на Python и уже готовитесь передать его \/ её заказчику. И в этот момент возникают вопросы, о которых многие даже не задумываются.\n\nВо-первых, так может оказаться, что вы разработали супер крутой алгоритм, которого ни у кого нет, и показывать его хочется только избранным.\n\nВо-вторых, возникает вопрос окружения - хочется быть уверенным, что заказчик справится с установкой правильной версии Python и всех вспомогательных библиотек, но это не всегда простая задача. Было бы удобно упаковать приложение в автономный исполняемый файл.\n\nИ, наконец, хочется, чтобы конечное приложение работало быстрее, чем в среде разработки.\n\nИ вот тут настало время скомпилировать Python-код. Меня зовут Руслан, я старший разработчик компании «Цифровое проектирование». Сегодня я расскажу, как выбрать тот самый компилятор из множества доступных.\n\n## AOT\/JIT\nКомпиляция – это сборка программы, включающая: трансляцию всех модулей программы, написанных на языке программирования высокого уровня, в эквивалентные программные модули на низкоуровневом языке, близком к машинному коду, или на машинном языке и сборку исполняемой программы. Существует два вида компиляции:\n\n- **AOT-компиляция (ahead-of-time)** – компиляция перед исполнением программы. Т.е. программа компилируется один раз, в результате компиляции получается исполняемый файл.\n- **JIT-компиляция (just-in-time)** – компиляция во время исполнения программы. Т.е. программа (а точнее, блоки программы) компилируется много раз - при каждом запуске.\n## Бенчмарк\nТак как одной из целей является ускорение, необходимо оценить, насколько быстро работает скомпилированный код. В качестве бенчмарка будем использовать [pyperfomance](https:\/\/pyperformance.readthedocs.io\/). К сожалению, pyperfomance не подошел для Cython и Pythran, потому что не позволяет визуализировать все возможности языка. Ускорения для Cython без модификации кода получить не удалось, а Pythran не умеет в пользовательские классы. Для них воспользуемся вычислением числа пи:\n```\ndef approximate_pi(n):\n   step = 1.0 \/ n\n   result = 0\n   for i in range(n):\n   \t\tx = (i + 0.5) * step\n   \t\tresult += 4.0 \/ (1.0 + x * x)\n   return step * result\n```\nЭксперименты будем проводить на процессоре Intel Core i7 10510U. На CPython 3.9.7 время вычисления числа пи до 100.000.000 знака заняло 5.82 секунды.\n\n## AOT-компиляция Python\n**PyInstaller**\n\nPyInstaller упаковывает приложения Python в автономные исполняемые файлы в Windows, GNU \/ Linux, Mac OS X, FreeBSD, Solaris и AIX.\n\nУстанавливается через pip:\n\n`pip install pyinstaller`\n\nПосле установки для создания исполняемого файла достаточно выполнить команду:\n\n`pyinstaller <имя_файла>.py`\n\nВ результате будет создано:\n\n- **\\*.spec** – файл спецификации (используется для ускорения будущих сборок приложения, связи файлов данных с приложением, для включения .dll и .so файлов, добавление в исполняемый файл параметров runtime-а Python);\n- **build\/** – директория с метаданными для сборки исполняемого файла;\n- **dist\/** – директория, содержащая все зависимости и исполняемый файл.\n\nСборку приложения можно настроить с помощью параметров командной строки:\n\n- **\\--name** – изменение имени исполняемого файла (по умолчанию, такое же, как у сценария);\n- **\\--onefile** – создание только исполняемого файла (по умолчанию, папка с зависимостями и исполняемый файл);\n- **\\--hidden-import** – перечисление импортов, которые PyInstaller не смог обнаружить автоматически;\n- **\\--add-data** – добавление в сборку файлов данных;\n- **\\--add-binary** – добавление в сборку бинарных файлов;\n- **\\--exclude-module** – исключение модулей из исполняемого файла;\n- **\\--key** – ключ шифрования AES256. Да, приложение не будет содержать исходного кода, но его можно декомпилировать, например, так: **Pyinstaller Extractor (.exe → .pyc)** и **uncompile6 (.pyc → .py)**. Для скрытия исходного кода можно обфусцировать байт-код Python с помощью шифрования.\n\nУ PyInstaller есть ограничения. Он работает с Python 3.5–3.9. Поддерживает создание исполняемых файлов для разных операционных систем, но не умеет выполнять кросскомпиляцию, т. е. необходимо генерировать исполняемый файл для каждой ОС отдельно. Более того, исполняемый файл зависит от пользовательского glibc, т. е. необходимо генерировать исполняемый файл для самой старой версии каждой ОС.\n\nPyInstaller знает о многих Python-пакетах и умеет их учитывать при сборке исполняемого файла. Но не о всех. Например, фреймворк **uvicorn** практически весь нужно явно импортировать в файл, к которому будет применена команда pyinstaller. Полный список поддерживаемых из коробки пакетов можно посмотреть [здесь](https:\/\/github.com\/pyinstaller\/pyinstaller\/wiki\/Supported-Packages).\n\n**Cython**\n\nCython - это оптимизирующий статический компилятор как для языка программирования Python, так и для расширенного языка программирования Cython. С его помощью можно код на Python транслировать в С и затем скомпилировать в бинарник, совместимый с CPython. Компиляцию придется делать под все операционные системы и архитектуры процессора.\n\nСтавится Cython через pip:\n\n`pip install Cython`\n\nРассмотрим его работу на примере с вычислением числа пи:\n\n1. ***Немного модифицируем нашу функцию:***\n   ```\n   def approximate_pi(int n):\n   cdef float step\n   cdef float result\n   cdef float x\n   step = 1.0 \/ n\n   result = 0.0\n   for i in range(n):\n   \t\tx = (i + 0.5) * step\n   \t\tresult += 4.0 \/ (1.0 + x * x)\n\n   return step * result\n   ```\n2. ***Cython → C:***\n   `cython -2  pi_approximater.pyx -o pi_approximater.c`\n3. ***Компилируем С-шный код:***\n   `gcc -g -O2 -shared -o pi_approximater.so pi_approximater.c python-config --includes --ldflags -fPIC`\n4. ***И замеряем время на бенчмарке:*** 3,66 секунды.\n\nА что делать, если в нашем проекте несколько файлов, которые нужно скомпилировать? Тогда нужно использовать так называемый сценарий сборки. С его помощью можно модернизировать сборку в зависимости от операционной системы, указывать несколько файлов, которые необходимо скомпилировать, и многое другое.\n\nСоздадим файл build.py:\n```\nfrom distutils.core import setup\nfrom Cython.Build import cythonize\n\nsetup(\n   ext_modules=cythonize(\"bench_cython.pyx\"),\n)\n```\nЗапустим: `python build.py build_ext –-inplace`\n\nВ результате будет сгенерирован **.so\/.dll** файл.\n\n**Nuitka**\n\nNuitka способна упаковывать приложения Python в автономные исполняемые файлы, а также транслировать Python-код в С для его последующей компиляции. Работает с разными версиями Python (2.6, 2.7, 3.3 - 3.9).\n\nСтавится через pip:\n\n`pip install nuitka`\n\nДля генерации исполняемого файла достаточно выполнить команду:\n\n`python -m nuitka --follow-import some_program.py`\n\nДля компиляции модуля:\n\n`python -m nuitka --module some_module.py`\n\nДля компиляции пакета:\n\n`python -m nuitka --module some_package --include-package = some_package`\n\n**Pythran**\n\nPythran – статический компилятор Python, позиционирующий себя как ориентированный на научные вычисления и использующий преимущества многоядерных процессоров и блоков инструкций SIMD. Он транслирует Python-код, аннотированный описаниями интерфейса, в C++. До версии 0.9.5 (включительно) Pythran поддерживал Python 3 и Python 2.7. Последние версии поддерживают только Python 3.\n\nУстановка:\n\n`pip install pythran`\n\nГенерируем бинарный файл **\\<имя файла\\>.so**:\n\n`pythran <имя файла>.py`\n\nPythran по умолчанию не умеет в пользовательские классы, поэтому при попытке их компиляции будет выброшена ошибка:\n\n> ***Top level statements can only be assignments, strings,functions, comments, or imports***\n\nДобавим комментарий аннотации функции:\n```\n#pythran export approximate_pi(int)  \ndef approximate_pi(n):\n   step = 1.0 \/ n\n   result = 0\n   for i in range(n):\n   \t\tx = (i + 0.5) * step\n   \t\tresult += 4.0 \/ (1.0 + x * x)\n   return step * result\n```\nСкомпилируем и бенчмарк выдает 0,00007 секунды.\n\n**cx-Freeze**\n\ncx-Freeze – это набор скриптов и модулей преобразования скриптов Python в исполняемые файлы. cx\\_Freeze - кроссплатформенный. Он поддерживает Python 3.5.2 и выше.\n\nСтавится с помощью pip:\n\n`pip install cx_Freeze`\n\nДля генерации исполняемого файла достаточно выполнить команду:\n\n`cxfreeze <имя файла>.py`\n\nСборку можно настроить с помощью параметров командной строки:\n\n- **\\-h**, **\\--help** - справка;\n- **\\-O** - оптимизировать сгенерированный байт-код согласно PYTHONOPTIMIZE;\n- **\\-c**, **\\--compress** - сжать байт-код в zip-файлах;\n- **\\-s**, **\\--silent** - выводить только предупреждения и ошибки;\n- **\\--target-dir**\\=DIR, **\\--install-dir**\\=DIR - каталог, в который следует поместить целевой файл и все зависимые файлы.\n\nТакже возможно использование сценария сборки, например, так:\n```\nimport sys\nfrom cx_Freeze import setup, Executable\n \n# Dependencies are automatically detected, but it might need fine tuning.\nbuild_exe_options = {\"packages\": [\"os\"], \"excludes\": [\"tkinter\"]}\n \n# GUI applications require a different base on Windows (the default is for a\n# console application).\nbase = None\nif sys.platform == \"win32\":\n    base = \"Win32GUI\"\n \nsetup(  name = \"guifoo\",\n        version = \"0.1\",\n        description = \"My GUI application!\",\n        options = {\"build_exe\": build_exe_options},\n        executables = [Executable(\"guifoo.py\", base=base)])\n```\nСборка исполняемого файла:\n\n`python setup.py build`\n\n## JIT-компиляция Python\nJIT-компиляция не позволяет скрывать исходники или создавать автономный исполняемый файл, но дает возможность значительно ускорить выполнение программы.\n\n**PyPy**\n\nPyPy - интерпретатор языка программирования Python 2.7 и Python 3.7. Он написан на RPython и содержит:\n\n- компилятор байт-кода, отвечающий за создание объектов кода Python из исходного кода пользовательского приложения;\n- оценщик байт-кода, ответственный за интерпретацию объектов кода Python;\n- стандартное объектное пространство, отвечающее за создание и управление объектами Python, видимыми приложением.\n\nPyPy поддерживает сотни библиотек Python, включая NumPy.\n\nОсновные особенности (сравнение с CPython):\n\n- **Скорость.** При выполнении длительно выполняющихся программ, когда значительная часть времени тратится на выполнение кода Python, PyPy может значительно ускорить ваш код.\n- **Использование памяти.** Программы Python, требующие много памяти (несколько сотен Мб или более), могут занимать меньше места, чем в CPython. Однако это не всегда так, поскольку зависит от множества деталей. Также базовый уровень потребления оперативной памяти выше, чем у CPython.\n\nСкачать PyPy можно с [здесь](https:\/\/www.pypy.org\/download.html). После скачивания PyPy готов к запуску после распаковки архива. Если необходимо сделать PyPy доступным для всей системы, достаточно поместить символическую ссылку на исполняемый файл pypy в **\/usr\/local\/bin**. Также можно поставить с помощью **pyenv**.\n\nPyPy работает на Mac, Linux (не все дистрибутивы) или Windows.\n\nДля запуска кода с помощью PyPy вместо команды **python3** (как c помощью CPython) достаточно воспользоваться командой **pypy3**:\n\n`pypy3 something.py`\n\n**Pyston**\n\nPyston - это форк CPython 3.8.8 с дополнительной оптимизацией производительности. В настоящее время он поддерживает установку только из исходников. Или с помощью **pyenv**.\n\nВ Pyston поддерживаются все возможности CPython, в том числе C API для разработки расширений на языке Си. Среди основных отличий Pyston от CPython помимо общих оптимизаций выделяется использование[DynASM JIT](https:\/\/luajit.org\/dynasm.html) и[inline-кэширования](https:\/\/bugs.python.org\/issue14757).\n\n## Заключение\nИтак, мы рассмотрели 5 фреймворков AOT-компиляции Python. Для любителей аналитики, ниже приведена таблица со сравнительным анализом.\n\n|   |   |   |   |   |   |\n|---|---|---|---|---|---|\n|   | **PyInstaller** | **Cython** | **Nuitka** | **Pythran** | **cx-Freeze** |\n| Генерация автономных исполняемых файлов | \\+ | \\- | \\+ | \\- | \\+ |\n| Компиляция python-модуля в исполняемый файл, совместимый с CPython | \\- | \\+ | \\+ | \\+ | \\+ |\n| Компиляция байт-кода Python | \\+ | \\- | \\+ | \\- | \\+ |\n| Трансляция Python в С\/C++ | \\- | \\+ | \\+ | \\+ | \\- |\n| Кроссплатформенность | \\+ | \\+ | \\+ | \\+ | \\+ |\n| Кросскомпиляция | \\- | \\- | \\- | \\- | \\- |\n\nСреднее относительное время выполнения кода на различных версиях CPython, интерпретаторах с поддержкой JIT-компиляции и после сборки на фреймворках AOT-компиляции:\n\n![](https:\/\/habrastorage.org\/r\/w1560\/getpro\/habr\/upload_files\/579\/021\/08d\/57902108df33a9aa3734859ab9df7f0a.jpg)\n\n![](https:\/\/habrastorage.org\/r\/w1560\/getpro\/habr\/upload_files\/350\/a5c\/2a9\/350a5c2a95414192fa578eaf40b10f33.png)\n\n## Список литературы\n1. [http:\/\/www.pyinstaller.org\/](http:\/\/www.pyinstaller.org\/)\n2. [https:\/\/cython.org\/](https:\/\/cython.org\/)\n3. [https:\/\/nuitka.net\/](https:\/\/nuitka.net\/)\n4. [https:\/\/github.com\/serge-sans-paille\/pythran](https:\/\/github.com\/serge-sans-paille\/pythran)\n5. [https:\/\/cx-freeze.readthedocs.io\/en\/latest\/](https:\/\/cx-freeze.readthedocs.io\/en\/latest\/)\n6. [https:\/\/github.com\/pyston\/pyston](https:\/\/github.com\/pyston\/pyston)\n7. [https:\/\/www.pypy.org\/](https:\/\/www.pypy.org\/)","meta_canonical":null}

3. Robots.txt Check

Query:

Response:

4. Spam/Ban Check

Query:

Response:

5. Seen Status Check

ℹ️ Skipped - page is already crawled

📄

INDEXABLE

✅

CRAWLED

18 days ago

🤖

ROBOTS ALLOWED

Page Info Filters

Filter	Status	Condition	Details
HTTP status	PASS	`download_http_code = 200`	HTTP 200
Age cutoff	PASS	`download_stamp > now() - 6 MONTH`	0.6 months ago
History drop	PASS	`isNull(history_drop_reason)`	No drop reason
Spam/ban	PASS	`fh_dont_index != 1 AND ml_spam_score = 0`	ml_spam_score=0
Canonical	PASS	`meta_canonical IS NULL OR = '' OR = src_unparsed`	Not set

Page Details

Property	Value
URL	https://habr.com/ru/companies/numdes/articles/581374/
Last Crawled	2026-03-23 11:08:10 (18 days ago)
First Indexed	2023-05-09 06:49:44 (2 years ago)
HTTP Status Code	200
Meta Title	Компиляция Python / Хабр
Meta Description	Предположим, вы разработали приложение или библиотеку на Python и уже готовитесь передать его / её заказчику. И в этот момент возникают вопросы, о которых многие даже не задумываются. Во-первых,...
Meta Canonical	null
Boilerpipe Text	Предположим, вы разработали приложение или библиотеку на Python и уже готовитесь передать его / её заказчику. И в этот момент возникают вопросы, о которых многие даже не задумываются. Во-первых, так может оказаться, что вы разработали супер крутой алгоритм, которого ни у кого нет, и показывать его хочется только избранным. Во-вторых, возникает вопрос окружения - хочется быть уверенным, что заказчик справится с установкой правильной версии Python и всех вспомогательных библиотек, но это не всегда простая задача. Было бы удобно упаковать приложение в автономный исполняемый файл. И, наконец, хочется, чтобы конечное приложение работало быстрее, чем в среде разработки. И вот тут настало время скомпилировать Python-код. Меня зовут Руслан, я старший разработчик компании «Цифровое проектирование». Сегодня я расскажу, как выбрать тот самый компилятор из множества доступных. AOT/JIT Компиляция – это сборка программы, включающая: трансляцию всех модулей программы, написанных на языке программирования высокого уровня, в эквивалентные программные модули на низкоуровневом языке, близком к машинному коду, или на машинном языке и сборку исполняемой программы. Существует два вида компиляции: AOT-компиляция (ahead-of-time) – компиляция перед исполнением программы. Т.е. программа компилируется один раз, в результате компиляции получается исполняемый файл. JIT-компиляция (just-in-time) – компиляция во время исполнения программы. Т.е. программа (а точнее, блоки программы) компилируется много раз - при каждом запуске. Бенчмарк Так как одной из целей является ускорение, необходимо оценить, насколько быстро работает скомпилированный код. В качестве бенчмарка будем использовать pyperfomance . К сожалению, pyperfomance не подошел для Cython и Pythran, потому что не позволяет визуализировать все возможности языка. Ускорения для Cython без модификации кода получить не удалось, а Pythran не умеет в пользовательские классы. Для них воспользуемся вычислением числа пи: def approximate_pi(n): step = 1.0 / n result = 0 for i in range(n): x = (i + 0.5) * step result += 4.0 / (1.0 + x * x) return step * result Эксперименты будем проводить на процессоре Intel Core i7 10510U. На CPython 3.9.7 время вычисления числа пи до 100.000.000 знака заняло 5.82 секунды. AOT-компиляция Python PyInstaller PyInstaller упаковывает приложения Python в автономные исполняемые файлы в Windows, GNU / Linux, Mac OS X, FreeBSD, Solaris и AIX. Устанавливается через pip: pip install pyinstaller После установки для создания исполняемого файла достаточно выполнить команду: pyinstaller <имя_файла>.py В результате будет создано: .spec – файл спецификации (используется для ускорения будущих сборок приложения, связи файлов данных с приложением, для включения .dll и .so файлов, добавление в исполняемый файл параметров runtime-а Python); build/ – директория с метаданными для сборки исполняемого файла; dist/ – директория, содержащая все зависимости и исполняемый файл. Сборку приложения можно настроить с помощью параметров командной строки: --name – изменение имени исполняемого файла (по умолчанию, такое же, как у сценария); --onefile – создание только исполняемого файла (по умолчанию, папка с зависимостями и исполняемый файл); --hidden-import – перечисление импортов, которые PyInstaller не смог обнаружить автоматически; --add-data – добавление в сборку файлов данных; --add-binary – добавление в сборку бинарных файлов; --exclude-module – исключение модулей из исполняемого файла; --key – ключ шифрования AES256. Да, приложение не будет содержать исходного кода, но его можно декомпилировать, например, так: Pyinstaller Extractor (.exe → .pyc) и uncompile6 (.pyc → .py) . Для скрытия исходного кода можно обфусцировать байт-код Python с помощью шифрования. У PyInstaller есть ограничения. Он работает с Python 3.5–3.9. Поддерживает создание исполняемых файлов для разных операционных систем, но не умеет выполнять кросскомпиляцию, т. е. необходимо генерировать исполняемый файл для каждой ОС отдельно. Более того, исполняемый файл зависит от пользовательского glibc, т. е. необходимо генерировать исполняемый файл для самой старой версии каждой ОС. PyInstaller знает о многих Python-пакетах и умеет их учитывать при сборке исполняемого файла. Но не о всех. Например, фреймворк uvicorn практически весь нужно явно импортировать в файл, к которому будет применена команда pyinstaller. Полный список поддерживаемых из коробки пакетов можно посмотреть здесь . Cython Cython - это оптимизирующий статический компилятор как для языка программирования Python, так и для расширенного языка программирования Cython. С его помощью можно код на Python транслировать в С и затем скомпилировать в бинарник, совместимый с CPython. Компиляцию придется делать под все операционные системы и архитектуры процессора. Ставится Cython через pip: pip install Cython Рассмотрим его работу на примере с вычислением числа пи: Немного модифицируем нашу функцию: def approximate_pi(int n): cdef float step cdef float result cdef float x step = 1.0 / n result = 0.0 for i in range(n): x = (i + 0.5) step result += 4.0 / (1.0 + x * x) return step * result Cython → C: cython -2 pi_approximater.pyx -o pi_approximater.c Компилируем С-шный код: gcc -g -O2 -shared -o pi_approximater.so pi_approximater.c python-config --includes --ldflags -fPIC И замеряем время на бенчмарке: 3,66 секунды. А что делать, если в нашем проекте несколько файлов, которые нужно скомпилировать? Тогда нужно использовать так называемый сценарий сборки. С его помощью можно модернизировать сборку в зависимости от операционной системы, указывать несколько файлов, которые необходимо скомпилировать, и многое другое. Создадим файл build.py: from distutils.core import setup from Cython.Build import cythonize setup( ext_modules=cythonize("bench_cython.pyx"), ) Запустим: python build.py build_ext –-inplace В результате будет сгенерирован .so/.dll файл. Nuitka Nuitka способна упаковывать приложения Python в автономные исполняемые файлы, а также транслировать Python-код в С для его последующей компиляции. Работает с разными версиями Python (2.6, 2.7, 3.3 - 3.9). Ставится через pip: pip install nuitka Для генерации исполняемого файла достаточно выполнить команду: python -m nuitka --follow-import some_program.py Для компиляции модуля: python -m nuitka --module some_module.py Для компиляции пакета: python -m nuitka --module some_package --include-package = some_package Pythran Pythran – статический компилятор Python, позиционирующий себя как ориентированный на научные вычисления и использующий преимущества многоядерных процессоров и блоков инструкций SIMD. Он транслирует Python-код, аннотированный описаниями интерфейса, в C++. До версии 0.9.5 (включительно) Pythran поддерживал Python 3 и Python 2.7. Последние версии поддерживают только Python 3. Установка: pip install pythran Генерируем бинарный файл <имя файла>.so : pythran <имя файла>.py Pythran по умолчанию не умеет в пользовательские классы, поэтому при попытке их компиляции будет выброшена ошибка: Top level statements can only be assignments, strings,functions, comments, or imports Добавим комментарий аннотации функции: #pythran export approximate_pi(int) def approximate_pi(n): step = 1.0 / n result = 0 for i in range(n): x = (i + 0.5) * step result += 4.0 / (1.0 + x * x) return step * result Скомпилируем и бенчмарк выдает 0,00007 секунды. cx-Freeze cx-Freeze – это набор скриптов и модулей преобразования скриптов Python в исполняемые файлы. cx_Freeze - кроссплатформенный. Он поддерживает Python 3.5.2 и выше. Ставится с помощью pip: pip install cx_Freeze Для генерации исполняемого файла достаточно выполнить команду: cxfreeze <имя файла>.py Сборку можно настроить с помощью параметров командной строки: -h , --help - справка; -O - оптимизировать сгенерированный байт-код согласно PYTHONOPTIMIZE; -c , --compress - сжать байт-код в zip-файлах; -s , --silent - выводить только предупреждения и ошибки; --target-dir =DIR, --install-dir =DIR - каталог, в который следует поместить целевой файл и все зависимые файлы. Также возможно использование сценария сборки, например, так: import sys from cx_Freeze import setup, Executable # Dependencies are automatically detected, but it might need fine tuning. build_exe_options = {"packages": ["os"], "excludes": ["tkinter"]} # GUI applications require a different base on Windows (the default is for a # console application). base = None if sys.platform == "win32": base = "Win32GUI" setup( name = "guifoo", version = "0.1", description = "My GUI application!", options = {"build_exe": build_exe_options}, executables = [Executable("guifoo.py", base=base)]) Сборка исполняемого файла: python setup.py build JIT-компиляция Python JIT-компиляция не позволяет скрывать исходники или создавать автономный исполняемый файл, но дает возможность значительно ускорить выполнение программы. PyPy PyPy - интерпретатор языка программирования Python 2.7 и Python 3.7. Он написан на RPython и содержит: компилятор байт-кода, отвечающий за создание объектов кода Python из исходного кода пользовательского приложения; оценщик байт-кода, ответственный за интерпретацию объектов кода Python; стандартное объектное пространство, отвечающее за создание и управление объектами Python, видимыми приложением. PyPy поддерживает сотни библиотек Python, включая NumPy. Основные особенности (сравнение с CPython): Скорость. При выполнении длительно выполняющихся программ, когда значительная часть времени тратится на выполнение кода Python, PyPy может значительно ускорить ваш код. Использование памяти. Программы Python, требующие много памяти (несколько сотен Мб или более), могут занимать меньше места, чем в CPython. Однако это не всегда так, поскольку зависит от множества деталей. Также базовый уровень потребления оперативной памяти выше, чем у CPython. Скачать PyPy можно с здесь . После скачивания PyPy готов к запуску после распаковки архива. Если необходимо сделать PyPy доступным для всей системы, достаточно поместить символическую ссылку на исполняемый файл pypy в /usr/local/bin . Также можно поставить с помощью pyenv . PyPy работает на Mac, Linux (не все дистрибутивы) или Windows. Для запуска кода с помощью PyPy вместо команды python3 (как c помощью CPython) достаточно воспользоваться командой pypy3 : pypy3 something.py Pyston Pyston - это форк CPython 3.8.8 с дополнительной оптимизацией производительности. В настоящее время он поддерживает установку только из исходников. Или с помощью pyenv . В Pyston поддерживаются все возможности CPython, в том числе C API для разработки расширений на языке Си. Среди основных отличий Pyston от CPython помимо общих оптимизаций выделяется использование DynASM JIT и inline-кэширования . Заключение Итак, мы рассмотрели 5 фреймворков AOT-компиляции Python. Для любителей аналитики, ниже приведена таблица со сравнительным анализом. PyInstaller Cython Nuitka Pythran cx-Freeze Генерация автономных исполняемых файлов + - + - + Компиляция python-модуля в исполняемый файл, совместимый с CPython - + + + + Компиляция байт-кода Python + - + - + Трансляция Python в С/C++ - + + + - Кроссплатформенность + + + + + Кросскомпиляция - - - - - Среднее относительное время выполнения кода на различных версиях CPython, интерпретаторах с поддержкой JIT-компиляции и после сборки на фреймворках AOT-компиляции: Список литературы http://www.pyinstaller.org/ https://cython.org/ https://nuitka.net/ https://github.com/serge-sans-paille/pythran https://cx-freeze.readthedocs.io/en/latest/ https://github.com/pyston/pyston https://www.pypy.org/
Markdown	[Все потоки](https://habr.com/ru/articles/) [Войти](https://habr.com/kek/v1/auth/habrahabr/?back=/ru/companies/numdes/articles/581374/&hl=ru) [![](https://habrastorage.org/getpro/habr/company/d42/ce2/110/d42ce21104a442024a88c47bcf45a426.jpg)](https://habr.com/ru/companies/numdes/profile/) [Цифровое проектирование](https://habr.com/ru/companies/numdes/profile/) Наука и технологии 30 Подписчики Подписаться [![](https://habrastorage.org/r/w48/getpro/habr/avatars/8d2/8b6/a2f/8d28b6a2f57e234b64dc164f8639db37.jpg)](https://habr.com/ru/users/NumDes/) [NumDes](https://habr.com/ru/users/NumDes/) 6 окт 2021 в 12:56 # Компиляция Python 7 мин 123K [Блог компании Цифровое проектирование](https://habr.com/ru/companies/numdes/articles/)[Высоконагруженные системы \](https://habr.com/ru/hubs/hi/) [Python \](https://habr.com/ru/hubs/python/) [Программирование \](https://habr.com/ru/hubs/programming/) [Компиляторы \](https://habr.com/ru/hubs/compilers/) ![](https://habrastorage.org/r/w1560/getpro/habr/upload_files/991/60e/aaf/99160eaaf94489fa7c74a354f7dc1513.png) Предположим, вы разработали приложение или библиотеку на Python и уже готовитесь передать его / её заказчику. И в этот момент возникают вопросы, о которых многие даже не задумываются. Во-первых, так может оказаться, что вы разработали супер крутой алгоритм, которого ни у кого нет, и показывать его хочется только избранным. Во-вторых, возникает вопрос окружения - хочется быть уверенным, что заказчик справится с установкой правильной версии Python и всех вспомогательных библиотек, но это не всегда простая задача. Было бы удобно упаковать приложение в автономный исполняемый файл. И, наконец, хочется, чтобы конечное приложение работало быстрее, чем в среде разработки. И вот тут настало время скомпилировать Python-код. Меня зовут Руслан, я старший разработчик компании «Цифровое проектирование». Сегодня я расскажу, как выбрать тот самый компилятор из множества доступных. ## AOT/JIT Компиляция – это сборка программы, включающая: трансляцию всех модулей программы, написанных на языке программирования высокого уровня, в эквивалентные программные модули на низкоуровневом языке, близком к машинному коду, или на машинном языке и сборку исполняемой программы. Существует два вида компиляции: - AOT-компиляция (ahead-of-time) – компиляция перед исполнением программы. Т.е. программа компилируется один раз, в результате компиляции получается исполняемый файл. - JIT-компиляция (just-in-time) – компиляция во время исполнения программы. Т.е. программа (а точнее, блоки программы) компилируется много раз - при каждом запуске. ## Бенчмарк Так как одной из целей является ускорение, необходимо оценить, насколько быстро работает скомпилированный код. В качестве бенчмарка будем использовать [pyperfomance](https://pyperformance.readthedocs.io/). К сожалению, pyperfomance не подошел для Cython и Pythran, потому что не позволяет визуализировать все возможности языка. Ускорения для Cython без модификации кода получить не удалось, а Pythran не умеет в пользовательские классы. Для них воспользуемся вычислением числа пи: ``` ``` Эксперименты будем проводить на процессоре Intel Core i7 10510U. На CPython 3.9.7 время вычисления числа пи до 100.000.000 знака заняло 5.82 секунды. ## AOT-компиляция Python PyInstaller PyInstaller упаковывает приложения Python в автономные исполняемые файлы в Windows, GNU / Linux, Mac OS X, FreeBSD, Solaris и AIX. Устанавливается через pip: `pip install pyinstaller` После установки для создания исполняемого файла достаточно выполнить команду: `pyinstaller <имя_файла>.py` В результате будет создано: - *\.spec – файл спецификации (используется для ускорения будущих сборок приложения, связи файлов данных с приложением, для включения .dll и .so файлов, добавление в исполняемый файл параметров runtime-а Python); - build/ – директория с метаданными для сборки исполняемого файла; - dist/ – директория, содержащая все зависимости и исполняемый файл. Сборку приложения можно настроить с помощью параметров командной строки: - \--name – изменение имени исполняемого файла (по умолчанию, такое же, как у сценария); - \--onefile – создание только исполняемого файла (по умолчанию, папка с зависимостями и исполняемый файл); - \--hidden-import – перечисление импортов, которые PyInstaller не смог обнаружить автоматически; - \--add-data – добавление в сборку файлов данных; - \--add-binary – добавление в сборку бинарных файлов; - \--exclude-module – исключение модулей из исполняемого файла; - \--key – ключ шифрования AES256. Да, приложение не будет содержать исходного кода, но его можно декомпилировать, например, так: Pyinstaller Extractor (.exe → .pyc) и uncompile6 (.pyc → .py). Для скрытия исходного кода можно обфусцировать байт-код Python с помощью шифрования. У PyInstaller есть ограничения. Он работает с Python 3.5–3.9. Поддерживает создание исполняемых файлов для разных операционных систем, но не умеет выполнять кросскомпиляцию, т. е. необходимо генерировать исполняемый файл для каждой ОС отдельно. Более того, исполняемый файл зависит от пользовательского glibc, т. е. необходимо генерировать исполняемый файл для самой старой версии каждой ОС. PyInstaller знает о многих Python-пакетах и умеет их учитывать при сборке исполняемого файла. Но не о всех. Например, фреймворк uvicorn практически весь нужно явно импортировать в файл, к которому будет применена команда pyinstaller. Полный список поддерживаемых из коробки пакетов можно посмотреть [здесь](https://github.com/pyinstaller/pyinstaller/wiki/Supported-Packages). Cython Cython - это оптимизирующий статический компилятор как для языка программирования Python, так и для расширенного языка программирования Cython. С его помощью можно код на Python транслировать в С и затем скомпилировать в бинарник, совместимый с CPython. Компиляцию придется делать под все операционные системы и архитектуры процессора. Ставится Cython через pip: `pip install Cython` Рассмотрим его работу на примере с вычислением числа пи: 1. Немного модифицируем нашу функцию: ``` ``` 2. Cython → C: `cython -2 pi_approximater.pyx -o pi_approximater.c` 3. Компилируем С-шный код: `gcc -g -O2 -shared -o pi_approximater.so pi_approximater.c python-config --includes --ldflags -fPIC` 4. И замеряем время на бенчмарке: 3,66 секунды. А что делать, если в нашем проекте несколько файлов, которые нужно скомпилировать? Тогда нужно использовать так называемый сценарий сборки. С его помощью можно модернизировать сборку в зависимости от операционной системы, указывать несколько файлов, которые необходимо скомпилировать, и многое другое. Создадим файл build.py: ``` ``` Запустим: `python build.py build_ext –-inplace` В результате будет сгенерирован .so/.dll файл. Nuitka Nuitka способна упаковывать приложения Python в автономные исполняемые файлы, а также транслировать Python-код в С для его последующей компиляции. Работает с разными версиями Python (2.6, 2.7, 3.3 - 3.9). Ставится через pip: `pip install nuitka` Для генерации исполняемого файла достаточно выполнить команду: `python -m nuitka --follow-import some_program.py` Для компиляции модуля: `python -m nuitka --module some_module.py` Для компиляции пакета: `python -m nuitka --module some_package --include-package = some_package` Pythran Pythran – статический компилятор Python, позиционирующий себя как ориентированный на научные вычисления и использующий преимущества многоядерных процессоров и блоков инструкций SIMD. Он транслирует Python-код, аннотированный описаниями интерфейса, в C++. До версии 0.9.5 (включительно) Pythran поддерживал Python 3 и Python 2.7. Последние версии поддерживают только Python 3. Установка: `pip install pythran` Генерируем бинарный файл \<имя файла\>.so: `pythran <имя файла>.py` Pythran по умолчанию не умеет в пользовательские классы, поэтому при попытке их компиляции будет выброшена ошибка: > Top level statements can only be assignments, strings,functions, comments, or imports Добавим комментарий аннотации функции: ``` ``` Скомпилируем и бенчмарк выдает 0,00007 секунды. cx-Freeze cx-Freeze – это набор скриптов и модулей преобразования скриптов Python в исполняемые файлы. cx\_Freeze - кроссплатформенный. Он поддерживает Python 3.5.2 и выше. Ставится с помощью pip: `pip install cx_Freeze` Для генерации исполняемого файла достаточно выполнить команду: `cxfreeze <имя файла>.py` Сборку можно настроить с помощью параметров командной строки: - \-h, \--help - справка; - \-O - оптимизировать сгенерированный байт-код согласно PYTHONOPTIMIZE; - \-c, \--compress - сжать байт-код в zip-файлах; - \-s, \--silent - выводить только предупреждения и ошибки; - \--target-dir\=DIR, \--install-dir\=DIR - каталог, в который следует поместить целевой файл и все зависимые файлы. Также возможно использование сценария сборки, например, так: ``` ``` Сборка исполняемого файла: `python setup.py build` ## JIT-компиляция Python JIT-компиляция не позволяет скрывать исходники или создавать автономный исполняемый файл, но дает возможность значительно ускорить выполнение программы. PyPy PyPy - интерпретатор языка программирования Python 2.7 и Python 3.7. Он написан на RPython и содержит: - компилятор байт-кода, отвечающий за создание объектов кода Python из исходного кода пользовательского приложения; - оценщик байт-кода, ответственный за интерпретацию объектов кода Python; - стандартное объектное пространство, отвечающее за создание и управление объектами Python, видимыми приложением. PyPy поддерживает сотни библиотек Python, включая NumPy. Основные особенности (сравнение с CPython): - Скорость. При выполнении длительно выполняющихся программ, когда значительная часть времени тратится на выполнение кода Python, PyPy может значительно ускорить ваш код. - Использование памяти. Программы Python, требующие много памяти (несколько сотен Мб или более), могут занимать меньше места, чем в CPython. Однако это не всегда так, поскольку зависит от множества деталей. Также базовый уровень потребления оперативной памяти выше, чем у CPython. Скачать PyPy можно с [здесь](https://www.pypy.org/download.html). После скачивания PyPy готов к запуску после распаковки архива. Если необходимо сделать PyPy доступным для всей системы, достаточно поместить символическую ссылку на исполняемый файл pypy в /usr/local/bin. Также можно поставить с помощью pyenv. PyPy работает на Mac, Linux (не все дистрибутивы) или Windows. Для запуска кода с помощью PyPy вместо команды python3 (как c помощью CPython) достаточно воспользоваться командой pypy3: `pypy3 something.py` Pyston Pyston - это форк CPython 3.8.8 с дополнительной оптимизацией производительности. В настоящее время он поддерживает установку только из исходников. Или с помощью pyenv. В Pyston поддерживаются все возможности CPython, в том числе C API для разработки расширений на языке Си. Среди основных отличий Pyston от CPython помимо общих оптимизаций выделяется использование[DynASM JIT](https://luajit.org/dynasm.html) и[inline-кэширования](https://bugs.python.org/issue14757). ## Заключение Итак, мы рассмотрели 5 фреймворков AOT-компиляции Python. Для любителей аналитики, ниже приведена таблица со сравнительным анализом. \| \| \| \| \| \| \| \|---\|---\|---\|---\|---\|---\| \| \| PyInstaller \| Cython \| Nuitka \| Pythran \| cx-Freeze** \| \| Генерация автономных исполняемых файлов \| \+ \| \- \| \+ \| \- \| \+ \| \| Компиляция python-модуля в исполняемый файл, совместимый с CPython \| \- \| \+ \| \+ \| \+ \| \+ \| \| Компиляция байт-кода Python \| \+ \| \- \| \+ \| \- \| \+ \| \| Трансляция Python в С/C++ \| \- \| \+ \| \+ \| \+ \| \- \| \| Кроссплатформенность \| \+ \| \+ \| \+ \| \+ \| \+ \| \| Кросскомпиляция \| \- \| \- \| \- \| \- \| \- \| Среднее относительное время выполнения кода на различных версиях CPython, интерпретаторах с поддержкой JIT-компиляции и после сборки на фреймворках AOT-компиляции: ![](https://habrastorage.org/r/w1560/getpro/habr/upload_files/579/021/08d/57902108df33a9aa3734859ab9df7f0a.jpg) ![](https://habrastorage.org/r/w1560/getpro/habr/upload_files/350/a5c/2a9/350a5c2a95414192fa578eaf40b10f33.png) ## Список литературы 1. [http://www.pyinstaller.org/](http://www.pyinstaller.org/) 2. [https://cython.org/](https://cython.org/) 3. [https://nuitka.net/](https://nuitka.net/) 4. [https://github.com/serge-sans-paille/pythran](https://github.com/serge-sans-paille/pythran) 5. [https://cx-freeze.readthedocs.io/en/latest/](https://cx-freeze.readthedocs.io/en/latest/) 6. [https://github.com/pyston/pyston](https://github.com/pyston/pyston) 7. [https://www.pypy.org/](https://www.pypy.org/) Теги: - [python](https://habr.com/ru/search/?target_type=posts&order=relevance&q=[python]) - [jit-компилятор](https://habr.com/ru/search/?target_type=posts&order=relevance&q=[jit-%D0%BA%D0%BE%D0%BC%D0%BF%D0%B8%D0%BB%D1%8F%D1%82%D0%BE%D1%80]) - [aot](https://habr.com/ru/search/?target_type=posts&order=relevance&q=[aot]) - [pyinstaller](https://habr.com/ru/search/?target_type=posts&order=relevance&q=[pyinstaller]) - [cython](https://habr.com/ru/search/?target_type=posts&order=relevance&q=[cython]) - [nuitka](https://habr.com/ru/search/?target_type=posts&order=relevance&q=[nuitka]) - [cx\_freeze](https://habr.com/ru/search/?target_type=posts&order=relevance&q=[cx_freeze]) - [pypy](https://habr.com/ru/search/?target_type=posts&order=relevance&q=[pypy]) Хабы: - [Блог компании Цифровое проектирование](https://habr.com/ru/companies/numdes/articles/) - [Высоконагруженные системы](https://habr.com/ru/hubs/hi/) - [Python](https://habr.com/ru/hubs/python/) - [Программирование](https://habr.com/ru/hubs/programming/) - [Компиляторы](https://habr.com/ru/hubs/compilers/) \+10 194 [21](https://habr.com/ru/companies/numdes/articles/581374/comments/) [![](https://habrastorage.org/getpro/habr/company/d42/ce2/110/d42ce21104a442024a88c47bcf45a426.jpg)](https://habr.com/ru/companies/numdes/profile/) [Цифровое проектирование](https://habr.com/ru/companies/numdes/profile/) Наука и технологии [Сайт](https://numdes.com/)[Хабр Карьера](https://career.habr.com/companies/numdes)[ВКонтакте](https://vk.com/numdes)[Instagram](https://instagram.com/numdesgn) [![](https://habrastorage.org/getpro/habr/avatars/8d2/8b6/a2f/8d28b6a2f57e234b64dc164f8639db37.jpg)](https://habr.com/ru/users/NumDes/) 5 Карма Цифровое проектирование[@NumDes](https://habr.com/ru/users/NumDes/) Пользователь Подписаться Хабр доступен 24/7 благодаря поддержке друзей ![Хабр Карьера Курсы](https://habrastorage.org/webt/qq/ey/pn/qqeypn-py71suynxbusbakjdfjw.png) Хабр Курсы для всех РЕКЛАМА Практикум, Хекслет, SkyPro, авторские курсы — собрали всех и попросили скидки. Осталось выбрать\! [Перейти](https://career.habr.com/courses/?erid=2VSb5wDLYUH&utm_source=habr&utm_medium=sponsorship_hub) [Комментарии 21](https://habr.com/ru/companies/numdes/articles/581374/comments/) ## Публикации Лучшие за сутки Похожие ## Информация Сайт [numdes.com](https://numdes.com/) Дата регистрации 24 августа 2021 Численность 51–100 человек Местоположение Россия Ваш аккаунт - [Войти](https://habr.com/kek/v1/auth/habrahabr/?back=/ru/companies/numdes/articles/581374/&hl=ru) - [Регистрация](https://habr.com/kek/v1/auth/habrahabr-register/?back=/ru/companies/numdes/articles/581374/&hl=ru) Разделы - [Статьи](https://habr.com/ru/articles/) - [Новости](https://habr.com/ru/news/) - [Хабы](https://habr.com/ru/hubs/) - [Компании](https://habr.com/ru/companies/) - [Авторы](https://habr.com/ru/users/) - [Песочница](https://habr.com/ru/sandbox/) Информация - [Устройство сайта](https://habr.com/ru/docs/help/) - [Для авторов](https://habr.com/ru/docs/authors/codex/) - [Для компаний](https://habr.com/ru/docs/companies/corpblogs/) - [Документы](https://habr.com/ru/docs/docs/transparency/) - [Соглашение](https://account.habr.com/info/agreement/?hl=ru_RU) - [Конфиденциальность](https://account.habr.com/info/confidential/?hl=ru_RU) Услуги - [Корпоративный блог](https://company.habr.com/ru/corporate-blogs/) - [Медийная реклама](https://company.habr.com/ru/advertising/) - [Нативные проекты](https://company.habr.com/ru/native-special/) - [Образовательные программы](https://company.habr.com/ru/education-programs/) - [Стартапам](https://company.habr.com/ru/hello-startup/) Настройка языка [Техническая поддержка](https://habr.com/ru/feedback/) © 2006–2026, [Habr](https://company.habr.com/)
Readable Markdown	![](https://habrastorage.org/r/w1560/getpro/habr/upload_files/991/60e/aaf/99160eaaf94489fa7c74a354f7dc1513.png) Предположим, вы разработали приложение или библиотеку на Python и уже готовитесь передать его / её заказчику. И в этот момент возникают вопросы, о которых многие даже не задумываются. Во-первых, так может оказаться, что вы разработали супер крутой алгоритм, которого ни у кого нет, и показывать его хочется только избранным. Во-вторых, возникает вопрос окружения - хочется быть уверенным, что заказчик справится с установкой правильной версии Python и всех вспомогательных библиотек, но это не всегда простая задача. Было бы удобно упаковать приложение в автономный исполняемый файл. И, наконец, хочется, чтобы конечное приложение работало быстрее, чем в среде разработки. И вот тут настало время скомпилировать Python-код. Меня зовут Руслан, я старший разработчик компании «Цифровое проектирование». Сегодня я расскажу, как выбрать тот самый компилятор из множества доступных. ## AOT/JIT Компиляция – это сборка программы, включающая: трансляцию всех модулей программы, написанных на языке программирования высокого уровня, в эквивалентные программные модули на низкоуровневом языке, близком к машинному коду, или на машинном языке и сборку исполняемой программы. Существует два вида компиляции: - AOT-компиляция (ahead-of-time) – компиляция перед исполнением программы. Т.е. программа компилируется один раз, в результате компиляции получается исполняемый файл. - JIT-компиляция (just-in-time) – компиляция во время исполнения программы. Т.е. программа (а точнее, блоки программы) компилируется много раз - при каждом запуске. ## Бенчмарк Так как одной из целей является ускорение, необходимо оценить, насколько быстро работает скомпилированный код. В качестве бенчмарка будем использовать [pyperfomance](https://pyperformance.readthedocs.io/). К сожалению, pyperfomance не подошел для Cython и Pythran, потому что не позволяет визуализировать все возможности языка. Ускорения для Cython без модификации кода получить не удалось, а Pythran не умеет в пользовательские классы. Для них воспользуемся вычислением числа пи: ``` def approximate_pi(n): step = 1.0 / n result = 0 for i in range(n): x = (i + 0.5) * step result += 4.0 / (1.0 + x * x) return step * result ``` Эксперименты будем проводить на процессоре Intel Core i7 10510U. На CPython 3.9.7 время вычисления числа пи до 100.000.000 знака заняло 5.82 секунды. ## AOT-компиляция Python PyInstaller PyInstaller упаковывает приложения Python в автономные исполняемые файлы в Windows, GNU / Linux, Mac OS X, FreeBSD, Solaris и AIX. Устанавливается через pip: `pip install pyinstaller` После установки для создания исполняемого файла достаточно выполнить команду: `pyinstaller <имя_файла>.py` В результате будет создано: - *\.spec – файл спецификации (используется для ускорения будущих сборок приложения, связи файлов данных с приложением, для включения .dll и .so файлов, добавление в исполняемый файл параметров runtime-а Python); - build/ – директория с метаданными для сборки исполняемого файла; - dist/ – директория, содержащая все зависимости и исполняемый файл. Сборку приложения можно настроить с помощью параметров командной строки: - \--name – изменение имени исполняемого файла (по умолчанию, такое же, как у сценария); - \--onefile – создание только исполняемого файла (по умолчанию, папка с зависимостями и исполняемый файл); - \--hidden-import – перечисление импортов, которые PyInstaller не смог обнаружить автоматически; - \--add-data – добавление в сборку файлов данных; - \--add-binary – добавление в сборку бинарных файлов; - \--exclude-module – исключение модулей из исполняемого файла; - \--key – ключ шифрования AES256. Да, приложение не будет содержать исходного кода, но его можно декомпилировать, например, так: Pyinstaller Extractor (.exe → .pyc) и uncompile6 (.pyc → .py). Для скрытия исходного кода можно обфусцировать байт-код Python с помощью шифрования. У PyInstaller есть ограничения. Он работает с Python 3.5–3.9. Поддерживает создание исполняемых файлов для разных операционных систем, но не умеет выполнять кросскомпиляцию, т. е. необходимо генерировать исполняемый файл для каждой ОС отдельно. Более того, исполняемый файл зависит от пользовательского glibc, т. е. необходимо генерировать исполняемый файл для самой старой версии каждой ОС. PyInstaller знает о многих Python-пакетах и умеет их учитывать при сборке исполняемого файла. Но не о всех. Например, фреймворк uvicorn практически весь нужно явно импортировать в файл, к которому будет применена команда pyinstaller. Полный список поддерживаемых из коробки пакетов можно посмотреть [здесь](https://github.com/pyinstaller/pyinstaller/wiki/Supported-Packages). Cython Cython - это оптимизирующий статический компилятор как для языка программирования Python, так и для расширенного языка программирования Cython. С его помощью можно код на Python транслировать в С и затем скомпилировать в бинарник, совместимый с CPython. Компиляцию придется делать под все операционные системы и архитектуры процессора. Ставится Cython через pip: `pip install Cython` Рассмотрим его работу на примере с вычислением числа пи: 1. Немного модифицируем нашу функцию:** ``` def approximate_pi(int n): cdef float step cdef float result cdef float x step = 1.0 / n result = 0.0 for i in range(n): x = (i + 0.5) * step result += 4.0 / (1.0 + x * x) return step * result ``` 2. *Cython → C:* `cython -2 pi_approximater.pyx -o pi_approximater.c` 3. *Компилируем С-шный код:* `gcc -g -O2 -shared -o pi_approximater.so pi_approximater.c python-config --includes --ldflags -fPIC` 4. *И замеряем время на бенчмарке:* 3,66 секунды. А что делать, если в нашем проекте несколько файлов, которые нужно скомпилировать? Тогда нужно использовать так называемый сценарий сборки. С его помощью можно модернизировать сборку в зависимости от операционной системы, указывать несколько файлов, которые необходимо скомпилировать, и многое другое. Создадим файл build.py: ``` from distutils.core import setup from Cython.Build import cythonize setup( ext_modules=cythonize("bench_cython.pyx"), ) ``` Запустим: `python build.py build_ext –-inplace` В результате будет сгенерирован .so/.dll файл. Nuitka Nuitka способна упаковывать приложения Python в автономные исполняемые файлы, а также транслировать Python-код в С для его последующей компиляции. Работает с разными версиями Python (2.6, 2.7, 3.3 - 3.9). Ставится через pip: `pip install nuitka` Для генерации исполняемого файла достаточно выполнить команду: `python -m nuitka --follow-import some_program.py` Для компиляции модуля: `python -m nuitka --module some_module.py` Для компиляции пакета: `python -m nuitka --module some_package --include-package = some_package` Pythran Pythran – статический компилятор Python, позиционирующий себя как ориентированный на научные вычисления и использующий преимущества многоядерных процессоров и блоков инструкций SIMD. Он транслирует Python-код, аннотированный описаниями интерфейса, в C++. До версии 0.9.5 (включительно) Pythran поддерживал Python 3 и Python 2.7. Последние версии поддерживают только Python 3. Установка: `pip install pythran` Генерируем бинарный файл \<имя файла\>.so: `pythran <имя файла>.py` Pythran по умолчанию не умеет в пользовательские классы, поэтому при попытке их компиляции будет выброшена ошибка: > *Top level statements can only be assignments, strings,functions, comments, or imports* Добавим комментарий аннотации функции: ``` #pythran export approximate_pi(int) def approximate_pi(n): step = 1.0 / n result = 0 for i in range(n): x = (i + 0.5) * step result += 4.0 / (1.0 + x * x) return step * result ``` Скомпилируем и бенчмарк выдает 0,00007 секунды. cx-Freeze cx-Freeze – это набор скриптов и модулей преобразования скриптов Python в исполняемые файлы. cx\_Freeze - кроссплатформенный. Он поддерживает Python 3.5.2 и выше. Ставится с помощью pip: `pip install cx_Freeze` Для генерации исполняемого файла достаточно выполнить команду: `cxfreeze <имя файла>.py` Сборку можно настроить с помощью параметров командной строки: - \-h, \--help - справка; - \-O - оптимизировать сгенерированный байт-код согласно PYTHONOPTIMIZE; - \-c, \--compress - сжать байт-код в zip-файлах; - \-s, \--silent - выводить только предупреждения и ошибки; - \--target-dir\=DIR, \--install-dir\=DIR - каталог, в который следует поместить целевой файл и все зависимые файлы. Также возможно использование сценария сборки, например, так: ``` import sys from cx_Freeze import setup, Executable # Dependencies are automatically detected, but it might need fine tuning. build_exe_options = {"packages": ["os"], "excludes": ["tkinter"]} # GUI applications require a different base on Windows (the default is for a # console application). base = None if sys.platform == "win32": base = "Win32GUI" setup( name = "guifoo", version = "0.1", description = "My GUI application!", options = {"build_exe": build_exe_options}, executables = [Executable("guifoo.py", base=base)]) ``` Сборка исполняемого файла: `python setup.py build` ## JIT-компиляция Python JIT-компиляция не позволяет скрывать исходники или создавать автономный исполняемый файл, но дает возможность значительно ускорить выполнение программы. PyPy PyPy - интерпретатор языка программирования Python 2.7 и Python 3.7. Он написан на RPython и содержит: - компилятор байт-кода, отвечающий за создание объектов кода Python из исходного кода пользовательского приложения; - оценщик байт-кода, ответственный за интерпретацию объектов кода Python; - стандартное объектное пространство, отвечающее за создание и управление объектами Python, видимыми приложением. PyPy поддерживает сотни библиотек Python, включая NumPy. Основные особенности (сравнение с CPython): - Скорость. При выполнении длительно выполняющихся программ, когда значительная часть времени тратится на выполнение кода Python, PyPy может значительно ускорить ваш код. - Использование памяти. Программы Python, требующие много памяти (несколько сотен Мб или более), могут занимать меньше места, чем в CPython. Однако это не всегда так, поскольку зависит от множества деталей. Также базовый уровень потребления оперативной памяти выше, чем у CPython. Скачать PyPy можно с [здесь](https://www.pypy.org/download.html). После скачивания PyPy готов к запуску после распаковки архива. Если необходимо сделать PyPy доступным для всей системы, достаточно поместить символическую ссылку на исполняемый файл pypy в /usr/local/bin. Также можно поставить с помощью pyenv. PyPy работает на Mac, Linux (не все дистрибутивы) или Windows. Для запуска кода с помощью PyPy вместо команды python3 (как c помощью CPython) достаточно воспользоваться командой pypy3: `pypy3 something.py` Pyston Pyston - это форк CPython 3.8.8 с дополнительной оптимизацией производительности. В настоящее время он поддерживает установку только из исходников. Или с помощью pyenv. В Pyston поддерживаются все возможности CPython, в том числе C API для разработки расширений на языке Си. Среди основных отличий Pyston от CPython помимо общих оптимизаций выделяется использование[DynASM JIT](https://luajit.org/dynasm.html) и[inline-кэширования](https://bugs.python.org/issue14757). ## Заключение Итак, мы рассмотрели 5 фреймворков AOT-компиляции Python. Для любителей аналитики, ниже приведена таблица со сравнительным анализом. \| \| \| \| \| \| \| \|---\|---\|---\|---\|---\|---\| \| \| PyInstaller \| Cython \| Nuitka \| Pythran \| cx-Freeze \| \| Генерация автономных исполняемых файлов \| \+ \| \- \| \+ \| \- \| \+ \| \| Компиляция python-модуля в исполняемый файл, совместимый с CPython \| \- \| \+ \| \+ \| \+ \| \+ \| \| Компиляция байт-кода Python \| \+ \| \- \| \+ \| \- \| \+ \| \| Трансляция Python в С/C++ \| \- \| \+ \| \+ \| \+ \| \- \| \| Кроссплатформенность \| \+ \| \+ \| \+ \| \+ \| \+ \| \| Кросскомпиляция \| \- \| \- \| \- \| \- \| \- \| Среднее относительное время выполнения кода на различных версиях CPython, интерпретаторах с поддержкой JIT-компиляции и после сборки на фреймворках AOT-компиляции: ![](https://habrastorage.org/r/w1560/getpro/habr/upload_files/579/021/08d/57902108df33a9aa3734859ab9df7f0a.jpg) ![](https://habrastorage.org/r/w1560/getpro/habr/upload_files/350/a5c/2a9/350a5c2a95414192fa578eaf40b10f33.png) ## Список литературы 1. [http://www.pyinstaller.org/](http://www.pyinstaller.org/) 2. [https://cython.org/](https://cython.org/) 3. [https://nuitka.net/](https://nuitka.net/) 4. [https://github.com/serge-sans-paille/pythran](https://github.com/serge-sans-paille/pythran) 5. [https://cx-freeze.readthedocs.io/en/latest/](https://cx-freeze.readthedocs.io/en/latest/) 6. [https://github.com/pyston/pyston](https://github.com/pyston/pyston) 7. [https://www.pypy.org/](https://www.pypy.org/)
Shard	134 (laksa)
Root Hash	14843476518697139734
Unparsed URL	com,habr!/ru/companies/numdes/articles/581374/ s443