🕷️ Crawler Inspector

URL Lookup

Direct Parameter Lookup

Raw Queries and Responses

1. Shard Calculation

Query:

Response:

Calculated Shard: 91 (from laksa176)

2. Crawled Status Check

Query:

curl -X POST \
  'http://laksa091.int.ahrefs:8124/' \
  -H 'Content-Type: text/plain' \
  -H 'X-ClickHouse-Database: crawler3' \
  -H 'Authorization: Basic YXBpOg==' \
  -d 'SELECT getAhrefsURLFromUnparsed(src_unparsed) AS found_url, ifNull(toUnixTimestamp(download_stamp), 0) AS crawl_time, ifNull(toUnixTimestamp(props_url_first_seen), 0) AS first_indexed_time, download_http_code AS http_code, src_unparsed AS src_unparsed, src_root_hash AS src_root_hash, history_drop_reason AS history_drop_reason, meta_title AS meta_title, meta_descriptions AS meta_descriptions, attrs_boilerpipe_text AS attrs_boilerpipe_text, attrs_markdown AS attrs_markdown, attrs_readable_markdown AS attrs_readable_markdown, meta_canonical AS meta_canonical FROM crawler3.page_info_local FINAL PREWHERE (src_root_hash, src_unparsed) IN ((getAhrefsRootHashFromUnparsed(getAhrefsUnparsedNoserviceFromURL(\'https://otus.ru/nest/post/390/\')), getAhrefsUnparsedNoserviceFromURL(\'https://otus.ru/nest/post/390/\'))) FORMAT JSONEachRow'

Response:

{"found_url":"https:\/\/otus.ru\/nest\/post\/390\/","crawl_time":1775574501,"first_indexed_time":1538999773,"http_code":200,"src_unparsed":"ru,otus!\/nest\/post\/390\/ s443","src_root_hash":"10530217490906537691","history_drop_reason":null,"meta_title":"Как проще всего избежать ограничений GIL? | OTUS","meta_descriptions":["Как проще всего избежать ограничений GIL? в OTUS, только интересные посты!"],"attrs_boilerpipe_text":"Теги: python, gil, global interpreter lock, multiprocessing, fork, read-only кэш, copy-on-write, top, ps, rss, vms, reference counting, shared memory, mmap\nМногие из вас знают, что в Python есть\nGIL\n–\nGlobal Interpreter Lock\n, тот самый, который не даёт запускать несколько потоков и нагружать ядра процессора. Отчасти это так, но за\nGIL\nв Python скрывается очень много всего.\nИ вот несколько фактов о нём:\n—\nGIL\nбудет всегда. Но это не точно.\n— Захват\nGIL\n– одна из первых инструкций, которая выполняется в начале работы вашего кода.\n— Блокировка переключается каждые 100 инструкций байт-кода до версии 3.2.\n— Однако в Python до версии 3.2 у нас была возможность управлять этой цифрой. После – нет.\n— Всё потому, что в Python 3.2 и выше\nGIL\nбыл очень сильно переписан. Теперь блокировка переключается по времени.\n— Потоки соревнуются за захват\nGIL\n, у некоторых из них, например, тех, которые активно занимаются вводом\\выводом, это получается чаще.\n— До версии 3.2 есть тонкости обработки сигналов при многопоточном коде – ваш код иногда может не получить сигнал от ОС.\n— Планированием выполнения потоков занимается ОС, а Python только говорит ей, как ему бы хотелось.\n— Вы можете обойти ограничения в своём коде при помощи multiprocessing.\n— Или написав своё Python C Extension.\nРассмотрим один из самых очевидных способов избежать ограничений\nGIL\n’а при выполнении\nCPU-intensive\nзадач.\nМодуль multiprocessing\nЗапускай по процессу на ядро и вперёд! К сожалению, очевидный способ не значит, что простой. Допустим, запускается процесс, который\nfork\n’ает дочерний процесс, но перед этим загружает в память какой-нибудь большой\nread-only кэш\n, необходимый этим процессам для функционирования.\nВот это класс! Казалось бы, за счёт\ncopy-on-write\n(предполагаем Linux) оба процесса будут\nвидеть\nодин и тот же кэш, но дублировать его в памяти не придётся. В\ntop\n(ну или\nps\n) увидим, что у процессов\nRSS\n(\nResident Set Size\n) меньше\nVMS\n(\nVirtual Memory Size\n). А если кто-то из них и решит туда записать, то ОС скопирует в его адресное пространство только нужные страницы.\nВсё так, но есть нюансы\nВ Python управление памятью осуществляется с помощью\nreference counting\n. И даже простой цикл по списку, например, вызывает увеличение счётчика ссылок находящихся в нём объектов. То есть, скорее всего, наш большой кэш не останется надолго в общей памяти, а быстро скопируется в адресные пространства процессов.\nЧтобы этого избежать нужно положить кэш в\nshared memory\n, то есть разделяемую память, которая является общей для обоих процессов.\nMultiprocessing\nдаёт нам такую возможность, но выбор опций достаточно скудный: можно создать одно значение или массив. Для чего-то более сложного придётся использовать\nmmap\n, но программировать это будет ещё сложнее.\nЕсть вопрос? Напишите в комментариях!","attrs_markdown":"![](https:\/\/vk.com\/rtrg?p=VK-RTRG-410987-bLXUv)\n\n![Top.Mail.Ru](https:\/\/top-fwz1.mail.ru\/counter?id=3316675;js=na)\n\n\\>\n\nСкидка 10% на курсы из спецкаталога — до 19 апреля\n\nСкидка 10% на курсы из спецкаталога — до 19 апреля\n\n[Выбрать курс](https:\/\/otus.ru\/catalog\/courses?utm_source=banner_course%20&utm_medium=chank&utm_campaign=general_site&utm_content=tayshie_skidki&utm_term=05-04-2026-19-04-2026)\n\n[![Logo](https:\/\/otus.ru\/static\/img\/logos\/logo-2022-without-text.svg)](https:\/\/otus.ru\/)\n\nОбучение\n\nНаправления\n\n[Программирование (115)](https:\/\/otus.ru\/categories\/programming\/)   [Архитектура (17)](https:\/\/otus.ru\/categories\/architecture\/)   [Data Science (27)](https:\/\/otus.ru\/categories\/data-science\/)   [Инфраструктура (59)](https:\/\/otus.ru\/categories\/operations\/)   [GameDev (6)](https:\/\/otus.ru\/categories\/gamedev\/)   [Безопасность (15)](https:\/\/otus.ru\/categories\/information-security-courses\/)   [Управление (44)](https:\/\/otus.ru\/categories\/marketing-business\/)   [Аналитика и анализ (25)](https:\/\/otus.ru\/categories\/analytics\/)   [Бизнес и продукт в IT (26)](https:\/\/otus.ru\/categories\/business-product\/)   [Импортозамещение (15)](https:\/\/otus.ru\/categories\/import-substitution\/)   [Тестирование (13)](https:\/\/otus.ru\/categories\/testing\/)   [Нейросети (11)](https:\/\/otus.ru\/categories\/neural_networks\/)   [IT без программирования (19)](https:\/\/otus.ru\/categories\/it-bez-programmirovanija\/)   [Корпоративные курсы (27)](https:\/\/otus.ru\/categories\/corporate\/)\n\nСобытия\n\n[Календарь запуска курсов](https:\/\/otus.ru\/lessons\/calendar\/2026\/)   [Календарь мероприятий](https:\/\/otus.ru\/events\/near\/)\n\nДругое\n\n[Специализации (13)](https:\/\/otus.ru\/categories\/spec\/)   [Подготовительные курсы (14)](https:\/\/otus.ru\/categories\/online\/)   [Подписка на курсы](https:\/\/otus.ru\/subscription)   [Проверьте свои знания](https:\/\/otus.ru\/tests)\n\nOTUS рекомендует\n\n[![](https:\/\/cdn.otus.ru\/media\/public\/59\/36\/59360345524945519b0ce36c515bfb2a.svg) ![](https:\/\/cdn.otus.ru\/media\/public\/af\/48\/af48fcf685a649f8a486c864d52b8470.svg) Курс Скидка 15600 ₽ Технический директор \/ CTO 9 апреля , 2026 · 5 месяцев](https:\/\/otus.ru\/lessons\/cto\/)\n\nИнформация\n\nOTUS\n\n[О компании](https:\/\/otus.ru\/about)   [СМИ о нас](https:\/\/otus.ru\/smi\/)   [OTUS Журнал](https:\/\/otus.ru\/journal\/)   [OTUS Директ](https:\/\/direct.otus.ru\/)   [Сведения об образовательной организации](https:\/\/otus.ru\/legal\/common\/)   [Контактная информация](https:\/\/otus.ru\/contacts\/)\n\nСтудентам\n\n[Отзывы](https:\/\/otus.ru\/reviews)   [Как выбрать курс](https:\/\/landing.otus.ru\/about-otus)   [Истории выпускников](https:\/\/landing.otus.ru\/gallery)   [Наши преподаватели](https:\/\/otus.ru\/instructors\/)   [Наши партнеры](https:\/\/otus.ru\/employers\/all\/)   [Программа лояльности](https:\/\/otus.ru\/about\/loyalty\/)   [Вопросы и ответы](https:\/\/otus.ru\/faq\/)\n\nПреподавателям\n\n[Стать преподавателем](https:\/\/otus.ru\/teach\/)   [Наши преподаватели](https:\/\/otus.ru\/instructors\/)   [База знаний](https:\/\/otus.ru\/nest\/dlja-prepodavatelej\/)\n\nOTUS рекомендует\n\n[![](https:\/\/cdn.otus.ru\/media\/public\/59\/36\/59360345524945519b0ce36c515bfb2a.svg) ![](https:\/\/cdn.otus.ru\/media\/public\/af\/48\/af48fcf685a649f8a486c864d52b8470.svg) Курс Скидка 15600 ₽ Технический директор \/ CTO 9 апреля , 2026 · 5 месяцев](https:\/\/otus.ru\/lessons\/cto\/)\n\nОтветим на ваши вопросы\n\n[\\+7 499 938-92-02](<tel:+7 499 938-92-02>)\n\n[Компаниям](https:\/\/otus.ru\/b2b)\n\nЗарегистрироваться\n\nВойти\n\n- Обучение\n- Информация\n- Компаниям\n\nНаправления\n\n[Программирование (115)](https:\/\/otus.ru\/categories\/programming\/)   [Архитектура (17)](https:\/\/otus.ru\/categories\/architecture\/)   [Data Science (27)](https:\/\/otus.ru\/categories\/data-science\/)   [Инфраструктура (59)](https:\/\/otus.ru\/categories\/operations\/)   [GameDev (6)](https:\/\/otus.ru\/categories\/gamedev\/)   [Безопасность (15)](https:\/\/otus.ru\/categories\/information-security-courses\/)   [Управление (44)](https:\/\/otus.ru\/categories\/marketing-business\/)   [Аналитика и анализ (25)](https:\/\/otus.ru\/categories\/analytics\/)   [Бизнес и продукт в IT (26)](https:\/\/otus.ru\/categories\/business-product\/)   [Импортозамещение (15)](https:\/\/otus.ru\/categories\/import-substitution\/)   [Тестирование (13)](https:\/\/otus.ru\/categories\/testing\/)   [Нейросети (11)](https:\/\/otus.ru\/categories\/neural_networks\/)   [IT без программирования (19)](https:\/\/otus.ru\/categories\/it-bez-programmirovanija\/)   [Корпоративные курсы (27)](https:\/\/otus.ru\/categories\/corporate\/)\n\nСобытия\n\n[Календарь запуска курсов](https:\/\/otus.ru\/lessons\/calendar\/2026\/)   [Календарь мероприятий](https:\/\/otus.ru\/events\/near\/)\n\nДругое\n\n[Специализации (13)](https:\/\/otus.ru\/categories\/spec\/)   [Подготовительные курсы (14)](https:\/\/otus.ru\/categories\/online\/)   [Подписка на курсы](https:\/\/otus.ru\/subscription)   [Проверьте свои знания](https:\/\/otus.ru\/tests)\n\nOTUS рекомендует\n\n[![](https:\/\/cdn.otus.ru\/media\/public\/59\/36\/59360345524945519b0ce36c515bfb2a.svg) ![](https:\/\/cdn.otus.ru\/media\/public\/af\/48\/af48fcf685a649f8a486c864d52b8470.svg) Курс Скидка 15600 ₽ Технический директор \/ CTO 9 апреля , 2026 · 5 месяцев](https:\/\/otus.ru\/lessons\/cto\/)\n\nOTUS\n\n[О компании](https:\/\/otus.ru\/about)   [СМИ о нас](https:\/\/otus.ru\/smi\/)   [OTUS Журнал](https:\/\/otus.ru\/journal\/)   [OTUS Директ](https:\/\/direct.otus.ru\/)   [Сведения об образовательной организации](https:\/\/otus.ru\/legal\/common\/)   [Контактная информация](https:\/\/otus.ru\/contacts\/)\n\nСтудентам\n\n[Отзывы](https:\/\/otus.ru\/reviews)   [Как выбрать курс](https:\/\/landing.otus.ru\/about-otus)   [Истории выпускников](https:\/\/landing.otus.ru\/gallery)   [Наши преподаватели](https:\/\/otus.ru\/instructors\/)   [Наши партнеры](https:\/\/otus.ru\/employers\/all\/)   [Программа лояльности](https:\/\/otus.ru\/about\/loyalty\/)   [Вопросы и ответы](https:\/\/otus.ru\/faq\/)\n\nПреподавателям\n\n[Стать преподавателем](https:\/\/otus.ru\/teach\/)   [Наши преподаватели](https:\/\/otus.ru\/instructors\/)   [База знаний](https:\/\/otus.ru\/nest\/dlja-prepodavatelej\/)\n\nOTUS рекомендует\n\n[![](https:\/\/cdn.otus.ru\/media\/public\/59\/36\/59360345524945519b0ce36c515bfb2a.svg) ![](https:\/\/cdn.otus.ru\/media\/public\/af\/48\/af48fcf685a649f8a486c864d52b8470.svg) Курс Скидка 15600 ₽ Технический директор \/ CTO 9 апреля , 2026 · 5 месяцев](https:\/\/otus.ru\/lessons\/cto\/)\n\nОтветим на ваши вопросы\n\n[\\+7 499 938-92-02](<tel:+7 499 938-92-02>)\n\n[Блоги](https:\/\/otus.ru\/nest\/ \"Блоги\")  [Посты](https:\/\/otus.ru\/nest\/posts\/ \"Посты\")   [Лучшие](https:\/\/otus.ru\/nest\/best\/ \"Лучшие\")  [Участники](https:\/\/otus.ru\/nest\/users\/ \"Участники\")\n\n[Блоги](https:\/\/otus.ru\/nest\/ \"Блоги\")  [Посты](https:\/\/otus.ru\/nest\/posts\/ \"Посты\")   [Лучшие](https:\/\/otus.ru\/nest\/best\/ \"Лучшие\")  [Участники](https:\/\/otus.ru\/nest\/users\/ \"Участники\")\n\n[Станислав](https:\/\/otus.ru\/profile\/2528\/)\n\n08\\.10.18 в 09:39\n# Как проще всего избежать ограничений GIL?\n[Python](https:\/\/otus.ru\/nest\/python\/ \"Python\") → [Полезные материалы по Python](https:\/\/otus.ru\/nest\/python-art\/ \"Полезные материалы по Python\")\n\nТеги: python, gil, global interpreter lock, multiprocessing, fork, read-only кэш, copy-on-write, top, ps, rss, vms, reference counting, shared memory, mmap\n\n![Python\\_Deep\\_8-5020-a10ed2.10\\_site.png](https:\/\/cdn.otus.ru\/media\/public\/a1\/0e\/Python_Deep_8-5020-a10ed2.10_site.png)\n\nМногие из вас знают, что в Python есть **GIL** – *Global Interpreter Lock*, тот самый, который не даёт запускать несколько потоков и нагружать ядра процессора. Отчасти это так, но за **GIL** в Python скрывается очень много всего.И вот несколько фактов о нём:\n\n— **GIL** будет всегда. Но это не точно. — Захват **GIL** – одна из первых инструкций, которая выполняется в начале работы вашего кода. — Блокировка переключается каждые 100 инструкций байт-кода до версии 3.2. — Однако в Python до версии 3.2 у нас была возможность управлять этой цифрой. После – нет. — Всё потому, что в Python 3.2 и выше **GIL** был очень сильно переписан. Теперь блокировка переключается по времени. — Потоки соревнуются за захват **GIL**, у некоторых из них, например, тех, которые активно занимаются вводом\\\\выводом, это получается чаще. — До версии 3.2 есть тонкости обработки сигналов при многопоточном коде – ваш код иногда может не получить сигнал от ОС. — Планированием выполнения потоков занимается ОС, а Python только говорит ей, как ему бы хотелось. — Вы можете обойти ограничения в своём коде при помощи multiprocessing. — Или написав своё Python C Extension.\n\nРассмотрим один из самых очевидных способов избежать ограничений **GIL**’а при выполнении **CPU-intensive** задач.\n\n## Модуль multiprocessing\nЗапускай по процессу на ядро и вперёд! К сожалению, очевидный способ не значит, что простой. Допустим, запускается процесс, который **fork**’ает дочерний процесс, но перед этим загружает в память какой-нибудь большой **read-only кэш**, необходимый этим процессам для функционирования.\n\nВот это класс! Казалось бы, за счёт **copy-on-write** (предполагаем Linux) оба процесса будут *видеть* один и тот же кэш, но дублировать его в памяти не придётся. В **top** (ну или **ps**) увидим, что у процессов **RSS** (*Resident Set Size*) меньше **VMS** (*Virtual Memory Size*). А если кто-то из них и решит туда записать, то ОС скопирует в его адресное пространство только нужные страницы.\n\n## Всё так, но есть нюансы\nВ Python управление памятью осуществляется с помощью **reference counting**. И даже простой цикл по списку, например, вызывает увеличение счётчика ссылок находящихся в нём объектов. То есть, скорее всего, наш большой кэш не останется надолго в общей памяти, а быстро скопируется в адресные пространства процессов.\n\nЧтобы этого избежать нужно положить кэш в **shared memory**, то есть разделяемую память, которая является общей для обоих процессов. **Multiprocessing** даёт нам такую возможность, но выбор опций достаточно скудный: можно создать одно значение или массив. Для чего-то более сложного придётся использовать **mmap**, но программировать это будет ещё сложнее.\n\n*Есть вопрос? Напишите в комментариях\\!*\n\nПоделиться\n\n8\n\n[0](https:\/\/otus.ru\/nest\/post\/390\/#comments)\n\n63\n\nАвтор\n\n[Станислав](https:\/\/otus.ru\/profile\/2528\/)\n\nРейтинг:\n\n\\+300\n\n3229 дней\n\nПохожие посты\n\n[Get ready to run back: ещё одна проблема регулярных выражений](https:\/\/otus.ru\/nest\/post\/140\/ \"Get ready to run back: ещё одна проблема регулярных выражений\")\n\n[0](https:\/\/otus.ru\/nest\/post\/140\/#comments)\n\n[\\+18](https:\/\/otus.ru\/nest\/post\/140\/#author_block)\n\n[MergeSort + InsertionSort + хитрые эвристики = ?](https:\/\/otus.ru\/nest\/post\/144\/ \"MergeSort + InsertionSort + хитрые эвристики = ?\")\n\n[0](https:\/\/otus.ru\/nest\/post\/144\/#comments)\n\n[\\+13](https:\/\/otus.ru\/nest\/post\/144\/#author_block)\n\n[Подводный камень в Default-настройках СУБД](https:\/\/otus.ru\/nest\/post\/149\/ \"Подводный камень в Default-настройках СУБД\")\n\n[1](https:\/\/otus.ru\/nest\/post\/149\/#comments)\n\n[\\+19](https:\/\/otus.ru\/nest\/post\/149\/#author_block)\n\n[Расстояние Вассерштейна: WGAN и 2 кучи земли](https:\/\/otus.ru\/nest\/post\/182\/ \"Расстояние Вассерштейна: WGAN и 2 кучи земли\")\n\n[0](https:\/\/otus.ru\/nest\/post\/182\/#comments)\n\n[\\+11](https:\/\/otus.ru\/nest\/post\/182\/#author_block)\n\n[Adversarial Autoencoders: порождение дискретных объектов](https:\/\/otus.ru\/nest\/post\/183\/ \"Adversarial Autoencoders: порождение дискретных объектов\")\n\n[0](https:\/\/otus.ru\/nest\/post\/183\/#comments)\n\n[\\+15](https:\/\/otus.ru\/nest\/post\/183\/#author_block)\n\n0 комментариев\n\nДля комментирования необходимо [авторизоваться](https:\/\/otus.ru\/login\/?next=https%3A%2F%2Fotus.ru%2Fnest%2Fpost%2F390%2F)\n\nПопулярное\n\nСегодня тут пусто\n\nПосещая наш сайт, вы принимаете [политику использования cookie-файлов](https:\/\/otus.ru\/legal\/cookie\/)\n\nОК\n\n[О нас](https:\/\/otus.ru\/about \"О нас\")\n\n[СМИ о нас](https:\/\/otus.ru\/smi\/ \"СМИ о нас\")\n\n[Отзывы](https:\/\/otus.ru\/reviews \"Отзывы\")\n\n[Контакты](https:\/\/otus.ru\/contacts\/ \"Контакты\")\n\n[Блог](https:\/\/otus.ru\/journal\/ \"Блог\")\n\n[FAQ](https:\/\/otus.ru\/faq\/ \"FAQ\")\n\n[Канал в Telegram](https:\/\/ttttt.me\/Otusjava)\n\n[Группа в Telegram](https:\/\/ttttt.me\/joinchat\/JMakp0NXc-L8nNneHCtx7A)\n\n[Корпоративное обучение](https:\/\/otus.ru\/b2b \"Корпоративное обучение\")\n\n[Каталог курсов](https:\/\/otus.ru\/lessons\/ \"Каталог курсов\")\n\n[Программы лояльности](https:\/\/otus.ru\/about\/loyalty\/ \"Программы лояльности\")\n\n[Каталог профессий](https:\/\/otus.ru\/professions\/ \"Каталог профессий\")\n\n[Наши партнеры](https:\/\/otus.ru\/employers\/all\/ \"Наши партнеры\")\n\n[Стать преподавателем](https:\/\/otus.ru\/teach\/ \"Стать преподавателем\")\n\nПодписка на новости IT, анонсы открытых уроков, спец. предложения\n\nПо всем вопросам пишите на [help@otus.ru](mailto:help@otus.ru \"help@otus.ru\")\n\n[Сведения об образовательной организации](https:\/\/otus.ru\/legal\/common\/ \"Сведения об образовательной организации\")\n\n[OTUS является аккредитованной IT-компанией](https:\/\/otus.ru\/legal\/it_company_accreditation\/ \"OTUS является аккредитованной IT-компанией\")\n\n[Сведения о рекомендательных технологиях](https:\/\/otus.ru\/legal\/recommendations\/ \"Сведения о рекомендательных технологиях\")\n\n[В реестре отечественного ПО №24216](https:\/\/reestr.digital.gov.ru\/reestr\/2704482\/ \"В реестре отечественного ПО №24216\")\n\n© 2015-2026 OTUS\n\n[Условия использования сервиса](https:\/\/otus.ru\/legal\/terms\/ \"Условия использования сервиса\")\n\nПремия Рунета   \n2018\n\nПремия Рунета   \n2018\n\nПодписка на новости IT, анонсы открытых уроков, спец. предложения\n\nПо всем вопросам пишите на [help@otus.ru](mailto:help@otus.ru \"help@otus.ru\")\n\n[Сведения об образовательной организации](https:\/\/otus.ru\/legal\/common\/ \"Сведения об образовательной организации\")\n\n[OTUS является аккредитованной IT-компанией](https:\/\/otus.ru\/legal\/it_company_accreditation\/ \"OTUS является аккредитованной IT-компанией\")\n\n[Сведения о рекомендательных технологиях](https:\/\/otus.ru\/legal\/recommendations\/ \"Сведения о рекомендательных технологиях\")\n\n[В реестре отечественного ПО №24216](https:\/\/reestr.digital.gov.ru\/reestr\/2704482\/ \"В реестре отечественного ПО №24216\")\n\n[Канал в Telegram](https:\/\/ttttt.me\/Otusjava)\n\n[Группа в Telegram](https:\/\/ttttt.me\/joinchat\/JMakp0NXc-L8nNneHCtx7A)\n\n[Корпоративное обучение](https:\/\/otus.ru\/b2b \"Корпоративное обучение\")\n\n[Каталог курсов](https:\/\/otus.ru\/lessons\/ \"Каталог курсов\")\n\n[Программы лояльности](https:\/\/otus.ru\/about\/loyalty\/ \"Программы лояльности\")\n\n[Каталог профессий](https:\/\/otus.ru\/professions\/ \"Каталог профессий\")\n\n[Наши партнеры](https:\/\/otus.ru\/employers\/all\/ \"Наши партнеры\")\n\n[Стать преподавателем](https:\/\/otus.ru\/teach\/ \"Стать преподавателем\")\n\n[О нас](https:\/\/otus.ru\/about \"О нас\")\n\n[СМИ о нас](https:\/\/otus.ru\/smi\/ \"СМИ о нас\")\n\n[Отзывы](https:\/\/otus.ru\/reviews \"Отзывы\")\n\n[Контакты](https:\/\/otus.ru\/contacts\/ \"Контакты\")\n\n[Блог](https:\/\/otus.ru\/journal\/ \"Блог\")\n\n[FAQ](https:\/\/otus.ru\/faq\/ \"FAQ\")\n\n© 2015-2026 OTUS\n\n[Пользовательское соглашение](https:\/\/otus.ru\/legal\/terms\/ \"Пользовательское соглашение\")\n\nПремия Рунета   \n2018\n\nПремия Рунета   \n2018\n\nВосстановление пароля\n\n![](https:\/\/mc.yandex.ru\/watch\/34531570) ![](https:\/\/mc.yandex.ru\/watch\/82755226) ![](https:\/\/mc.yandex.ru\/watch\/93715742)\n\n![](https:\/\/happy.otus.ru\/pixel\/otus.gif?jwt=eyJhbGciOiJIUzI1NiIsInR5cCI6IkpXVCJ9.eyJyZWZlcmVyIjoiaHR0cHM6Ly9vdHVzLnJ1L25lc3QvcG9zdC8zOTAvP3V0bV9zb3VyY2U9dHlwZWluJnV0bV9tZWRpdW09ZGlyZWN0JnV0bV9jYW1wYWlnbj1Ob25lIn0.NNrIL-Zj0177S-mAWX9CwAesDaFj-7ysWsaHDwnesqM)","attrs_readable_markdown":"Теги: python, gil, global interpreter lock, multiprocessing, fork, read-only кэш, copy-on-write, top, ps, rss, vms, reference counting, shared memory, mmap\n\n![Python\\_Deep\\_8-5020-a10ed2.10\\_site.png](https:\/\/cdn.otus.ru\/media\/public\/a1\/0e\/Python_Deep_8-5020-a10ed2.10_site.png)\n\nМногие из вас знают, что в Python есть **GIL** – *Global Interpreter Lock*, тот самый, который не даёт запускать несколько потоков и нагружать ядра процессора. Отчасти это так, но за **GIL** в Python скрывается очень много всего.И вот несколько фактов о нём:\n\n— **GIL** будет всегда. Но это не точно. — Захват **GIL** – одна из первых инструкций, которая выполняется в начале работы вашего кода. — Блокировка переключается каждые 100 инструкций байт-кода до версии 3.2. — Однако в Python до версии 3.2 у нас была возможность управлять этой цифрой. После – нет. — Всё потому, что в Python 3.2 и выше **GIL** был очень сильно переписан. Теперь блокировка переключается по времени. — Потоки соревнуются за захват **GIL**, у некоторых из них, например, тех, которые активно занимаются вводом\\\\выводом, это получается чаще. — До версии 3.2 есть тонкости обработки сигналов при многопоточном коде – ваш код иногда может не получить сигнал от ОС. — Планированием выполнения потоков занимается ОС, а Python только говорит ей, как ему бы хотелось. — Вы можете обойти ограничения в своём коде при помощи multiprocessing. — Или написав своё Python C Extension.\n\nРассмотрим один из самых очевидных способов избежать ограничений **GIL**’а при выполнении **CPU-intensive** задач.\n\n## Модуль multiprocessing\nЗапускай по процессу на ядро и вперёд! К сожалению, очевидный способ не значит, что простой. Допустим, запускается процесс, который **fork**’ает дочерний процесс, но перед этим загружает в память какой-нибудь большой **read-only кэш**, необходимый этим процессам для функционирования.\n\nВот это класс! Казалось бы, за счёт **copy-on-write** (предполагаем Linux) оба процесса будут *видеть* один и тот же кэш, но дублировать его в памяти не придётся. В **top** (ну или **ps**) увидим, что у процессов **RSS** (*Resident Set Size*) меньше **VMS** (*Virtual Memory Size*). А если кто-то из них и решит туда записать, то ОС скопирует в его адресное пространство только нужные страницы.\n\n## Всё так, но есть нюансы\nВ Python управление памятью осуществляется с помощью **reference counting**. И даже простой цикл по списку, например, вызывает увеличение счётчика ссылок находящихся в нём объектов. То есть, скорее всего, наш большой кэш не останется надолго в общей памяти, а быстро скопируется в адресные пространства процессов.\n\nЧтобы этого избежать нужно положить кэш в **shared memory**, то есть разделяемую память, которая является общей для обоих процессов. **Multiprocessing** даёт нам такую возможность, но выбор опций достаточно скудный: можно создать одно значение или массив. Для чего-то более сложного придётся использовать **mmap**, но программировать это будет ещё сложнее.\n\n*Есть вопрос? Напишите в комментариях\\!*","meta_canonical":null}

3. Robots.txt Check

Query:

Response:

4. Spam/Ban Check

Query:

Response:

5. Seen Status Check

ℹ️ Skipped - page is already crawled

📄

INDEXABLE

✅

CRAWLED

3 days ago

🤖

ROBOTS ALLOWED

Page Info Filters

Filter	Status	Condition	Details
HTTP status	PASS	`download_http_code = 200`	HTTP 200
Age cutoff	PASS	`download_stamp > now() - 6 MONTH`	0.1 months ago
History drop	PASS	`isNull(history_drop_reason)`	No drop reason
Spam/ban	PASS	`fh_dont_index != 1 AND ml_spam_score = 0`	ml_spam_score=0
Canonical	PASS	`meta_canonical IS NULL OR = '' OR = src_unparsed`	Not set

Page Details

Property	Value
URL	https://otus.ru/nest/post/390/
Last Crawled	2026-04-07 15:08:21 (3 days ago)
First Indexed	2018-10-08 11:56:13 (7 years ago)
HTTP Status Code	200
Meta Title	Как проще всего избежать ограничений GIL? \| OTUS
Meta Description	Как проще всего избежать ограничений GIL? в OTUS, только интересные посты!
Meta Canonical	null
Boilerpipe Text	Теги: python, gil, global interpreter lock, multiprocessing, fork, read-only кэш, copy-on-write, top, ps, rss, vms, reference counting, shared memory, mmap Многие из вас знают, что в Python есть GIL – Global Interpreter Lock , тот самый, который не даёт запускать несколько потоков и нагружать ядра процессора. Отчасти это так, но за GIL в Python скрывается очень много всего. И вот несколько фактов о нём: — GIL будет всегда. Но это не точно. — Захват GIL – одна из первых инструкций, которая выполняется в начале работы вашего кода. — Блокировка переключается каждые 100 инструкций байт-кода до версии 3.2. — Однако в Python до версии 3.2 у нас была возможность управлять этой цифрой. После – нет. — Всё потому, что в Python 3.2 и выше GIL был очень сильно переписан. Теперь блокировка переключается по времени. — Потоки соревнуются за захват GIL , у некоторых из них, например, тех, которые активно занимаются вводом\выводом, это получается чаще. — До версии 3.2 есть тонкости обработки сигналов при многопоточном коде – ваш код иногда может не получить сигнал от ОС. — Планированием выполнения потоков занимается ОС, а Python только говорит ей, как ему бы хотелось. — Вы можете обойти ограничения в своём коде при помощи multiprocessing. — Или написав своё Python C Extension. Рассмотрим один из самых очевидных способов избежать ограничений GIL ’а при выполнении CPU-intensive задач. Модуль multiprocessing Запускай по процессу на ядро и вперёд! К сожалению, очевидный способ не значит, что простой. Допустим, запускается процесс, который fork ’ает дочерний процесс, но перед этим загружает в память какой-нибудь большой read-only кэш , необходимый этим процессам для функционирования. Вот это класс! Казалось бы, за счёт copy-on-write (предполагаем Linux) оба процесса будут видеть один и тот же кэш, но дублировать его в памяти не придётся. В top (ну или ps ) увидим, что у процессов RSS ( Resident Set Size ) меньше VMS ( Virtual Memory Size ). А если кто-то из них и решит туда записать, то ОС скопирует в его адресное пространство только нужные страницы. Всё так, но есть нюансы В Python управление памятью осуществляется с помощью reference counting . И даже простой цикл по списку, например, вызывает увеличение счётчика ссылок находящихся в нём объектов. То есть, скорее всего, наш большой кэш не останется надолго в общей памяти, а быстро скопируется в адресные пространства процессов. Чтобы этого избежать нужно положить кэш в shared memory , то есть разделяемую память, которая является общей для обоих процессов. Multiprocessing даёт нам такую возможность, но выбор опций достаточно скудный: можно создать одно значение или массив. Для чего-то более сложного придётся использовать mmap , но программировать это будет ещё сложнее. Есть вопрос? Напишите в комментариях!
Markdown	![](https://vk.com/rtrg?p=VK-RTRG-410987-bLXUv) ![Top.Mail.Ru](https://top-fwz1.mail.ru/counter?id=3316675;js=na) \> Скидка 10% на курсы из спецкаталога — до 19 апреля Скидка 10% на курсы из спецкаталога — до 19 апреля [Выбрать курс](https://otus.ru/catalog/courses?utm_source=banner_course%20&utm_medium=chank&utm_campaign=general_site&utm_content=tayshie_skidki&utm_term=05-04-2026-19-04-2026) [![Logo](https://otus.ru/static/img/logos/logo-2022-without-text.svg)](https://otus.ru/) Обучение Направления [Программирование (115)](https://otus.ru/categories/programming/) [Архитектура (17)](https://otus.ru/categories/architecture/) [Data Science (27)](https://otus.ru/categories/data-science/) [Инфраструктура (59)](https://otus.ru/categories/operations/) [GameDev (6)](https://otus.ru/categories/gamedev/) [Безопасность (15)](https://otus.ru/categories/information-security-courses/) [Управление (44)](https://otus.ru/categories/marketing-business/) [Аналитика и анализ (25)](https://otus.ru/categories/analytics/) [Бизнес и продукт в IT (26)](https://otus.ru/categories/business-product/) [Импортозамещение (15)](https://otus.ru/categories/import-substitution/) [Тестирование (13)](https://otus.ru/categories/testing/) [Нейросети (11)](https://otus.ru/categories/neural_networks/) [IT без программирования (19)](https://otus.ru/categories/it-bez-programmirovanija/) [Корпоративные курсы (27)](https://otus.ru/categories/corporate/) События [Календарь запуска курсов](https://otus.ru/lessons/calendar/2026/) [Календарь мероприятий](https://otus.ru/events/near/) Другое [Специализации (13)](https://otus.ru/categories/spec/) [Подготовительные курсы (14)](https://otus.ru/categories/online/) [Подписка на курсы](https://otus.ru/subscription) [Проверьте свои знания](https://otus.ru/tests) OTUS рекомендует [![](https://cdn.otus.ru/media/public/59/36/59360345524945519b0ce36c515bfb2a.svg) ![](https://cdn.otus.ru/media/public/af/48/af48fcf685a649f8a486c864d52b8470.svg) Курс Скидка 15600 ₽ Технический директор / CTO 9 апреля , 2026 · 5 месяцев](https://otus.ru/lessons/cto/) Информация OTUS [О компании](https://otus.ru/about) [СМИ о нас](https://otus.ru/smi/) [OTUS Журнал](https://otus.ru/journal/) [OTUS Директ](https://direct.otus.ru/) [Сведения об образовательной организации](https://otus.ru/legal/common/) [Контактная информация](https://otus.ru/contacts/) Студентам [Отзывы](https://otus.ru/reviews) [Как выбрать курс](https://landing.otus.ru/about-otus) [Истории выпускников](https://landing.otus.ru/gallery) [Наши преподаватели](https://otus.ru/instructors/) [Наши партнеры](https://otus.ru/employers/all/) [Программа лояльности](https://otus.ru/about/loyalty/) [Вопросы и ответы](https://otus.ru/faq/) Преподавателям [Стать преподавателем](https://otus.ru/teach/) [Наши преподаватели](https://otus.ru/instructors/) [База знаний](https://otus.ru/nest/dlja-prepodavatelej/) OTUS рекомендует [![](https://cdn.otus.ru/media/public/59/36/59360345524945519b0ce36c515bfb2a.svg) ![](https://cdn.otus.ru/media/public/af/48/af48fcf685a649f8a486c864d52b8470.svg) Курс Скидка 15600 ₽ Технический директор / CTO 9 апреля , 2026 · 5 месяцев](https://otus.ru/lessons/cto/) Ответим на ваши вопросы [\+7 499 938-92-02](<tel:+7 499 938-92-02>) [Компаниям](https://otus.ru/b2b) Зарегистрироваться Войти - Обучение - Информация - Компаниям Направления [Программирование (115)](https://otus.ru/categories/programming/) [Архитектура (17)](https://otus.ru/categories/architecture/) [Data Science (27)](https://otus.ru/categories/data-science/) [Инфраструктура (59)](https://otus.ru/categories/operations/) [GameDev (6)](https://otus.ru/categories/gamedev/) [Безопасность (15)](https://otus.ru/categories/information-security-courses/) [Управление (44)](https://otus.ru/categories/marketing-business/) [Аналитика и анализ (25)](https://otus.ru/categories/analytics/) [Бизнес и продукт в IT (26)](https://otus.ru/categories/business-product/) [Импортозамещение (15)](https://otus.ru/categories/import-substitution/) [Тестирование (13)](https://otus.ru/categories/testing/) [Нейросети (11)](https://otus.ru/categories/neural_networks/) [IT без программирования (19)](https://otus.ru/categories/it-bez-programmirovanija/) [Корпоративные курсы (27)](https://otus.ru/categories/corporate/) События [Календарь запуска курсов](https://otus.ru/lessons/calendar/2026/) [Календарь мероприятий](https://otus.ru/events/near/) Другое [Специализации (13)](https://otus.ru/categories/spec/) [Подготовительные курсы (14)](https://otus.ru/categories/online/) [Подписка на курсы](https://otus.ru/subscription) [Проверьте свои знания](https://otus.ru/tests) OTUS рекомендует [![](https://cdn.otus.ru/media/public/59/36/59360345524945519b0ce36c515bfb2a.svg) ![](https://cdn.otus.ru/media/public/af/48/af48fcf685a649f8a486c864d52b8470.svg) Курс Скидка 15600 ₽ Технический директор / CTO 9 апреля , 2026 · 5 месяцев](https://otus.ru/lessons/cto/) OTUS [О компании](https://otus.ru/about) [СМИ о нас](https://otus.ru/smi/) [OTUS Журнал](https://otus.ru/journal/) [OTUS Директ](https://direct.otus.ru/) [Сведения об образовательной организации](https://otus.ru/legal/common/) [Контактная информация](https://otus.ru/contacts/) Студентам [Отзывы](https://otus.ru/reviews) [Как выбрать курс](https://landing.otus.ru/about-otus) [Истории выпускников](https://landing.otus.ru/gallery) [Наши преподаватели](https://otus.ru/instructors/) [Наши партнеры](https://otus.ru/employers/all/) [Программа лояльности](https://otus.ru/about/loyalty/) [Вопросы и ответы](https://otus.ru/faq/) Преподавателям [Стать преподавателем](https://otus.ru/teach/) [Наши преподаватели](https://otus.ru/instructors/) [База знаний](https://otus.ru/nest/dlja-prepodavatelej/) OTUS рекомендует [![](https://cdn.otus.ru/media/public/59/36/59360345524945519b0ce36c515bfb2a.svg) ![](https://cdn.otus.ru/media/public/af/48/af48fcf685a649f8a486c864d52b8470.svg) Курс Скидка 15600 ₽ Технический директор / CTO 9 апреля , 2026 · 5 месяцев](https://otus.ru/lessons/cto/) Ответим на ваши вопросы [\+7 499 938-92-02](<tel:+7 499 938-92-02>) [Блоги](https://otus.ru/nest/ "Блоги") [Посты](https://otus.ru/nest/posts/ "Посты") [Лучшие](https://otus.ru/nest/best/ "Лучшие") [Участники](https://otus.ru/nest/users/ "Участники") [Блоги](https://otus.ru/nest/ "Блоги") [Посты](https://otus.ru/nest/posts/ "Посты") [Лучшие](https://otus.ru/nest/best/ "Лучшие") [Участники](https://otus.ru/nest/users/ "Участники") [Станислав](https://otus.ru/profile/2528/) 08\.10.18 в 09:39 # Как проще всего избежать ограничений GIL? [Python](https://otus.ru/nest/python/ "Python") → [Полезные материалы по Python](https://otus.ru/nest/python-art/ "Полезные материалы по Python") Теги: python, gil, global interpreter lock, multiprocessing, fork, read-only кэш, copy-on-write, top, ps, rss, vms, reference counting, shared memory, mmap ![Python\_Deep\_8-5020-a10ed2.10\_site.png](https://cdn.otus.ru/media/public/a1/0e/Python_Deep_8-5020-a10ed2.10_site.png) Многие из вас знают, что в Python есть GIL – Global Interpreter Lock, тот самый, который не даёт запускать несколько потоков и нагружать ядра процессора. Отчасти это так, но за GIL в Python скрывается очень много всего.И вот несколько фактов о нём: — GIL будет всегда. Но это не точно. — Захват GIL – одна из первых инструкций, которая выполняется в начале работы вашего кода. — Блокировка переключается каждые 100 инструкций байт-кода до версии 3.2. — Однако в Python до версии 3.2 у нас была возможность управлять этой цифрой. После – нет. — Всё потому, что в Python 3.2 и выше GIL был очень сильно переписан. Теперь блокировка переключается по времени. — Потоки соревнуются за захват GIL, у некоторых из них, например, тех, которые активно занимаются вводом\\выводом, это получается чаще. — До версии 3.2 есть тонкости обработки сигналов при многопоточном коде – ваш код иногда может не получить сигнал от ОС. — Планированием выполнения потоков занимается ОС, а Python только говорит ей, как ему бы хотелось. — Вы можете обойти ограничения в своём коде при помощи multiprocessing. — Или написав своё Python C Extension. Рассмотрим один из самых очевидных способов избежать ограничений GIL’а при выполнении CPU-intensive задач. ## Модуль multiprocessing Запускай по процессу на ядро и вперёд! К сожалению, очевидный способ не значит, что простой. Допустим, запускается процесс, который fork’ает дочерний процесс, но перед этим загружает в память какой-нибудь большой read-only кэш, необходимый этим процессам для функционирования. Вот это класс! Казалось бы, за счёт copy-on-write (предполагаем Linux) оба процесса будут видеть один и тот же кэш, но дублировать его в памяти не придётся. В top (ну или ps) увидим, что у процессов RSS (Resident Set Size) меньше VMS (Virtual Memory Size). А если кто-то из них и решит туда записать, то ОС скопирует в его адресное пространство только нужные страницы. ## Всё так, но есть нюансы В Python управление памятью осуществляется с помощью reference counting. И даже простой цикл по списку, например, вызывает увеличение счётчика ссылок находящихся в нём объектов. То есть, скорее всего, наш большой кэш не останется надолго в общей памяти, а быстро скопируется в адресные пространства процессов. Чтобы этого избежать нужно положить кэш в shared memory, то есть разделяемую память, которая является общей для обоих процессов. Multiprocessing даёт нам такую возможность, но выбор опций достаточно скудный: можно создать одно значение или массив. Для чего-то более сложного придётся использовать mmap, но программировать это будет ещё сложнее. Есть вопрос? Напишите в комментариях\! Поделиться 8 [0](https://otus.ru/nest/post/390/#comments) 63 Автор [Станислав](https://otus.ru/profile/2528/) Рейтинг: \+300 3229 дней Похожие посты [Get ready to run back: ещё одна проблема регулярных выражений](https://otus.ru/nest/post/140/ "Get ready to run back: ещё одна проблема регулярных выражений") [0](https://otus.ru/nest/post/140/#comments) [\+18](https://otus.ru/nest/post/140/#author_block) [MergeSort + InsertionSort + хитрые эвристики = ?](https://otus.ru/nest/post/144/ "MergeSort + InsertionSort + хитрые эвристики = ?") [0](https://otus.ru/nest/post/144/#comments) [\+13](https://otus.ru/nest/post/144/#author_block) [Подводный камень в Default-настройках СУБД](https://otus.ru/nest/post/149/ "Подводный камень в Default-настройках СУБД") [1](https://otus.ru/nest/post/149/#comments) [\+19](https://otus.ru/nest/post/149/#author_block) [Расстояние Вассерштейна: WGAN и 2 кучи земли](https://otus.ru/nest/post/182/ "Расстояние Вассерштейна: WGAN и 2 кучи земли") [0](https://otus.ru/nest/post/182/#comments) [\+11](https://otus.ru/nest/post/182/#author_block) [Adversarial Autoencoders: порождение дискретных объектов](https://otus.ru/nest/post/183/ "Adversarial Autoencoders: порождение дискретных объектов") [0](https://otus.ru/nest/post/183/#comments) [\+15](https://otus.ru/nest/post/183/#author_block) 0 комментариев Для комментирования необходимо [авторизоваться](https://otus.ru/login/?next=https%3A%2F%2Fotus.ru%2Fnest%2Fpost%2F390%2F) Популярное Сегодня тут пусто Посещая наш сайт, вы принимаете [политику использования cookie-файлов](https://otus.ru/legal/cookie/) ОК [О нас](https://otus.ru/about "О нас") [СМИ о нас](https://otus.ru/smi/ "СМИ о нас") [Отзывы](https://otus.ru/reviews "Отзывы") [Контакты](https://otus.ru/contacts/ "Контакты") [Блог](https://otus.ru/journal/ "Блог") [FAQ](https://otus.ru/faq/ "FAQ") [Канал в Telegram](https://ttttt.me/Otusjava) [Группа в Telegram](https://ttttt.me/joinchat/JMakp0NXc-L8nNneHCtx7A) [Корпоративное обучение](https://otus.ru/b2b "Корпоративное обучение") [Каталог курсов](https://otus.ru/lessons/ "Каталог курсов") [Программы лояльности](https://otus.ru/about/loyalty/ "Программы лояльности") [Каталог профессий](https://otus.ru/professions/ "Каталог профессий") [Наши партнеры](https://otus.ru/employers/all/ "Наши партнеры") [Стать преподавателем](https://otus.ru/teach/ "Стать преподавателем") Подписка на новости IT, анонсы открытых уроков, спец. предложения По всем вопросам пишите на [help@otus.ru](mailto:help@otus.ru "help@otus.ru") [Сведения об образовательной организации](https://otus.ru/legal/common/ "Сведения об образовательной организации") [OTUS является аккредитованной IT-компанией](https://otus.ru/legal/it_company_accreditation/ "OTUS является аккредитованной IT-компанией") [Сведения о рекомендательных технологиях](https://otus.ru/legal/recommendations/ "Сведения о рекомендательных технологиях") [В реестре отечественного ПО №24216](https://reestr.digital.gov.ru/reestr/2704482/ "В реестре отечественного ПО №24216") © 2015-2026 OTUS [Условия использования сервиса](https://otus.ru/legal/terms/ "Условия использования сервиса") Премия Рунета 2018 Премия Рунета 2018 Подписка на новости IT, анонсы открытых уроков, спец. предложения По всем вопросам пишите на [help@otus.ru](mailto:help@otus.ru "help@otus.ru") [Сведения об образовательной организации](https://otus.ru/legal/common/ "Сведения об образовательной организации") [OTUS является аккредитованной IT-компанией](https://otus.ru/legal/it_company_accreditation/ "OTUS является аккредитованной IT-компанией") [Сведения о рекомендательных технологиях](https://otus.ru/legal/recommendations/ "Сведения о рекомендательных технологиях") [В реестре отечественного ПО №24216](https://reestr.digital.gov.ru/reestr/2704482/ "В реестре отечественного ПО №24216") [Канал в Telegram](https://ttttt.me/Otusjava) [Группа в Telegram](https://ttttt.me/joinchat/JMakp0NXc-L8nNneHCtx7A) [Корпоративное обучение](https://otus.ru/b2b "Корпоративное обучение") [Каталог курсов](https://otus.ru/lessons/ "Каталог курсов") [Программы лояльности](https://otus.ru/about/loyalty/ "Программы лояльности") [Каталог профессий](https://otus.ru/professions/ "Каталог профессий") [Наши партнеры](https://otus.ru/employers/all/ "Наши партнеры") [Стать преподавателем](https://otus.ru/teach/ "Стать преподавателем") [О нас](https://otus.ru/about "О нас") [СМИ о нас](https://otus.ru/smi/ "СМИ о нас") [Отзывы](https://otus.ru/reviews "Отзывы") [Контакты](https://otus.ru/contacts/ "Контакты") [Блог](https://otus.ru/journal/ "Блог") [FAQ](https://otus.ru/faq/ "FAQ") © 2015-2026 OTUS [Пользовательское соглашение](https://otus.ru/legal/terms/ "Пользовательское соглашение") Премия Рунета 2018 Премия Рунета 2018 Восстановление пароля ![](https://mc.yandex.ru/watch/34531570) ![](https://mc.yandex.ru/watch/82755226) ![](https://mc.yandex.ru/watch/93715742) ![](https://happy.otus.ru/pixel/otus.gif?jwt=eyJhbGciOiJIUzI1NiIsInR5cCI6IkpXVCJ9.eyJyZWZlcmVyIjoiaHR0cHM6Ly9vdHVzLnJ1L25lc3QvcG9zdC8zOTAvP3V0bV9zb3VyY2U9dHlwZWluJnV0bV9tZWRpdW09ZGlyZWN0JnV0bV9jYW1wYWlnbj1Ob25lIn0.NNrIL-Zj0177S-mAWX9CwAesDaFj-7ysWsaHDwnesqM)
Readable Markdown	Теги: python, gil, global interpreter lock, multiprocessing, fork, read-only кэш, copy-on-write, top, ps, rss, vms, reference counting, shared memory, mmap ![Python\_Deep\_8-5020-a10ed2.10\_site.png](https://cdn.otus.ru/media/public/a1/0e/Python_Deep_8-5020-a10ed2.10_site.png) Многие из вас знают, что в Python есть GIL – Global Interpreter Lock, тот самый, который не даёт запускать несколько потоков и нагружать ядра процессора. Отчасти это так, но за GIL в Python скрывается очень много всего.И вот несколько фактов о нём: — GIL будет всегда. Но это не точно. — Захват GIL – одна из первых инструкций, которая выполняется в начале работы вашего кода. — Блокировка переключается каждые 100 инструкций байт-кода до версии 3.2. — Однако в Python до версии 3.2 у нас была возможность управлять этой цифрой. После – нет. — Всё потому, что в Python 3.2 и выше GIL был очень сильно переписан. Теперь блокировка переключается по времени. — Потоки соревнуются за захват GIL, у некоторых из них, например, тех, которые активно занимаются вводом\\выводом, это получается чаще. — До версии 3.2 есть тонкости обработки сигналов при многопоточном коде – ваш код иногда может не получить сигнал от ОС. — Планированием выполнения потоков занимается ОС, а Python только говорит ей, как ему бы хотелось. — Вы можете обойти ограничения в своём коде при помощи multiprocessing. — Или написав своё Python C Extension. Рассмотрим один из самых очевидных способов избежать ограничений GIL’а при выполнении CPU-intensive задач. ## Модуль multiprocessing Запускай по процессу на ядро и вперёд! К сожалению, очевидный способ не значит, что простой. Допустим, запускается процесс, который fork’ает дочерний процесс, но перед этим загружает в память какой-нибудь большой read-only кэш, необходимый этим процессам для функционирования. Вот это класс! Казалось бы, за счёт copy-on-write (предполагаем Linux) оба процесса будут видеть один и тот же кэш, но дублировать его в памяти не придётся. В top (ну или ps) увидим, что у процессов RSS (Resident Set Size) меньше VMS (Virtual Memory Size). А если кто-то из них и решит туда записать, то ОС скопирует в его адресное пространство только нужные страницы. ## Всё так, но есть нюансы В Python управление памятью осуществляется с помощью reference counting. И даже простой цикл по списку, например, вызывает увеличение счётчика ссылок находящихся в нём объектов. То есть, скорее всего, наш большой кэш не останется надолго в общей памяти, а быстро скопируется в адресные пространства процессов. Чтобы этого избежать нужно положить кэш в shared memory, то есть разделяемую память, которая является общей для обоих процессов. Multiprocessing даёт нам такую возможность, но выбор опций достаточно скудный: можно создать одно значение или массив. Для чего-то более сложного придётся использовать mmap, но программировать это будет ещё сложнее. Есть вопрос? Напишите в комментариях\!
Shard	91 (laksa)
Root Hash	10530217490906537691
Unparsed URL	ru,otus!/nest/post/390/ s443