Skip to content

MEPhI-ML/Python_for_DS_project

Repository files navigation

Π­ΠΊΠ·Π°ΠΌΠ΅Π½Π°Ρ†ΠΈΠΎΠ½Π½Ρ‹ΠΉ ΠΏΡ€ΠΎΠ΅ΠΊΡ‚: Анализ Π΄Π°Π½Π½Ρ‹Ρ… ΠΎ соискатСлях HeadHunter

ОписаниС ΠΏΡ€ΠΎΠ΅ΠΊΡ‚Π°

ΠŸΡ€ΠΎΠ΅ΠΊΡ‚ Π²Ρ‹ΠΏΠΎΠ»Π½Π΅Π½ Π² Ρ€Π°ΠΌΠΊΠ°Ρ… курса Python for Data Science (НИЯУ МИЀИ).
ЦСль Ρ€Π°Π±ΠΎΡ‚Ρ‹ β€” провСсти Π°Π½Π°Π»ΠΈΠ· Π΄Π°Π½Π½Ρ‹Ρ… ΠΎ Ρ€Π΅Π·ΡŽΠΌΠ΅ соискатСлСй Π½Π° сайтС hh.ru:
Π²Ρ‹ΠΏΠΎΠ»Π½ΠΈΡ‚ΡŒ очистку, ΠΏΡ€Π΅ΠΎΠ±Ρ€Π°Π·ΠΎΠ²Π°Π½ΠΈΠ΅ ΠΈ исслСдованиС Π΄Π°Π½Π½Ρ‹Ρ…, Π²ΠΈΠ·ΡƒΠ°Π»ΠΈΠ·ΠΈΡ€ΠΎΠ²Π°Ρ‚ΡŒ зависимости ΠΈ ΡΠ΄Π΅Π»Π°Ρ‚ΡŒ аналитичСскиС Π²Ρ‹Π²ΠΎΠ΄Ρ‹.
Π Π°Π±ΠΎΡ‚Π° Π²Ρ‹ΠΏΠΎΠ»Π½Π΅Π½Π° Π² Google Colab ΠΈ ΠΎΡ„ΠΎΡ€ΠΌΠ»Π΅Π½Π° Π² соотвСтствии с шаблоном курса.


Π‘Ρ‚Ρ€ΡƒΠΊΡ‚ΡƒΡ€Π° ΠΏΡ€ΠΎΠ΅ΠΊΡ‚Π°

1. ИсслСдованиС структуры Π΄Π°Π½Π½Ρ‹Ρ…

  • ΠŸΠ΅Ρ€Π²ΠΈΡ‡Π½Ρ‹ΠΉ осмотр Ρ‚Π°Π±Π»ΠΈΡ†Ρ‹.
  • Анализ Ρ‚ΠΈΠΏΠΎΠ² Π΄Π°Π½Π½Ρ‹Ρ…, количСства строк ΠΈ столбцов.
  • ΠŸΡ€ΠΎΠ²Π΅Ρ€ΠΊΠ° наличия Π΄ΡƒΠ±Π»ΠΈΠΊΠ°Ρ‚ΠΎΠ² ΠΈ пропусков.

2. ΠŸΡ€Π΅ΠΎΠ±Ρ€Π°Π·ΠΎΠ²Π°Π½ΠΈΠ΅ Π΄Π°Π½Π½Ρ‹Ρ…

  • Π’Ρ‹Π΄Π΅Π»Π΅Π½ ΡƒΡ€ΠΎΠ²Π΅Π½ΡŒ образования ΠΈΠ· ΠΏΡ€ΠΈΠ·Π½Π°ΠΊΠ° Β«ΠžΠ±Ρ€Π°Π·ΠΎΠ²Π°Π½ΠΈΠ΅ ΠΈ Π’Π£Π—Β».
  • Π Π°Π·Π΄Π΅Π»Ρ‘Π½ ΠΏΡ€ΠΈΠ·Π½Π°ΠΊ «Пол, возраст» Π½Π° ΠΎΡ‚Π΄Π΅Π»ΡŒΠ½Ρ‹Π΅ поля.
  • ΠŸΡ€Π΅ΠΎΠ±Ρ€Π°Π·ΠΎΠ²Π°Π½ стаТ Π² мСсяцы.
  • Π Π°Π·Π΄Π΅Π»Ρ‘Π½ ΠΏΡ€ΠΈΠ·Π½Π°ΠΊ Β«Π“ΠΎΡ€ΠΎΠ΄, ΠΏΠ΅Ρ€Π΅Π΅Π·Π΄, ΠΊΠΎΠΌΠ°Π½Π΄ΠΈΡ€ΠΎΠ²ΠΊΠΈΒ».
  • Π’Ρ‹ΠΏΠΎΠ»Π½Π΅Π½ One-Hot Encoding для ΠΏΡ€ΠΈΠ·Π½Π°ΠΊΠΎΠ² Β«Π—Π°Π½ΡΡ‚ΠΎΡΡ‚ΡŒΒ» ΠΈ Β«Π“Ρ€Π°Ρ„ΠΈΠΊΒ».
  • ΠŸΠ΅Ρ€Π΅ΡΡ‡ΠΈΡ‚Π°Π½Π° заработная ΠΏΠ»Π°Ρ‚Π° Π² Ρ€ΡƒΠ±Π»ΠΈ с ΡƒΡ‡Ρ‘Ρ‚ΠΎΠΌ курсов Π²Π°Π»ΡŽΡ‚ (ΠΏΠΎ Π΄Π°Ρ‚Π΅ обновлСния Ρ€Π΅Π·ΡŽΠΌΠ΅).

3. ИсслСдованиС зависимостСй Π² Π΄Π°Π½Π½Ρ‹Ρ…

  • ΠŸΠΎΡΡ‚Ρ€ΠΎΠ΅Π½Ρ‹ распрСдСлСния ΠΏΠΎ возрасту, ΠΎΠΏΡ‹Ρ‚Ρƒ Ρ€Π°Π±ΠΎΡ‚Ρ‹ ΠΈ Π·Π°Ρ€ΠΏΠ»Π°Ρ‚Π΅.
  • ΠŸΡ€ΠΎΠ°Π½Π°Π»ΠΈΠ·ΠΈΡ€ΠΎΠ²Π°Π½Ρ‹ ΠΌΠ΅Π΄ΠΈΠ°Π½Π½Ρ‹Π΅ Π·Π°Ρ€ΠΏΠ»Π°Ρ‚Ρ‹ Π² зависимости ΠΎΡ‚ образования, Π³ΠΎΡ€ΠΎΠ΄Π°, готовности ΠΊ ΠΏΠ΅Ρ€Π΅Π΅Π·Π΄Ρƒ ΠΈ ΠΊΠΎΠΌΠ°Π½Π΄ΠΈΡ€ΠΎΠ²ΠΊΠ°ΠΌ.
  • Π‘ΠΎΠ·Π΄Π°Π½Ρ‹ Ρ‚Π΅ΠΏΠ»ΠΎΠ²Ρ‹Π΅ ΠΊΠ°Ρ€Ρ‚Ρ‹, Π΄ΠΈΠ°Π³Ρ€Π°ΠΌΠΌΡ‹ рассСяния ΠΈ ΠΌΠ½ΠΎΠ³ΠΎΠΌΠ΅Ρ€Π½Ρ‹Π΅ Π³Ρ€Π°Ρ„ΠΈΠΊΠΈ.
  • ВыявлСны зависимости ΠΌΠ΅ΠΆΠ΄Ρƒ ΠΊΠ»ΡŽΡ‡Π΅Π²Ρ‹ΠΌΠΈ ΠΏΡ€ΠΈΠ·Π½Π°ΠΊΠ°ΠΌΠΈ.

4. ΠžΡ‡ΠΈΡΡ‚ΠΊΠ° Π΄Π°Π½Π½Ρ‹Ρ…

  • НайдСны ΠΈ ΡƒΠ΄Π°Π»Π΅Π½Ρ‹ ΠΏΠΎΠ»Π½Ρ‹Π΅ Π΄ΡƒΠ±Π»ΠΈΠΊΠ°Ρ‚Ρ‹ строк.
  • ВыявлСны ΠΈ ΠΎΠ±Ρ€Π°Π±ΠΎΡ‚Π°Π½Ρ‹ пропуски Π² Π΄Π°Π½Π½Ρ‹Ρ….
  • Π’Ρ‹ΠΏΠΎΠ»Π½Π΅Π½ΠΎ Π·Π°ΠΏΠΎΠ»Π½Π΅Π½ΠΈΠ΅ ΠΌΠ΅Π΄ΠΈΠ°Π½ΠΎΠΉ ΠΈ ΡƒΠ΄Π°Π»Π΅Π½ΠΈΠ΅ строк с ΠΏΡ€ΠΎΠΏΡƒΡ‰Π΅Π½Π½Ρ‹ΠΌΠΈ значСниями Π² ΠΊΠ»ΡŽΡ‡Π΅Π²Ρ‹Ρ… столбцах.
  • Π£Π΄Π°Π»Π΅Π½Ρ‹ Π°Π½ΠΎΠΌΠ°Π»ΠΈΠΈ Π·Π°Ρ€Π°Π±ΠΎΡ‚Π½ΠΎΠΉ ΠΏΠ»Π°Ρ‚Ρ‹ ΠΈ записи с нСрСалистичным ΠΎΠΏΡ‹Ρ‚ΠΎΠΌ Ρ€Π°Π±ΠΎΡ‚Ρ‹.
  • ΠŸΡ€ΠΎΠ²Π΅Π΄Π΅Π½ΠΎ выявлСниС ΠΈ ΡƒΠ΄Π°Π»Π΅Π½ΠΈΠ΅ выбросов ΠΏΠΎ ΠΏΡ€ΠΈΠ·Π½Π°ΠΊΡƒ «Возраст» с использованиСм логарифмичСского ΠΌΠ°ΡΡˆΡ‚Π°Π±Π° ΠΈ ΠΌΠ΅Ρ‚ΠΎΠ΄Π° Ρ‚Ρ€Ρ‘Ρ… сигм.

Π˜ΡΠΏΠΎΠ»ΡŒΠ·ΡƒΠ΅ΠΌΡ‹Π΅ Π±ΠΈΠ±Π»ΠΈΠΎΡ‚Π΅ΠΊΠΈ

pandas, numpy, matplotlib, seaborn, plotly, re


ВрСбования для ΠΊΠΎΡ€Ρ€Π΅ΠΊΡ‚Π½ΠΎΠ³ΠΎ запуска ΠΏΡ€ΠΎΠ΅ΠΊΡ‚Π°

Π’ ΠΊΠΎΡ€Π½Π΅ ΠΏΡ€ΠΎΠ΅ΠΊΡ‚Π° Π΄ΠΎΠ»ΠΆΠ½Π° ΡΡƒΡ‰Π΅ΡΡ‚Π²ΠΎΠ²Π°Ρ‚ΡŒ ΠΏΠ°ΠΏΠΊΠ° data/, Π² ΠΊΠΎΡ‚ΠΎΡ€ΡƒΡŽ Π½Π΅ΠΎΠ±Ρ…ΠΎΠ΄ΠΈΠΌΠΎ ΠΏΠΎΠΌΠ΅ΡΡ‚ΠΈΡ‚ΡŒ Ρ„Π°ΠΉΠ»Ρ‹ с Π΄Π°Π½Π½Ρ‹ΠΌΠΈ:

  • data/dst-3.0_16_1_hh_database.csv
  • data/ExchangeRates.csv

Π’Π°ΠΊ ΠΊΠ°ΠΊ Ρ„Π°ΠΉΠ»Ρ‹ с исходными Π΄Π°Π½Π½Ρ‹ΠΌΠΈ ΠΈΠΌΠ΅ΡŽΡ‚ большой Ρ€Π°Π·ΠΌΠ΅Ρ€ ΠΈ Π½Π΅ ΠΌΠΎΠ³ΡƒΡ‚ Π±Ρ‹Ρ‚ΡŒ Π΄ΠΎΠ±Π°Π²Π»Π΅Π½Ρ‹ Π² Ρ€Π΅ΠΏΠΎΠ·ΠΈΡ‚ΠΎΡ€ΠΈΠΉ GitHub, ΠΈΡ… Π½Π΅ΠΎΠ±Ρ…ΠΎΠ΄ΠΈΠΌΠΎ ΡΠΊΠ°Ρ‡Π°Ρ‚ΡŒ Π²Ρ€ΡƒΡ‡Π½ΡƒΡŽ ΠΏΠΎ ΡΠ»Π΅Π΄ΡƒΡŽΡ‰ΠΈΠΌ ссылкам:

  • dst-3.0_16_1_hh_database.csv β€” основной датасСт с Ρ€Π΅Π·ΡŽΠΌΠ΅
  • ExchangeRates.csv β€” Π΄Π°Π½Π½Ρ‹Π΅ ΠΎ курсах Π²Π°Π»ΡŽΡ‚

ПослС Π·Π°Π³Ρ€ΡƒΠ·ΠΊΠΈ Ρ„Π°ΠΉΠ»Ρ‹ Π½Π΅ΠΎΠ±Ρ…ΠΎΠ΄ΠΈΠΌΠΎ Ρ€Π°ΡΠΏΠ°ΠΊΠΎΠ²Π°Ρ‚ΡŒ (Ссли трСбуСтся) ΠΈ ΠΏΠΎΠΌΠ΅ΡΡ‚ΠΈΡ‚ΡŒ Π² ΠΏΠ°ΠΏΠΊΡƒ data/ Π² ΠΊΠΎΡ€Π½Π΅ ΠΏΡ€ΠΎΠ΅ΠΊΡ‚Π°.


Π˜Π½Ρ‚Π΅Ρ€Π°ΠΊΡ‚ΠΈΠ²Π½Ρ‹Π΅ Π³Ρ€Π°Ρ„ΠΈΠΊΠΈ Plotly

GitHub Π½Π΅ ΠΏΠΎΠ΄Π΄Π΅Ρ€ΠΆΠΈΠ²Π°Π΅Ρ‚ ΠΎΡ‚ΠΎΠ±Ρ€Π°ΠΆΠ΅Π½ΠΈΠ΅ ΠΈΠ½Ρ‚Π΅Ρ€Π°ΠΊΡ‚ΠΈΠ²Π½Ρ‹Ρ… Π³Ρ€Π°Ρ„ΠΈΠΊΠΎΠ² Plotly Π½Π° страницах рСпозитория.
ВсС Π³Ρ€Π°Ρ„ΠΈΠΊΠΈ, созданныС Π² процСссС выполнСния ΠΏΡ€ΠΎΠ΅ΠΊΡ‚Π°, сохранСны Π² ΠΏΠ°ΠΏΠΊΠ΅ plots/ Π² Ρ„ΠΎΡ€ΠΌΠ°Ρ‚Π΅ .html.

Если Π³Ρ€Π°Ρ„ΠΈΠΊΠΈ Π½Π΅ ΠΎΡ‚ΠΎΠ±Ρ€Π°ΠΆΠ°ΡŽΡ‚ΡΡ Π² интСрфСйсС GitHub, ΠΈΡ… ΠΌΠΎΠΆΠ½ΠΎ ΡΠΊΠ°Ρ‡Π°Ρ‚ΡŒ ΠΈΠ· ΠΏΠ°ΠΏΠΊΠΈ plots ΠΈ ΠΎΡ‚ΠΊΡ€Ρ‹Ρ‚ΡŒ локально Π² Π±Ρ€Π°ΡƒΠ·Π΅Ρ€Π΅ для просмотра ΠΈΠ½Ρ‚Π΅Ρ€Π°ΠΊΡ‚ΠΈΠ²Π½Ρ‹Ρ… Π²ΠΈΠ·ΡƒΠ°Π»ΠΈΠ·Π°Ρ†ΠΈΠΉ.

About

No description, website, or topics provided.

Resources

Stars

Watchers

Forks

Releases

No releases published

Packages

No packages published