feat: フリーランスでの案件を新規に追加

hakshu25 · Jul 31, 2023 · 3ba6d50 · 3ba6d50
1 parent cd5f4c2
commit 3ba6d50
Show file tree

Hide file tree

Showing 2 changed files with 42 additions and 0 deletions.
diff --git a/docs/README.md b/docs/README.md
@@ -91,6 +91,10 @@
 
 Web エンジニアとして、フリーランスで活動中。
 
+#### 参画案件
+
+- [Python での商品情報スクレイピング](https://hakshu25.github.io/resume/career/freelance/about.html#%E5%95%86%E5%93%81%E6%83%85%E5%A0%B1%E3%82%B9%E3%82%AF%E3%83%AC%E3%82%A4%E3%83%94%E3%83%B3%E3%82%B0-202304-202305)
+
 ### 東京都小学校（2022/04〜2023/03）
 
 時間講師として都内の公立小学校に任用。国語を中心とした授業を担当。

diff --git a/docs/career/freelance/about.md b/docs/career/freelance/about.md
@@ -0,0 +1,38 @@
+# フリーランス（2023/04〜）職歴詳細
+
+## 商品情報スクレイピング (2023/04-2023/05)
+
+### 概要
+
+- 2 つの商品サイトからそれぞれ 10 万件の商品情報をスクレイピング
+- 収集した情報を記載した Excel シートを成果物として納品
+
+### 採用技術
+
+- Python
+- Scrapy
+- SQLAlchemy
+- alembic
+- flake8
+- mypy
+- line-bot-sdk
+- MySQL
+
+### 課題
+
+- 商品数が多くスクレイピングに時間がかかる
+  - 負荷をかけないよう設定していたため、1 つの商品サイトにつき 1 日で 1 万件程度のスクレイピングだった
+  - 2 サイトを並列でスクレイピングすることで、2 週間程度でスクレイピングを完了した
+  - クライアントへも負荷をかけないよう時間をかけて進めていることを伝え、調整しながら作業を進めた
+
+### 取り組んだ内容
+
+- 要件定義
+- 工数、費用見積もり
+- 2 つの商品サイトからそれぞれ 10 万件の商品情報をスクレイピング
+  - Scrapy を使い、スクレイピングプログラムを実装
+  - SQLAlchemy を使い、取得した商品情報を MySQL に永続化
+  - line-bot-sdk でスクレイピング状況の通知用 LINE Bot を実装
+  - MySQL からデータをダンプし、Excel シートを整形、成果物として納品
+
+---