0.6/peopleList

v0.6 영화진흥위원회 영화인목록 API 조회 및 데이터 수집

save data

$ cd data
$ tree
.
└── people
    └── peopleList.json

1 directory, 1 file

issue

데이터 용량 문제로 에러 발생 & 과도한 데이터 수집 예상 소요 시간

-> 나눠서 수집하는 방식으로 해결은 가능하나, 시간상 문제로 전체 데이터 수집 보류
-> 1,000페이지까지만 지정해서 데이터 수집 테스트

source code

    ~
    # peopleList.py
    # 1000페이지까지만 저장
    total_pages = 1000

    all_data = []
    # total_pages 만큼 Loop 돌면서 API 호출
    for page in tqdm(range(1, total_pages + 1)):
        time.sleep(sleep_time)
        r = req(url_base + f"&curPage={page}")
        d = r['peopleListResult']['peopleList']
        all_data.extend(d)

    save_json(all_data, file_path)
    ~

test result

정상적으로 수집 성공