Skip to content

本项目存放自动化数据处理的一些脚本,大家需要自取。爬取并比对QI&HMDB中的数据,爬取pubmed文献。

Notifications You must be signed in to change notification settings

Samsepik9/hmdbSpider

Folders and files

NameName
Last commit message
Last commit date

Latest commit

 

History

4 Commits
 
 
 
 
 
 
 
 
 
 
 
 
 
 

Repository files navigation

hmdbSpider

[toc]


0x01 简介

其他自动化数据处理脚本也放到这个项目中

  1. 本程序用于爬取并比对QI和hmdb数据库中的数据,筛选需要的数据。(hmdb_spider.py)

  2. pubmed文献爬取。(pubmed_spider.py)


0x02 使用方法

  • 爬取目标网站 https://hmdb.ca/metabolites/HMDB0000792
  • HMDB0000792是从QI中获取的数据ID
  • 爬取数据后,比对QI和hmdb数据库中的数据,筛选Blood Endogenous Animal的数据
  • 从data.txt输入数据,比对结果保存在data/result.csv

1. 安装依赖

pip3 install -r requirements.txt

2. 运行程序

python3 hmdb_spider.py

3. 命令备份

pip3 freeze > requirements.txt

About

本项目存放自动化数据处理的一些脚本,大家需要自取。爬取并比对QI&HMDB中的数据,爬取pubmed文献。

Topics

Resources

Stars

Watchers

Forks

Releases

No releases published

Packages

No packages published

Languages