数据获取

[chengjun]

最简单的情况：能找到可以下载的数据。很多时候，你没有那么幸运：

• 数据有收集，可不是公开的
  • 利用信息公开法
• 数据在网站上，但无法下载。必须去“抓”
• 数据只在纸上。必须输入或扫描
• 数据必须自己去采集。可以从不同地方汇编，或者自己做问卷调查

来自政府的公开数据

• 国家统计局网站 http://www.stats.gov.cn/
  • 中国统计年鉴 http://www.stats.gov.cn/tjsj/ndsj/
  • 国家统计局微观数据 国家统计局微观数据开放范围、开放对象及使用流程？ #49
• 其它统计年鉴 数据：中国城市统计年鉴 #32
  • 《中国城市统计年鉴》2004-2020面板数据
  • 城市教育与卫生主要指标（1996-2020年）
  • 中国城市建设统计年鉴2000-2020
  • 中国旅游统计年鉴1996-2020
• 商务部等政府部门网站 http://www.mofcom.gov.cn/
• 政府报告
  • 公共卫生科学数据中心 https://www.phsciencedata.cn/Share/
  • 环境保护部数据中心
  • 中国政府网 www.gov.cn

来自国际机构的数据

• 世界银行 https://www.worldbank.org/
• 联合国 UNdata https://data.un.org/
  • UN Comtrade Database https://comtrade.un.org/

第三方数据库

• 谷歌public data explorer https://www.google.com/publicdata/directory?hl=en_US&dl=en_US#!
  • https://datasetsearch.research.google.com/
• Kaggle https://www.kaggle.com/
• HKExnews披露易(https://www.hkexnews.hk/)、上海证券交易所(http://www.sse.com.cn/)
• 谷歌学术、百度学术、中国知网、万方数据、EBSCO、期刊网站
• 数据堂 https://www.datatang.com/
• 企查查 https://www.qcc.com/
• 裁判文书网 https://wenshu.court.gov.cn/
• 中国审判案例数据库 http://www.chncase.cn/
• 北大法宝 https://www.pkulaw.net/
  • 《916篇性侵儿童判决书的背后：隐秘的角落，谁来保护孩子们？》 #55

来自科学研究项目的数据

• 社会调查研究项目，例如CGSS http://cgss.ruc.edu.cn/
• 40个微观数据库 常用的40个微观数据库 #50

时间序列数据

• Google Ngram https://books.google.com/ngrams
• Google Trends https://trends.google.com/
• 百度指数 https://index.baidu.com/v2/index.html#/
• Gdelt https://www.gdeltproject.org/
  • https://analysis.gdeltproject.org/
  • https://analysis.gdeltproject.org/module-gkg-tonetimeline.html
• storywrangling https://storywrangling.org/

众包数据

Figure 17. The Guardian Datablog production process visualized (The Guardian)

阅读 https://datajournalism.com/read/handbook/one/in-the-newsroom/behind-the-scenes-at-the-guardian-datablog

• 养老网 https://www.yanglao.com.cn/
• “灰色数据“的市场均衡 微信公众号搜索

碎片化数据

• 搜索引擎
• 新闻网站
• 企业年报
• 现场采访、问卷调查

如何从网页抓数据

• 先试复制和粘贴
• 再试免费工具
  • 给火狐浏览器添加插件Table2Clipboard
• 也可以用Google Spreadsheets
  • 使用ImportHTML指令

如何从多个页面抓数据

• 先试免费工具
  • Firefox 扩展包Outwit Hub
• 再试付费工具
  • Outwit Hub Pro ($59)
  • Helium Scraper ($149 US)
• 也可以用Python写个小程序来抓取。

数据被锁在PDF文件里

如何把PDF表格变成Excel

• 先试复制和粘贴
  Word2013 就可以转换PDF文档

再试免费PDF转CSV工具 T

• https://www.pdftoexcelonline.com/
• http://tabula.nerdpower.org/
• http://www.cometdocs.com/
• http://www.zamzar.com/

然后试付费工具

• PDF Converter Professional ($99 US)
• Monarch Professional ($1350 US)

图像转文字

• 汉王 － 准确度有待提高
• OneNote 可以转换部分图片中的文字
• ABBYY Finereader，知乎 700+推荐答案，150美元 http://www.zhihu.com/question/19593313