众包数据：那些像金子一样的数据！

[chengjun]

请各组同学回帖，有哪些宝贵的数据资源是我们没有讲到的？

注意：

1. 回帖的时候注明小组名称
2. 给出数据或数据库的名称、超链接、数据简介（比如数据收集者、数据持续时间等）

[Fanhr]

第三小组
（CEIC）统计数据库

CEIC通过最前沿的操作平台CDMNext帮助您将超过200+个国家的730多万条时间序列数据集成到您自己的工作平台上。我们的数据库可以让您轻松掌握全球市场动态，以及对新兴市场经济数据有最深刻的认识。

上海图书馆数字人文项目的开放数据平台

本网站作为上海图书馆数字人文项目的开放数据平台，将陆续以关联数据（Linked Data） 的方式向互联网公开发布上图数字人文项目所用的基础知识库（人、地、时、事、物），文献知识库（家谱、手稿档案、古籍等），本体词表， 和数字人文项目建设过程中所用到的各种数据清洗和转换工具、 以及项目组发表的相关论文、课件等研究资料。 并以REST API， Sparql Endpoint，内容协商（Content Negotiation）等方式提供各种数据消费接口供开发人员调用，以促进数据的开放获取、共享和重用。 调用接口前，需注册API Key，并阅读开发者指南。

中国互联网络信息中心
每年的《中国互联网络发展状况统计报告》等，包含各种类型APP的用户数量、网民数量、带宽等，如http://www.cnnic.net.cn/hlwfzyj/hlwxzbg/hlwtjbg/202109/P020210915523670981527.pdf

199大数据导航
基于数据的门户网站，有许多数据源网站，也可以聚合搜索（主要是商业研报等）

台湾政府资料开放平台

依據行政院第3322次院會決議指示，政府開放資料(Open Data）可增進政府施政透明度、提升民眾生活品質，滿足產業界需求，對於各級政府間或各部會間之決策品質均有助益可見其重要性，各部會應自民眾的應用面發想，思考使用端之需求，在規劃時也要考慮到機器讀取介面的必要性。 行政院所屬各機關今後將藉由「資料開放民眾與企業運用」、「以免費為原則、收費為例外」、「資料大量、自動化而有系統的釋放與交換」3步驟，並配合「主動開放，民生優先」、「制定開放資料規範」、「推動共用平臺（Data.gov.tw）」、「示範宣導及服務推廣」等4大焦點策略推動政府資料開放工作。資料開放的類型以便利及提升民眾生活品質為優先，例如食、醫、住、行、育樂、就業、文化、經濟發展和生活品質等，期透過政府資料開放，促成跨機關與民間協同合作與服務創新，創造民眾、政府、業界三贏局面。

[Ceuniu]

第四小组
1.COVID-19临床试验数据库
https://clinicaltrials.gov/ct2/results?cond=COVID-19
新冠肺炎爆发至今，全球关于新冠肺炎的临床实验研究数据

2.美国检察官数据库
https://github.com/billimarie/prosecutor-database
Post-Carceral公益组织从2020年开始收集的美国地方检察官数据，他们相信地方检察官与警察是否暴力执法关系紧密，通过收集地方检察官的个人数据，能够帮助人们在选举投票时投给反对警察暴力执法的人。

3. MusicBrainz音乐百科全书
   https://musicbrainz.org/doc/MusicBrainz_Database
   收集全球已发行的音乐元数据并将其提供给公众，数据包括艺术家、发行方、音频和唱片公司等等信息。

4.ISSP国际社会调查数据库
http://www.issp.org/data-download/by-year/
国际社会调查计划ISSP从1984年开始进行的跨国和跨时间研究监测数据，包括社会不平等、宗教、国民身份、家庭和性别角色等等研究主题的数据

5.毒品和犯罪问题办公室（UNODC）数据库
https://dataunodc.un.org/
联合国关于全球犯罪事件的统计，包括凶杀、野生动物犯罪、性犯罪等，也包括了对缉毒、刑事司法系统和监狱的数据。

6.艺恩星数实时数据网站
https://www.endata.com.cn/
北京艺恩世纪数据科技股份有限公司致力于通过大数据、AI技术连接内容与消费者数据，以驱动客户业务增长。艺恩星数覆盖面广，涵盖文娱、电商、品牌推广等方面的数据内容，并且实时更新数据库，用户可在线获取如电影票房排片、小红书投放品牌及金额、商品热词检索等配套的详细数据并加以分析。

7.抗日战争与近代中日关系文献数据平台
http://www.modernhistory.org.cn/index.html
国家社科基金“抗日战争研究专项工程”中国历史研究院学术资助项目。
平台收集了大量有关抗日战争与近代中日关系的文献数据，并按图书、报纸、档案、期刊等分类，且按时间线将各类资料的历年数据进行统计。使用者可以直接在网站阅读文献，甚至是百年前的手写文稿。

8.早期华文报纸电影资料库
https://fanyi.baidu.com/translate#en/zh/
2010，香港浸会大学教授、复旦大学、华东师范大学、深圳大学的学者和学生组成的研究团队，开展了对1900至1950年间中国区域电影产业的调查。研究小组在内地、香港、广州、杭州、天津四个主要地区的中国早期报纸中收集和分析了电影广告、新闻文章。三年来，研究小组通读了这四个城市清末至民国时期的八份中文报纸，收集了两万多份电影广告、新闻和文章，并将数据进行归类和汇总，于2014年底与香港浸会大学图书馆合作建立了该在线数据库，作为未来中国区域电影史研究的重要参考。

9.巴西LGBT群体被施暴资料库
https://gerbortolotto.shinyapps.io/denuncialgbt/
该资料库根据巴西家庭和人权部的数据整理了2011-2019年间巴西LGBT群体遭受暴力的投诉记录，按照地区、性别、年龄、所受暴力种类等分别统计，呈现出巴西LGBT群体遭受的侵害，旨在促进LGBT平权。

10.Our World In Data
https://ourworldindata.org/about
研究团队隶属于英国牛津大学牛津马丁全球发展计划，致力于研究几十年来各国关于人类生活水平的数据，囊括人口变化、健康、粮食和农业、能源和环境、创新和技术变革、贫困与经济发展、生活条件、社区和福祉、人权与民主、暴力和战争、教育和知识十个主题。
值得注意的是，在新冠疫情爆发以来，该网站也开始收集新冠疫苗的接种相关数据。网站展现了疫苗接种的数量、接种人口比例、各国疫苗政策、疫苗品牌等数据。

11.世界价值观调查（World Values Survey）
https://www.worldvaluessurvey.org/wvs.jsp
世界价值观调查是一项旨在研究公众的价值取向､并探索其如何随时间与社会政策变迁而变化的全球性调查｡世界价值观调查是由世界社会科学网络联盟的成员单位共同协作执行,目前覆盖了100多个国家､90%左右的全球人口｡世界价值观调查从1981年第一次调查开始至今已有37年的历史,调查内容涵盖了当代世界最关心和关注的价值观话题,如民主化､外籍或少数群体包容性､性别平等､宗教角色与变迁､全球化的影响等;此外也调查受访公众对环境､工作､家庭､政治､国家认同、文化、多样性、安全的看法以及主观幸福感等｡世界价值观调查的数据和报告经过匿名处理后逐步公开,常常被用于世界各国政府､学者､记者､社会组织和机构的学术研究与实践分析中,推动了世界各国公民社会与民主制度的建设｡

12.美国学校安全与犯罪调查（School Survey on Crime and Safety）
https://nces.ed.gov/surveys/ssocs/index.asp
学校犯罪和安全调查（SSOCS）是美国学校一级犯罪和安全数据的主要来源。国家教育统计中心（NCES）教育部。SSOCS是对大约4,800所公立小学和中学进行具有全国代表性的跨部门调查。
学校犯罪和安全调查（SSOCS）是国家教育统计中心对全国公立学校的抽样调查，旨在提供对学校犯罪、纪律、混乱、计划和政策的估计。SSOCS在偶数学年的春季对公立小学、初中、高中和综合学校的校长进行管理。

13.食品数据中心 (FDC)
https://www.ars.usda.gov/northeast-area/beltsville-md-bhnrc/beltsville-human-nutrition-research-center/methods-and-application-of-food-composition-laboratory/mafcl-site-pages/fdc/
FoodData Central (FDC) 小组的使命是支持和扩展美国农业部的在线综合食品和营养数据系统 FDC。FDC 小组还推动努力将 FDC 保持为食品成分信息的全球资源。FDC 包含五种不同类型的数据，其中包含有关食物和营养成分的信息，每种数据都有独特的用途。

14.人类代谢物数据库
https://hmdb.ca/
人体代谢数据库 (HMDB) 是一个免费提供的电子数据库，其中包含有关人体中发现的小分子代谢物的详细信息。它旨在用于代谢组学、临床化学、生物标志物发现和通识教育中的应用。

15.全历史
https://www.allhistory.com/
覆盖了古今中外全方位的历史资料，涉及文化战争等多个领域。

[XinhangLiao]

Group1
医学&健康数据集
1.全球卫生数据(GHDX)是一个全球卫生和人口数据的目录。GHDX的目标是帮助人们找到数据编目数据信息包括主题,通过提供链接数据提供者或解释如何获取数据,并且在我们允许的情况下,提供的数据直接下载。GHDX研究包括人口普查数据,调查、注册、指标和估计,行政健康数据和与健康有关财务数据。
http://ghdx.healthdata.org/gbd-results-tool

2.国家人口与健康科学数据共享平台及公共卫生科学数据中心是我国目前能够提供部分公开数据或者统计报告的数据库。平台的总体目标是建立国家的人口与健康科学数据共享服务平台,为政府决策、人口健康、医疗卫生、人才培养、科技创新、产业发展和百姓健康提供权威、开放、便捷的数据共享和信息服务。
http://www.ncmi.cn/column/INDEX
http://www.phsciencedata.cn/Share

3.Open Health Data
提供各种经过同行评议的公共卫生数据信息，里面有很多已经发表的论文的原始数据。
https://openhealthdata.org/

4.CHNS（China Health and Nutrition Survey）
就中国人群数据而言，北卡罗来纳大学的中国健康与营养调查, 是一个开放的数据库，由北卡罗来纳大学教堂分校和中国疾控中心合作，包括中国 15 个省的 30000 余名研究对象。该调查旨在研究改革开放之后中国社会经济变化对人群的营养及健康的影响，数据为 SAS 格式，另外调查所用的问卷也可以从网站获得。
http://www.cpc.unc.edu/projects/china

5.CHARLS 数据库
中国健康与养老追踪调查（China Health and Retirement Longitudinal Survey, CHARLS）是由北大国发院主持、北大中国社会科学调查中心与北大团委共同执行的大型跨学科调查项目，旨在收集一套代表中国45岁及以上中老年人家庭和个人的高质量微观数据，CHARLS问卷内容包括：个人基本信息，家庭结构和经济支持，健康状况，体格测量，医疗服务利用和医疗保险，工作、退休和养老金、收入、消费、资产，以及社区基本情况等。用以分析我国人口老龄化问题，推动老龄化问题的跨学科研究，为制定和完善我国相关政策提供更加科学的基础。
http://charls.pku.edu.cn/

6.中国慢病研究数据库（China Kadoorie Biobank，简称CKB项目）
中国慢性病前瞻性研究项目是中国医学科学院与英国牛津大学联合开展的慢性病国际合作项目。项目旨在通过建立基于血液的基础健康数据库，从遗传、环境和生活方式等多个环节深入研究危害中国人群健康的各类重大慢性病（如脑卒中、冠心病、癌症、糖尿病、高血压等）的致病因素、发病机理及流行规律和趋势，为有效地制定慢性病预防和控制对策，开发新的治疗和干预手段，提供科学依据。项目在中国10个省（区）开展，共涉及51万余人，持续时间15至20年，是一项多因素、多病种、多学科合作的大规模慢性病病因流行病学研究，也是目前世界上最大的涉及长期保存生物样本的前瞻性人群队列研究之一。网址：https://www.kscdc.net/CKBweb/tp_publicshow?id=17。

7.MIMIC
包括MIMIC-II，MIMIC-III，MIMIC-IV, eICU，PIC（儿科），HIRID数据库。其中使用较多的是MIMIC-III数据库。该数据库可以免费申请使用，内有贝斯以色列女执事医疗中心在2001年和2012年之间重症监护室超过四万病人的相关数据。数据库包含信息如人口统计学特征、床边生命体征的测量，实验室测试结果，各种操作、药物、影像报告和死亡指标。
https://mimic.physionet.org/gettingstarted/access/

8.美国SEER 肿瘤数据库
SEER肿瘤数据库是由美国国立癌症研究所（National Cancer Institute，NCI）建立，是北美最具代表性的大型肿瘤登记注册数据库之一，收集了大量医学的相关原始数据。数据库中的肿瘤可分为9类：乳腺、结肠&直肠、其他消化系统、女性生殖、淋巴&白血病、男性生殖、呼吸系统、泌尿系统及其它尚未确定的类型。临床数据记录中包括患者的注册编号、人口统计学特征、肿瘤特征、治疗方案、死亡原因等信息。
https://seer.cancer.gov

9.NHANES 项目(National Health and Nutrition Examination Survey)
美国国家健康与营养调查，是一项基于人群的横断面调查，旨在收集有关美国家庭人口健康和营养的信息。项目每年调查一个全国代表性的样本，约5000人，这些人群位于全国各县。NHANES访谈部分包括人口统计学、社会经济学、饮食和健康相关问题。体检部分包括生理测量、实验室检查等内容。
https://www.cdc.gov/nchs/nhanes/index.htm

10.CDC（Centers for Disease Control and Prevention）
美国疾病控制与预防中心是美国卫生及公共服务部所属的一个机构， 该中心为保护公众健康和安全提供可靠的资料，通过与国家卫生部门及其他组织的有力的伙伴关系，以增进有利于公民健康的决策，促进公民健康。该网站的优势在于发布“疫情数据”。http://www.cdc.gov/

拓展数据库Tips:
https://www.kaggle.com/它的平台上收集了大量有趣的，丰富的数据集，同时发布众多数据分析比赛和内容
https://www.heywhale.com/home/project 百度贴吧一样，每个数据集里有前人所做成果，可发散思维。
https://aws.amazon.com/cn/opendata/ 亚马逊公开数据网站

[BattleNet996]

Group 3
（1）七麦数据
https://www.qimai.cn/，是国内专业的移动应用数据分析平台,覆盖AppStore&GooglePlay双平台,提供iOS&Android应用市场多维度数据、ASO&ASA优化服务工具、ASO、ASA、SearchAds等实操案例及技术干货和数据报告。
（2）中国历代人物传记资料库(CBDB)数据库
https://projects.iq.harvard.edu/cbdb/home
中國歷代人物傳記資料(或稱數據)庫係線上的關係型資料庫，其遠程目標在於系統性地收入中國歷史上所有重要的傳記資料，並將其內容毫無限制地、免費地公諸學術之用。
截至2019年4月為止，本資料庫共收錄約427,000人的傳記資料，這些人物主要出自七世紀至十九世紀，本資料庫現正致力於增錄更多唐代和明清的人物傳記資料。
本資料庫除可作為人物傳記的一種參考資料外，亦冀可敷統計分析與空間分析之用。
（3）statista
https://www.statista.com/studies-and-reports/digital-and-trends，关于重要和热门话题的高质量深入信息，例如 5G、数字化或人工智能 (AI)。从网络安全、云计算和机器人技术到电子商务和虚拟现实 (VR)，涵盖了所有重要趋势，偏向于研究报告。
（4）国家气象信息中心
http://data.cma.cn/data/index/6d1b5efbdcbf9a58.html，包括全球和中国的地面天气资料、地面气候资料、近地面边界层观测资料等多个数据和产品。

[Terminalia-0846]

第五小组

1. 中文敏感词库
   在多数网站，敏感词一般是指带有敏感政治倾向（或反执政党倾向）、暴力倾向、不健康色彩的词或不文明语，也有一些网站根据自身实际情况，设定一些只适用于本网站的特殊敏感词。这个库里整理了常见的敏感词，便于实现敏感词的识别与定位。
   https://www.heywhale.com/mw/dataset/5ecf6214162df90036ddfcff/file

2. 人民日报文章数据集(1979-2010)
   人民日报为中国第一大报，被联合国教科文组织评为世界上最具权威性、最有影响力的十大报纸之一。
   人民日报是中国最具权威性、最有影响力的全国性报纸，是联系政府与民众的桥梁，也是世界观察和了解中国的重要窗口,也是中国共产党的推荐和代表。
   报纸及时准确、鲜明生动地宣传党中央精神和中国政府最新政策、决定，报道国内外大事，反映最广大人民群众的意愿和要求。
   以年为单位, 每年的数据为一个文本文件
   从1978年到2010年共有32个文本文件
   https://www.heywhale.com/mw/dataset/5c862b1ad635ff002ca2eb19/file

3. 1789-2016历任美国总统签署行政命令数据集
   行政命令是连续编号的官方文件，美国的总统通过它管理联邦政府的运作。
   行政命令的文本出现在每日的联邦纪事上，因为每个行政命令都由总统签署并由联邦纪事办公室接收。
   各行政机关发布的行政命令总数包括“9577-A”、“9616-A”等数字和字母指定命令。
   这些数据由美国国家档案馆(National Archives)汇编并发布为行政命令处置表，供富兰克林•d•罗斯福(Franklin D. Roosevelt)及后来的总统使用。
   https://www.kaggle.com/nationalarchives/executive-orders

4. 2016年美国总统大选中的宣传海报数据
   数据包含30000多个经过视觉字符识别(OCR)的候选人选举海报，记录了发布时间、链接、标题、作者、网络、点赞数等。
   http://dataju.cn/Dataju/web/datasetInstanceDetail/218

5. 康奈尔电影对话语料库（Cornell Movie Dialog Corpus）
   包含大量丰富的元数据，从原始电影剧本中提取的对话集合：617 部电影，10,292 对电影人物之间的 220,579 次会话交流。（9.5MB）
   http://www.cs.cornell.edu/~cristian/Cornell_Movie-Dialogs_Corpus.html

6. 哈佛图书馆
   超过 1,200 万册哈佛图书馆所藏资料的书目记录，包括书籍，期刊，电子资源，手稿，档案资料，乐谱，音频，视频和其他资料。
   https://library.harvard.edu/services-tools/harvard-library-apis-datasets#Harvard-Library-Bibliographic-Dataset

7. 仇恨言论识别
   志愿人查看短文，并确定它是否 a）包含仇恨言论，b）冒犯性的，但没有仇恨言论，或 c）一点也没有冒犯性。包含近 15 千行，每个文本字符串有三个志愿者判断。
   https://github.com/t-davidson/hate-speech-and-offensive-language

8. 实时收视率数据-酷云
   实时统计电视直播、抖音、哔哩哔哩、全网热度、网播热度、电视综艺植入、电视直播等媒体平台的关注度、市场占有率。
   https://eye.kuyun.com/?id=0&a=-1

9. APP ANNIE-热门APP排行
   业内最全面的移动市场数据，数据覆盖全球超过1400万应用。
   https://www.appannie.com/cn/apps/ios/top/

10. 中国健康与养老追踪调查
    中国健康与养老追踪调查（China Health and Retirement Longitudinal Study, CHARLS）旨在收集一套代表中国45岁及以上中老年人家庭和个人的高质量微观数据，用以分析我国人口老龄化问题，推动老龄化问题的跨学科研究。CHARLS全国基线调查于2011年开展，覆盖150个县级单位，450个村级单位，约1万户家庭中的1.7万人。这些样本以后每两年追踪一次，调查结束一年后，数据将对学术界展开。
    https://opendata.pku.edu.cn/dataverse/CHARLS

11. World Bank E-library（世界银行） --- World Development Indicators （世界发展指数）
    该数据库是对全球经济发展各方面基本经济数据的汇总，包含了695种发展指数的统计数据，以及208个国家和18个地区与收入群从1960年至今的年度经济数据。数据包括了社会、经济、财政、自然资源和环境等各方面的指数。
    https://databank.worldbank.org/home.aspx

12. 中国34个省级行政区公共数据开放平台汇总
    帖子中收录了34个省级行政区的公共数据开放平台网址，其中有13个行政区暂未建立省级的公共数据开放平台（或其链接无法访问），因此用统计数据网站或省会城市的数据开放平台作为代替。
    https://blog.csdn.net/qq_45653438/article/details/121087207

[lisitian]

GROUP 2
社科类：
（1）中国健康与养老追踪调查
http://charls.pku.edu.cn/
中国健康与养老追踪调查（China Health and Retirement Longitudinal Study, CHARLS）旨在收集一套代表中国45岁及以上中老年人家庭和个人的高质量微观数据，用以分析我国人口老龄化问题，推动老龄化问题的跨学科研究。CHARLS全国基线调查于2011年开展，覆盖150个县级单位，450个村级单位，约1万户家庭中的1.7万人。这些样本以后每两到三年追踪一次，调查结束一年后，数据将对学术界展开。

（2）中国社会状况综合调查
http://css.cssn.cn/css_sy/zlysj/lnsj/
“中国社会状况综合调查”（Chinese Social Survey，简称CSS）是中国社会科学院社会学研究所于2005年发起的一项全国范围内的大型连续性抽样调查项目，目的是通过对全国公众的劳动就业、家庭及社会生活、社会态度等方面的长期纵贯调查，来获取转型时期中国社会变迁的数据资料，从而为社会科学研究和政府决策提供翔实而科学的基础信息。

（3）中国综合社会调查
http://cnsda.ruc.edu.cn/index.php?r=site/article&id=180
中国综合社会调查（Chinese General Social Survey，CGSS），是中国第一个全国性、综合性、连续性的大型社会调查项目。目的是通过定期、系统地收集中国人与中国社会各个方面的数据，总结社会变迁的长期趋势，探讨具有重大理论和现实意义的社会议题，推动国内社会科学研究的开放性与共享性，为政府决策与国际比较研究提供数据资料。

（4）中国家庭追踪调查
http://www.isss.pku.edu.cn/cfps/
中国家庭追踪调查（China Family Panel Studies，CFPS）旨在通过跟踪收集个体、家庭、社区三个层次的数据，反映中国社会、经济、人口、教育和健康的变迁，为学术研究和公共政策分析提供数据基础。CFPS重点关注中国居民的经济与非经济福利，以及包括经济活动、教育成果、家庭关系与家庭动态、人口迁移、健康等在内的诸多研究主题，是一项全国性、大规模、多学科的社会跟踪调查项目。

（5）中国家庭收入调查
http://www.ciidbnu.org/chip
为了追踪中国收入分配的动态情况，中国家庭收入调查（CHIP）已经相继在1989年、1996年、2003年、2008年和2014年进行了五次入户调查。它们分别收集了1988、1995、2002、2007和2013年的收支信息，以及其他家庭和个人信息。

经济类：
（1）新华财经 中国金融信息网 全球经济数据
dc.xinhua08.com
涵盖世界主要经济体的宏观经济数据，如美国、中国、欧元区的GDP、CPI、PPI数据。

（2）中国产业信息网
http://www.chyxx.com/data/
涵盖能源、电力、通信、化工、房产等数十个产业的相关数据，也包括数据分析和市场分析。

（3）世界银行公开数据库
https://data.worldbank.org
世界银行权威发布的世界公开数据。大到各国GDP、人口、各国经济发展状况，小到新冠病毒对家庭和个人的社会经济影响都有所覆盖。

科技类：
（1）国家地球系统科学数据中心
http://www.geodata.cn/thematicView/
国家地球系统科学数据共享服务平台涉及全国层面的地表过程与人地关系数据、典型区域地表过程与人地关系数据、全球变化与区域响应综合集成数据产品、日地系统与空间环境数据、国际数据资源5个一级类和29个二级类。