高质量数据,改善和增强您的建模过程
天气以明显或微妙、意想不到的方式影响人类决策。能源提供商需要数据以确保当他们的电网上数千个空调打开时,功率通量能够满足需求。纽约市下雨时,对Citibike骑行的需求会大幅下降。零售商甚至使用天气数据,在异常寒冷的天气中向消费者定向推广感冒药和流感药。
政府和学术机构收集了大量的天气数据,这意味着在构建分析和模型时,您需要的数据通常是免费提供的。在美国尤其如此,国家海洋和大气管理局(NOAA)收集的数据(包括国家气象局(NWS))是公共领域。
然而,免费高质量数据的问题在于,它们埋藏在难以找到的过时的主机区域、FTP服务器或是在谷歌搜索结果的第二页被无数私人公司挤压在后面。例如,NOAA的许多数据仅通过购物车流程获取,您可能需要在开始查找前就知道您想要的确切数据集。获取这些数据的难度意味着您最简单的选择通常是带有API和高搜索排名的私人数据提供商。这些来源可能很好,但通常有严格的免费层限制、历史时间限制、分辨率限制等,因此为了帮助您进行数据搜索,我提供了五个高质量、可靠且最重要的是免费的数据来源。
国家环境信息中心(NCEI)
数据集|气候数据在线(CDO)|国家气候数据中心(NCDC)(noaa.gov)
NCEI隶属于美国国家海洋和大气管理局(NOAA),提供了地球上最重要的环境数据档案之一。他们提供了有关大气、沿岸、海洋和地球物理参数的全面信息。您可以以各种格式下载历史天气模式、古气候学、太阳事件等数据。
如果您点击上面的数据集链接,一个很好的起点是遗留应用程序下的全球小时数据。您将能够检索全球大多数主要机场气象站的每小时数据,以及美国的每个官方站点(大多数但不总是基于机场的)。如果您正在尝试增强特定位置的数据,请从最近的机场开始。
另一个有趣的数据集是暴风事件数据库,它不仅提供有关龙卷风和冰雹等的信息,还提供记录异常事件,例如佛罗里达州的雪,以及导致死亡的雪崩等与天气有关的事件。
气候规范等长期数据可在气候数据在线下获取,特别适用于季节性项目。在相同的部分中,您还可以看到天气雷达,这是来自NWS雷达安装的反射率数据。如果您正在寻找类似超局部降雨之类的东西,则雷达数据是您最好的选择,无论好坏都会对代码分析的可用性构成重大挑战。
正如前面提到的,NOAA数据是公共领域,因此您在此收集的任何东西都可以用于任何目的,包括商业用途。
欧洲中期气象预报中心(ECMWF)
ECMWF再分析v5 | ECMWF
ECMWF是总部位于英国并得到各欧洲国家支持的独立组织。它提供中短期到长期的天气预报,并通过ECMWF Web API免费提供其数据集。他们的ERA5数据集对气候研究特别有价值,提供1979年至今有关大气、地表和海洋波浪的详细信息。
与 NOAA 观测数据不同,ERA5 是所谓的“再分析数据”。与观测相比,再分析本质上是模型插值视图,显示了模拟区域内的天气状况。对于 ERA5,数据是全球的,分辨率为 0.25 度。每个数据点位置都有多个可用的垂直层级,因此您可以创建自 1979 年以来任何给定时间的大气垂直剖面。
对于我们这些数据工作者来说,这些数据可通过出色的 API 获得,该 API 可访问 ECMWF Copernicus 数据存储库(CDS)。要使用此服务,您需要注册并获得 API 密钥。使用 API 的专业提示是以 NetCDF 格式下载数据,并使用 xarray Python 模块将其读入到 pandas 数据帧中。
ECMWF 位居此列表的首位,因为它是如此高质量和备受推崇的数据来源。然而,您必须小心地了解他们提供的数据的使用条款,因为他们不像美国政府来源那样属于公共领域。在可公开访问的内容中,某些项目受其自己的使用条款约束。这些项目要么携带指示控制该项目权利的人的标志,并在某些情况下提供单击使用许可证的链接,要么列出了有关其使用的限制的图像信用。开放的数据页面是一个很好的起点,其中列出了可用数据的摘要、交付方式和明确的许可证要求链接。
美国国家气象局(NWS)
API Web Service (weather.gov)
如果您在美国,并且曾经看到过天气警告在电视上或手机上闪现,那么发布这些警告的是 NWS 的人类天气预报员。如果您需要访问当前数据,例如,您有一个实时运行的模型或仪表板,那么这是您想要开始的地方。
该 API 提供了对整个美国和领海的当前条件(例如温度和降水量)、预测和波高的访问权限。全球范围内仅提供有限的当前条件报告。文档和访问详细信息可以在上面链接的 NWS 官方网站上找到。
与 NCEI 数据一样,这是公共领域,可以自由用于任何目的,但是要小心不要触犯速率限制。
Open-Meteo
Free Open-Source Weather API | Open-Meteo.com
Open-Meteo 是一个协作项目,旨在提供开放、免费的天气数据访问。虽然不是政府来源,但它因致力于使气象数据免费获得而被包括在此处。
他们提供了一个 API,可访问多个数据集,包括预测数据、观测数据、历史数据和雷达图像。该 API 支持多种编程语言,适合将数据集成到应用程序中。
您可以将 API 用于个人和学术项目,但不能用于商业项目。
日本气象厅
Japan Meteorological Agency | Climate of Japan (jma.go.jp)
日本气象厅(JMA)免费提供天气、气候和地震数据。虽然可用数据的细粒度和深度不如 NOAA 或 ECMWF,但为日本提供了最好的本地天气和气候信息来源。
特别值得注意的是,JMA 的 Himawari 天气卫星是当今最好的卫星之一,提供了日本、东南亚、澳大利亚、新西兰和太平洋岛屿的极高质量图像。
虽然 JMA 没有专用的 API,但在上面的链接或网站的相对容易找到的区域中,可以以各种格式,包括文本、XML 和图形格式,获取包括观测、预测和警告在内的数据集。如果您开始深入挖掘,可能需要使用翻译,因为许多信息都是用日语编写的。
希望这些资源能够帮到你,让你找到你需要的内容。祝你项目顺利!