k8凯发新闻中心

k8凯发官网入口,一个拥有4亿用户的App怎么用公共云来玩大数据的

2024-08-07
浏览次数:
返回列表

  当你悠闲的在街上散步的时候,你可能不知道一块降雨云将在10分钟后和你相遇。k8凯发官网app下载,这时,墨迹天气会给一个提示,点进去以后还可以看到这场雨的持续时间。这是墨迹天气即将上线的一项功能,背后依托的是其强大的大数据分析技术。

  日前,墨迹天气同国内最大云计算服务商阿里云展开合作k8凯发官网入口,,进一步强化其大数据优势。墨迹天气通过采用阿里云的大数据计算服务ODPS,对4亿用户产生的日志进行分析,基于此提供更加个性化的天气服务。

  4亿用户是什么概念?也就是说,13.5亿中国人,每四个人中就有一个下载过墨迹天气,超过了美国人口总数。这些用户每天有超过 5 亿次的天气查询需求,这一数字甚至要大于 Twitter 每天发帖量k8凯发官网入口,。

  “用户每天产生的日志量大约在400GB。我们需要将这些海量的数据导入云端,然后分天、分小时的展开数据分析作业,分析结果再导入数据库和报表系统,最终展示在运营人员面前。”墨迹天气运维部经理章汉龙介绍,k8凯发官网app下载,整个过程中数据量庞大,且计算复杂,这对云平台的大数据能力、生态完整性和开放性提出了很高的要求。

  在大数据处理能力方面,阿里云ODPS刚刚在Sort Benchmark排序竞赛中斩获了世界冠军。Sort Benchmark被认为是计算界的奥运会,全球顶尖公司和学术机构都会参加,以评估他们的最新研究成果。

  此外,阿里云ODPS提供更为易用、全面的大数据分析功能。ODPS可根据业务情况做到计算资源自动弹性伸缩,天然集成存储功能。通过简单的几项配置操作后,即可完成数据上传,同时实现了多种开源软件的对接。

  此前,墨迹天气的这一流程是在国外某云计算平台上完成的,需要分别使用云存储、大数据分析等服务,数据分析完成后再同步到本地数据库中与报表系统对接。章汉龙介绍,k8凯发官网app下载,在完成迁移后,墨迹天气的整体存储和计算成本降低了70%。同时,墨迹还可以借助ODPS上的机器学习算法,对数据进行深度挖掘。

  章汉龙提到的这些算法均来自阿里巴巴集团的核心算法库,经历过双11、双12等战火锤炼。这其中包括特征工程、数据探查与统计、大规模机器学习、深度学习,以及阿里在文本、图像和语音处理方面的数据技术。

搜索