慧数汽车大数据首页>核心技术

汽车分析标准

汽车分析标准

2016-04-17 12:44


摘要

汽车大数据的分析应用了分布式搜索引擎技术,实现了高扩展、PB级处理、实时计算等核心处理功能,围绕“车”、“内容”、“用户”三方面进行深度分析,在数据挖掘的基础上建立分析标准。

汽车大数据的分析应用了分布式搜索引擎技术,实现了高扩展、PB级处理、实时计算等核心处理功能,围绕“车”、“内容”、“用户”三方面进行深度分析,在数据挖掘的基础上建立分析标准。


(1)定量分析

整合车的品牌、车型、车系、车款、国别、级别、排量、价格段、车指标(一、二、三级)等相关数据,对各类型数据的价值点进行挖掘,结合业务场景需要建立模型,将一款车的数据结构化分析展现。


(2)定性分析

整合汽车行业的UGC、PGC、OGC等相关数据,运用语义分析技术进行情感分析、热度分析、观点抽取等,以内容和用户相结合的形式建立分析模型,将媒体声量和用户声量具体化。


(3)技术点


——横向可扩展:只需要增加一台服务器,做一点儿配置,启动一下ES进程就可以并入集群。


——分片机制:同一个索引分成多个分片(sharding),这点类似于HDFS的块机制;分而治之的方式来提升处理效率,相信大家都不会陌生。


——高可用:提供复制(replica)机制,一个分片可以设置多个复制,使得某台服务器宕机的情况下,集群仍旧可以照常运行,并会把由于服务器宕机丢失的复制恢复到其它可用节点上。


最新发布