Java job interview:项目架构研发58赶集通用的实时统计分析平台设计与实践

本文主要是介绍Java job interview:项目架构研发58赶集通用的实时统计分析平台设计与实践，对大家解决编程问题具有一定的参考价值，需要的程序猿们随着小编来一起学习吧！

先概括一下飞流有四个特点。
第一，释放用户，减少用户开发成本，所以说这个系统是不需要用户编程，只需要登录个网页，点点配置一下，然后等下，数据就出来了。这是很重要的一个点，也是我们想做这个系统的动机。
第二，提供了丰富的分析和统计功能，求和、取平均、最大最小，计数唯一计数，PV/UV的统计非常简单。
第三，提供了强大多维分析能力，针对上面需求可以下到具体的城市或者具体业务来看它的统计指标。
第四，飞流这个平台是基于Kafka、Storm、Hbase。具备很好的可靠性、可扩展性、以及性能
第五，数据接入极其简单，对于日志类数据仅需配置即可接入。
应用来说目前只有两个，一个是监控，很明显，这个系统面向大量的监控，主站三端，全在上面，包括服务三端质量，请求时延是怎么样的，通过飞流承载。另外对服务调用量的监控等等。
大部分的数据已经实时化了，所以业务的统计需求的数据很可能已经在Kafka系统里，简单在飞流上配置一下，他们的需求就可以满足了。最重要它还具备多维分析能力，它是一个多维分析的平台，刚才举的例子，地区、业务线或者来源，当然业务线我那块还没有配置，可以任选维度看一下这个指标情况，所以说可以做精细化的运维，发现一些潜在问题。
整体来说，这是我们飞流设计，非常简单，也比较有效果。
未来会支持以下的效果，刚才看界面还是比较单一，前期没有在界面上做改进，后续会支持Dashboard，展示多样化。饼图、热力图、柱状图，多种周期形式的曲线。
扩展度量类型。另外让目前飞流的用户配置任务还是稍微复杂一点，有些用户希望写一些SQL，我们把SQL用到我们平台上。
最后，我们是站在业务角度来看平台发展，飞流就是一个很典型的平台，还包括我们内部系统云窗平台，也在做这个工作。此外，我们这边还有更多平台，Spark、Yarn、Kylin、Kafka、flume等等。

这篇关于Java job interview:项目架构研发58赶集通用的实时统计分析平台设计与实践的文章就介绍到这儿，希望我们推荐的文章对大家有所帮助，也希望大家多多支持为之网！