数据库系统中 OLTP和OLAP OLTP和OLAP系统表面上看都是数据库系统，但是这两种系统的功能和设计有着非常大的区别。 OLTP的基础就是我们通常所说的数据库系统，通常我们会假设OLTP系统会作为OLAP系统对数据进行分析的数据源来使用。 什么是OLTP? OLTP(Online Transactional Processing) 是一类数据处理过程，通常关注于事务性数据任务的执行。OLTP的一次作业可以简单理解为数据库操作一次前后关联的几个Insert, Update和Delete命令的执行。OLTP系统通…
Kafka作为使用最广泛的流消息系统，被广泛应用企业流数据处理和互联网实时处理平台，可以在该平台传输各种类型的数据。但是Kafka对其处理的消息大小是有限制的。在最近的版本中，其最大消息大小被限制在2GB以下。官方建议最好是把单个消息的大小限制在10k左右，Kafka的设计本来就是为了处理巨量的消息，而不是用来传输大型的消息的。 我们可以通过以下的配置修改消息的大小，但是强烈不建议这样做。在Kafka系统上传输大型的消息会对整个系统的性能造成很大的负面影响，很有可能把整个系统搞崩溃。 broker message.…
Uber是全球最大的打车软件公司，而且正在发展为最大的车辆共享软件公司。对于Uber这样的公司来说，对巨量的实时流数据的处理的能力是至关重要的，其实时流数据的处理能力，效率和质量直接关系到公司核心业务的服务质量和用户的满意度。不知道滴滴在技术上是不是可以和Uber一拼，这里没有可能有挑战的意味：）。这篇文章通过研究Uber程序员在Devoxx，WSO2Con， DataWorks Summit等会议上的分享来分析其实时流数据分析的体系架构。也作为今年技术研究的一个方向做一个分析。 可以看到其实时流系统是采用的K…
鉴于Kafka在如今大数据处理领域的重要地位，还是写一篇文章来简单介绍一下kafka吧。本文只谈基础概念，也算是个小界，大神请绕道。这篇文章主要涉及一下几个方面： 什么时Kafka 熟悉Kafka的基本概念 创建一个单节点的集群 Kafka是什么？ 简单来说，Kafka是一个高性能，可扩展和稳定的消息系统。这是一个开源的流数据处理平台。Apache Kafka最初由LinkedIn开发和维护，后来在2011年成为Apache基金会的开源项目，2012年成为Apache基金会的顶级开源项目。Kafka用Scala和J…
