大数据

Hadoop和Spark两者都是大数据框架，但是各自存在的目的不尽相同，Hadoop和Spark都是并行计算，两者都是用MR模型进行计算，下面为大家详细讲解一下Hadoop和Spark异同。

Kafka是一个分布式、分区的、多副本的、多订阅者，基于zookeeper协调的分布式日志系统（也可以当做MQ系统），常见可以用于web/nginx日志、访问日志，消息服务等等，本篇文章重点为大家讲解一下kafka常用命令。

在我们进行单机应用开发，涉及并发同步的时候，我们往往采用synchronized或者Lock的方式来解决多线程间的代码同步问题。但当我们的应用是分布式集群工作的情况下，那么就需要一种更加高级的锁机制，来处理种跨机器的进程之间的数据同步问题。这就是分布式锁，下面重点为大家讲解一下zookeeper分布式锁。

flume是一个分布式、可靠、和高可用的海量日志采集、聚合和传输的系统，在实际开发环境中被广泛使用，本篇文章重点为大家讲解一下Linux下部署flume具体步骤。

Hadoop分布式文件系统(HDFS)是一种基于Java的分布式文件系统，它具有容错性、可伸缩性和易扩展性等优点，它可在商用硬件上运行，也可以在低成本的硬件上进行部署。HDFS是一个分布式存储的Hadoop应用程序，它提供了更接近数据的接口。

Spark之所以比Hadoop灵活和强大，其中一个原因是Spark内置了许多有用的算子，也就是方法。通过对这些方法的组合，编程人员就可以写出自己想要的功能。说白了spark编程就是对spark算子的使用，下面为大家详细讲解一下SparkValue类型的常用算子

MapReduce，本质就是一种编程模型，也是一个处理大规模数据集的相关实现。之所以会有这个模型，目的是为了隐藏“并行计算、容错处理、数据分发、负载均衡”，从而实现大数据计算的一种抽象。