5.1 初探大数据流式处理

在本节中，我们深入探讨了大数据流式处理的基础知识和关键技术。首先，我们区分了批式处理和流式处理两种大数据处理方式，了解了它们各自的适用场景和特点。流式处理以其低延迟和高实时性适用于需要快速响应的场景，而批式处理则适用于对实时性要求不高但需要全面分析的场景。接着，我们讨论了流式计算的五大特征：实时性、易失性、突发性、无序性和无限性，以及流式计算的关键技术，包括系统架构、数据传输、编程接口和高可用技术等。最后，我们对比了三大主流流式处理框架：Storm、Spark Streaming 和 Flink，它们各自具有不同的特点和优势。通过这些内容的学习，我们对流式处理有了全面的认识，为后续的深入学习和实践打下了坚实的基础。