当前位置: 首页 > news >正文

spdlog生产者消费者模式

spdlog生产者消费者模式

spdlog提供了异步模式,显示的创建async_logger, 配合环形队列实现的消息队列和线程池实现了异步模式。异步logger提交日志信息和自身指针, 任务线程从消息队列中取出消息后执行对应的sink和flush动作。

1. 环形队列

1.1 环形队列基础

环形队列是一种首尾相连的队列,符合先进先出的逻辑。相比于普通队列而言,能够复用内存。通常被使用在任务调度、消费队列等场景中。spdlog中的环形队列用于异步模式下存储日志,线程池中的消费者线程不断的读取队列消息进行落日志。
环形队列
环形队列使用两个头尾指针表示实际数据的起点和终点。

  • 出队列
    出队列时,head指针向前移动即可,并不会对head位置的元素进行删除操作,
  • 队列满
    当tail + 1 == head时,认为是满队列。
  • 入队列
    tail指针向前移动,当队列满时新数据会覆盖之前的老数据,这时head指针也要向前移动。
  • 队列长度
    实际队列长度size = tail - head, 也存在一种情况,head位置大于tail位置(已经出现过满队列),此时size= max_element - (head - tail)

1.2 spdlog的环形队列实现

spdlog 在details/circular_q.h 中实现了环形队列模板类。

  • 使用了数据来模拟队列,提供按照元素下标访问的能力
  • 实现了移动拷贝
  • circular_q 多了一个属性 overrun_counter_记录因满队列丢弃的元素数
  • max_items_ 比实际长度大1,是为了便于判断队列满状态
template <typename T>
class circular_q {size_t max_items_ = 0;typename std::vector<T>::size_type head_ = 0;typename std::vector<T>::size_type tail_ = 0;size_t overrun_counter_ = 0;std::vector<T> v_;public:using value_type = T;// empty ctor - create a disabled queue with no elements allocated at allcircular_q() = default;explicit circular_q(size_t max_items): max_items_(max_items + 1)  // one item is reserved as marker for full q,v_(max_items_) {}circular_q(const circular_q &) = default;circular_q &operator=(const circular_q &) = default;// move cannot be default,// since we need to reset head_, tail_, etc to zero in the moved objectcircular_q(circular_q &&other) SPDLOG_NOEXCEPT { copy_moveable(std::move(other)); }circular_q &operator=(circular_q &&other) SPDLOG_NOEXCEPT {copy_moveable(std::move(other));return *this;}// push back, overrun (oldest) item if no room leftvoid push_back(T &&item) {if (max_items_ > 0) {v_[tail_] = std::move(item);tail_ = (tail_ + 1) % max_items_;if (tail_ == head_)  // overrun last item if full{head_ = (head_ + 1) % max_items_;++overrun_counter_;}}}// Return reference to the front item.// If there are no elements in the container, the behavior is undefined.const T &front() const { return v_[head_]; }T &front() { return v_[head_]; }// Return number of elements actually storedsize_t size() const {if (tail_ >= head_) {return tail_ - head_;} else {return max_items_ - (head_ - tail_);}}// Return const reference to item by index.// If index is out of range 0…size()-1, the behavior is undefined.const T &at(size_t i) const {assert(i < size());return v_[(head_ + i) % max_items_];}// Pop item from front.// If there are no elements in the container, the behavior is undefined.void pop_front() { head_ = (head_ + 1) % max_items_; }bool empty() const { return tail_ == head_; }bool full() const {// head is ahead of the tail by 1if (max_items_ > 0) {return ((tail_ + 1) % max_items_) == head_;}return false;}size_t overrun_counter() const { return overrun_counter_; }void reset_overrun_counter() { overrun_counter_ = 0; }private:// copy from other&& and reset it to disabled statevoid copy_moveable(circular_q &&other) SPDLOG_NOEXCEPT {max_items_ = other.max_items_;head_ = other.head_;tail_ = other.tail_;overrun_counter_ = other.overrun_counter_;v_ = std::move(other.v_);// put &&other in disabled, but valid stateother.max_items_ = 0;other.head_ = other.tail_ = 0;other.overrun_counter_ = 0;}
};

2. 生产者消费者模式

生产者负责往环形队列中写入, 消费者负责从队列中取出数据,进行消费。可以看到,存在一个共享数据,也就是队列,所以需要一个锁来控制并发的读写;同时由于队列是有大小限制的,存在两个临界状态,也即队列空和队列满,所以需要两个条件变量,入队列的时候需要等待队列非满, 出队列的时候需要等待队列非空。

2.1 消息队列

spdlog在 details/mpmc_blocking_q.h中实现了消息队列。
入队列是提供了两种模式,阻塞和非阻塞方式,非阻塞情况下,会直接往环形队列中写入数据,在队列满时会导致数据被覆盖。
入队列
同样出队列,也提供了两种阻塞和非阻塞两种模式。
出队列

2.2 生产者消费者线程池

在异步模式下,存在一个全局的线程池。

// set global thread pool.
inline void init_thread_pool(size_t q_size,size_t thread_count,std::function<void()> on_thread_start,std::function<void()> on_thread_stop) {auto tp = std::make_shared<details::thread_pool>(q_size, thread_count, on_thread_start,on_thread_stop);details::registry::instance().set_tp(std::move(tp));
}

线程池中的线程会一直从环形队列中阻塞模式取出数据,执行对应的sink动作、flush动作、终止。
阻塞取数据
而async_logger 则是通过sink_it_往队列中写入数据。
生产者

异步模式

http://www.lryc.cn/news/380483.html

相关文章:

  • 日语 13 14
  • 初学者应该掌握的MySQL数据库的基本组成部分及概念
  • 四川汇聚荣科技有限公司怎么样?
  • 数据仓库和数据库有什么区别?
  • 计算子网掩码
  • JVM 垃圾收集算法
  • 安装虚拟环境
  • 【ai】tx2-nx:安装深度学习环境及4.6对应pytorch
  • 华为某员工爆料:三年前985本科起薪30万,现在硕士起薪还是30w,感慨互联网行情变化
  • Java基础--AOP--1.概述
  • 【计算机网络仿真实验-实验3.1、3.2】交换路由综合实验
  • RSA密码系统的特定密钥泄露攻击与Coppersmith方法的应用
  • 从零开始精通Onvif之音视频流传输
  • CentOS 7、Debian、Ubuntu,这些是什么意思
  • 安装Flask
  • OSPF开销、协议优先级、定时器(华为)
  • 接口与实现-常用实用类-Java
  • 【CSS in Depth 2 精译】1.5 渐进式增强
  • k8s集群master故障恢复笔记
  • 昇思25天学习打卡营第5天|网络构建
  • Python开发日记--手撸加解密小工具(2)
  • 一文看懂TON链
  • (南京观海微电子)——TFT LCD压合技术
  • 神经网络实战1-Sequential
  • Java中如何优化数据库查询性能?
  • 从0开发一个Chrome插件:用户反馈与更新 Chrome 插件
  • Failed to establish a new connection: [WinError 10061] 由于目标计算机积极拒绝,无法连接
  • 基于Java作业管理系统设计和实现(源码+LW+调试文档+讲解等)
  • 使用Kafka框架发送和接收消息(Java示例)
  • 高可用电商支付架构设计方案