当前位置: 首页 > news >正文

基于新浪微博海量用户行为数据、博文数据数据分析:包括综合指数、移动指数、PC指数三个指数

基于新浪微博海量用户行为数据、博文数据数据分析:包括综合指数、移动指数、PC指数三个指数

  • 项目介绍

    1. 微指数是基于海量用户行为数据、博文数据,采用科学计算方法统计得出的反映不同事件领域发展状况的指数产品。
    2. 微指数对于收录的关键词,在指数方面提供微博数据层面的指数数据,包括综合指数、移动指数、PC指数三个指数。
  • 项目举例
    以‘中兴’这一关键词为例,要求获取中兴的三个指数数据。微指数的数据收录时间有范围,范围表现在:
    1)整体趋势:2013-03-01-至今
    2)移动趋势:2014-01-06-至今
    3)PC趋势:2014-01-06-至今
    本例子设定start_date = ‘2016-05-29’,end_date = ‘2018-05-29’, 原始结果如下:

1.原始综合指数

2. 原始移动/pc指数

  • 实现流程
  '''主函数'''def index_main(self, word, start_date, end_date):# 打开数据页面print('step1, open page....')3driver = self.search_index(word)# 构造请求,获取指数json数据print('step2, get data....')data = self.get_data(driver, start_date, end_date)# 判断数据返回类型,若微博没有收录改词,则退出,显示退出信息if data['zt']:print('step3, save data ...')self.output_data(word, data)print('finished....')else:print('not be record...')#关闭浏览器对象driver.close()
  • 执行
 def demo():start_date = '2016-05-29'end_date = '2018-05-29'sina = SinaIndex()search_word = '中兴'sina.index_main(search_word, start_date, end_date)demo()

3.效果展示

将得到的数据文件,进行本地可视化,效果如下:

3.1 综合指数

3.2 移动指数

3.3 PC指数

3.4指数对比

5.总结

1、微指数的采集难度介于百度指数与阿里指数之间,两个特点:1)指数有js动态请求而成,可以通过构造请求,解析获得。2)无需用户登录。
2、微指数收录的日期比阿里指数要广,较百度指数要窄,但基于微博这一层面得到的数据,对于相关研究还是有一定新意的。

项目码源见文章顶部or文末

https://download.csdn.net/download/sinat_39620217/88000970

http://www.lryc.cn/news/121005.html

相关文章:

  • 金融反欺诈的应用实践
  • Win10启动Jmeter报错提示jmeter.log拒绝访问问题
  • Vue中使用Tailwind css
  • 承接各种设计
  • HTTP请求性能分析 - 简单
  • 腾讯云标准型CVM云服务器详细介绍
  • 基于DEM tif影像的插值平滑和tif纹理贴图构建方法
  • Redis_五种数据类型及操作命令
  • Mac如何打开隐藏文件中Redis的配置文件redis.conf
  • nginx+flask+uwsgi部署遇到的坑
  • vue实现pdf预览功能
  • (原创)Flutter与Native页面互相跳转
  • web集群学习--基于CentOS构建LVS-DR集群、配置nginx负载均衡
  • 基于 FPGA 的电机控制
  • STM32F429IGT6使用CubeMX配置IIC通信(AT2402芯片)
  • JS逆向系列之猿人学爬虫第14题-备而后动-勿使有变
  • 学cpp看的那点书
  • 【C++】常用容器-string容器
  • SSH无法连接kali,拒绝密码
  • 竞赛项目 深度学习的口罩佩戴检测 - opencv 卷积神经网络 机器视觉 深度学习
  • redis 数据结构(一)
  • 【高频面试题】JVM篇
  • 第十三次CCF计算机软件能力认证
  • 无人驾驶实战-第十二课(强化学习自动驾驶系统)(完)
  • 【flask sqlalchmey】一次性将返回的列表对象或者 一行数据对象转成dict---flask-sqlalchemy输出json格式数据
  • goland插件推荐Rider UI Theme Pack
  • 人工智能面试常识-10
  • Android JNI开发从0到1,java调C,C调Java,保姆级教程详解
  • STM32基于CubeIDE和HAL库 基础入门学习笔记:功能驱动与应用
  • 创建型模式 (Creational Patterns) 玄子Share 设计模式 GOF 全23种 + 七大设计原则