豆瓣Top250电影的数据采集与可视化分析（scrapy+mysql+matplotlib）

文章目录

• 豆瓣Top250电影的数据采集与可视化分析（scrapy+mysql+matplotlib）
• • 写在前面
  • 数据采集（Visual Studio Code+Navicat）
  • • 1.观察网页信息
    • 2.编写Scrapy代码（Visual Studio Code）
    • • 2.1 创建Scrapy项目`doubanProject`
      • 2.2 创建爬虫脚本`douban.py`
      • 2.3 修改`douban.py`的代码
      • 2.4 修改`items.py`的代码
      • 2.5 修改`pipelines.py`的代码
      • • 1. `MySQLPipeline` 类
        • 2. `ExcelPipeline` 类
      • 2.6 修改`settings.py`的代码
      • • 1. 基本设置
        • 2. 用户代理和遵守规则
        • 3. 请求控制
        • 4. Cookie 设置
        • 5. 数据存储管道
        • 6. MySQL 配置
    • 3.创建数据库（Navicat）
    • • 3.1 创建数据库`douban`
      • 3.2 创建表`movies`
    • 4.启动项目
    • 5.查看采集的数据
  • 数据分析（Anaconda/Jupyter Notebook）
  • • 1.导入数据
    • 2.数据预处理
    • 3.可视化分析
    • • 3.1 可视化分析电影的类型
      • 3.2 可视化分析电影的年份
      • 3.3 可视化分析电影的评分
      • 3.4 可视化分析电影的国家
  • 完整项目
  • 写在后面