豆瓣电影Top250的数据采集与可视化分析（scrapy+mysql+matplotlib）

文章目录

• 豆瓣电影Top250的数据采集与可视化分析（scrapy+mysql+matplotlib）
• • 写在前面
  • 数据采集（Visual Studio Code+Navicat）
  • • 1.观察网页信息
    • 2.编写Scrapy代码（Visual Studio Code）
    • • 2.1 创建Scrapy项目`doubanProject`
      • 2.2 创建爬虫脚本`douban.py`
      • 2.3 修改`douban.py`的代码
      • 2.4 修改`items.py`的代码
      • 2.5 修改`pipelines.py`的代码
      • • 1. `MySQLPipeline` 类
        • 2. `ExcelPipeline` 类
      • 2.6 修改`settings.py`的代码
      • • 1. 基本设置
        • 2. 用户代理和遵守规则
        • 3. 请求控制
        • 4. Cookie 设置
        • 5. **数据存储管道
        • 6. **MySQL 配置**
    • 3. 创建数据库（Navicat）
    • • 3.1 创建数据库`douban`
      • 3.2 创建表`movies`
    • 4.启动项目
    • 5.查看采集的数据
  • 可视化分析
  • 完整项目
  • 写在后面