当前位置:首页 > 热点

实战Scrapy,手把手教你爬取Steam热门游戏数据

susu2026-07-26 20:49:32热点138
本文是一篇Scrapy框架的实战教程,详细讲解如何手把手爬取Steam热门游戏数据,内容涵盖环境搭建、项目创建、Items定义、Spider编写及数据存储等核心环节,通过具体代码示例,帮助初学者掌握Scrapy工作流程,高效提取游戏名称、价格及评价等关键信息,是学习Python网络爬虫的优质实践指南。

在当今的游戏世界中,Steam 无疑是最大的数字发行平台之一,对于游戏开发者、数据分析师或者仅仅是狂热的游戏玩家来说,Steam 上庞大的游戏数据库是一个巨大的信息金矿,无论是想分析游戏价格趋势,还是想研究玩家评价机制,获取这些数据的第一步就是“爬虫”。

本文将介绍如何使用 Python 强大的爬虫框架 Scrapy,高效、合规地抓取 Steam 商店页面的游戏数据。

实战Scrapy,手把手教你爬取Steam热门游戏数据

为什么选择 Scrapy?

虽然 requests + BeautifulSoup 是入门爬虫的经典组合,但在面对像 Steam 这样数据量大、结构复杂的网站时,Scrapy 的优势显而易见:

  1. 异步处理:Scrapy 基于 Twisted 异步网络框架,抓取速度极快。
  2. 内置功能:自动处理重试、Cookies、Session 和并发控制。
  3. 数据管道:方便地将清洗后的数据保存为 JSON、CSV 或存入数据库。

准备工作

在开始之前,请确保你已经安装了 Python 环境,并通过 pip 安装 Scrapy:

pip install scrapy

分析 Steam 页面结构

我们要抓取的目标是 Steam 的搜索结果页面(动作类游戏列表)。

  1. 打开浏览器开发者工具(F12)。
  2. 观察 Steam 的搜索结果列表,你会发现每个游戏通常包裹在一个特定的 div 标签中(div.search_result_row)。
  3. 我们需要提取的关键信息包括:
    • 游戏名称:通常在标题标签中。
    • 发布日期:在 div.search_released 中。
    • 价格:在 div.search_price 中。
    • 评价简述:在 span.search_review_summary 中。

注意:Steam 的页面结构可能会随时间更新,编写代码时请以实际 HTML 结构为准。

编写 Scrapy Spider

创建一个新的 Scrapy 项目:

scrapy startproject steam_spider
cd steam_spider
scrapy genspider steam_store store.steampowered.com

打开生成的 steam_store.py 文件,我们来编写核心逻辑,以下是一个简化的示例代码:

import scrapy
from steam_spider.items import SteamSpiderItem
class SteamStoreSpider(scrapy.Spider):
    name = "steam_store"
    # Steam 的搜索 URL,这里以 'action' 类游戏为例,支持翻页
    start_urls = [
        'https://store.steampowered.com/search/?term=&category1=998&start=0&count=50'
    ]
    def parse(self, response):
        # 遍历每一个游戏块
        for game in response.css('div.search_result_row'):
            item = SteamSpiderItem()
            # 提取数据
            item['title'] = game.css('span.title::text').get()
            item['url'] = game.css('a::attr(href)').get()
            item['release_date'] = game.css('div.search_released::text').get().strip()
            # 价格处理(Steam 价格格式较复杂,需清洗)
            price_str = game.css('div.search_price::text').getall()
            item['price'] = "".join(price_str).strip()
            # 提取评价
            item['review_summary'] = game.css('span.search_review_summary::attr(data-tooltip-html)').get()
            yield item
        # 处理翻页逻辑
        # 查找“下一页”的链接
        next_page = response.css('a.pagebtn::attr(href)').getall()
        # Steam 翻页逻辑较特殊,通常通过构造 URL 或查找特定的 'Next' 按钮
        # 这里简化处理:如果存在下一页链接则继续
        if next_page:
            # 简单的逻辑判断,实际需更严谨
            yield response.follow(next_page[-1], callback=self.parse)

设置与反爬策略

Steam 对爬虫比较敏感,如果直接运行,很容易遇到 429 Too Many Requests 或被直接重定向到错误页面,我们需要在 settings.py 中进行配置:

  1. 添加 User-Agent:伪装成浏览器。

    USER_AGENT = 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/91.0.4472.124 Safari/537.36'
  2. 设置下载延迟:这是最重要的,不要给服务器造成压力。

    DOWNLOAD_DELAY = 2  # 每次请求间隔 2 秒
  3. 禁用 Cookies(可选):有些情况下禁用 Cookies 可以减少被追踪的概率,但在 Steam 上可能需要保持 Session 以维持某些状态,视情况而定。

    COOKIES_ENABLED = False
  4. 遵守 Robots.txt:

    ROBOTSTXT_OBEY = True

运行与保存数据

代码编写完成后,我们可以运行爬虫并将数据保存为 JSON 文件:

scrapy crawl steam_store -o games.json

通过 Scrapy,我们可以轻松地构建一个能够自动追踪 Steam 游戏信息的系统,但在享受数据带来的便利时,请务必遵守 Robots 协议 和相关的法律法规,合理的抓取频率和对服务器的尊重是每一个开发者应有的素养。

获取数据只是第一步,你可以利用 Pandas 对这些数据进行清洗,甚至制作一个属于自己的游戏推荐或价格监控网站,快去试试吧!

标签: ScrapySteam
分享给朋友:

“实战Scrapy,手把手教你爬取Steam热门游戏数据” 的相关文章

辽宁电视台北方频道在线直播观看指南

辽宁电视台北方频道在线直播观看指南

本文提供了辽宁电视台北方频道的在线直播观看指南,旨在让观众随时随地通过网络平台尽享家乡精彩,通过详细的指引,用户可以轻松接入辽宁电视台北方频道在线直播,打破地域与时间限制,实时收看电视节目,不错过任何精彩瞬间,体验便捷的视听服务。…

荣耀与传承,历届奥运会羽毛球混双冠军全盘点

荣耀与传承,历届奥运会羽毛球混双冠军全盘点

本文详细盘点了历届奥运会羽毛球混双项目的冠军名单,追溯了该项目自进入奥运大家庭以来的辉煌历程,通过回顾每一届冠军的荣耀时刻,展现了顶尖选手在赛场上的卓越风采与拼搏精神,这不仅是对过往历史的记录,更是对羽毛球混双运动精神传承的深情致敬,带领读者重温那些激动人心的夺冠瞬间。…

豪赌还是崩盘?深度解析湖人奇才改变联盟格局的大交易

豪赌还是崩盘?深度解析湖人奇才改变联盟格局的大交易

本文深度解析了湖人与奇才之间那笔引发热议的大交易,文章详细梳理了交易的具体细节,分析了湖人队此举究竟是冲击总冠军的豪赌,还是会导致球队未来崩盘的险棋,文章探讨了这笔交易如何改变联盟现有的竞争格局,以及对双方球队未来发展的深远影响。…

泪洒摩达中心!开拓者vs掘金双加时抢七铸就NBA史诗经典

泪洒摩达中心!开拓者vs掘金双加时抢七铸就NBA史诗经典

泪洒摩达中心,开拓者与掘金贡献了一场载入史册的抢七经典,双方在双加时中展开殊死搏斗,比分胶着,体能极限拉扯,这场史诗级的鏖战不仅展现了竞技体育的残酷与魅力,更铸就了NBA不可复制的传奇时刻,令无数球迷为之动容,久久难以忘怀。…

失控的友谊赛,中巴男篮斗殴全程回放

失控的友谊赛,中巴男篮斗殴全程回放

该视频完整回放了中巴男篮友谊赛中发生的惊人斗殴事件,比赛期间,双方球员情绪失控,从最初的肢体摩擦迅速升级为大规模的全武行,场面一度混乱不堪,这段影像详细记录了那场失控友谊赛从冲突爆发到激烈斗殴的全过程,引发了广泛关注。…

锁定CCTV5!NBA全明星赛直播开启,共赏巅峰对决

锁定CCTV5!NBA全明星赛直播开启,共赏巅峰对决

令人期待的篮球盛宴即将拉开帷幕,NBA全明星赛巅峰对决蓄势待发,请广大球迷锁定CCTV5,观看本次赛事的现场直播,届时,顶级球星将齐聚一堂,为大家奉献一场精彩绝伦的视觉盛宴,切勿错过CCTV5带来的NBA全明星赛直播,共同见证这一篮球界的荣耀时刻,感受竞技体育的独特魅力。…