人人可用的网络爬虫:Make + Novada API集成实战教程
你是否想过,可以让互联网自动为你工作?
不是被动地刷着算法推荐给你的信息流,而是让整个网络变成一个巨大的、听你指挥的资料库。一个不知疲倦的私人助理,在你睡觉、开会、看电影的时候,帮你盯着你关心的信息,一旦有变化,就第一时间告诉你。
比如,某个一直想买的相机降价了。
比如,你关注的博主发布了一篇关于某个特定话题的新文章。
比如,某个官方网站上,一份重要的公告文件更新了。
这些事情,过去需要我们一次次手动刷新,耗费大量精力。但如果,有一种方法,能让这一切自动化发生呢?
而且,实现这一切,不需要你懂一行代码,不需要你购买昂贵的服务器。整个过程,就像小时候玩乐高积木,把几个现成的模块拼在一起,仅此而已。
今天,我就带你用两个神奇的“数字乐高”,组装你的第一个自动化信息助手。
这两个积木,一个叫Make,一个叫Novada爬虫API。
别被名字吓到。
你可以把Make想象成一个无限大的数字乐高桌,你可以在上面拼接各种功能的模块,让它们按照你的想法协同工作。
而Novada爬虫API,就是那个神通广大的“外卖小哥”。你只需要告诉他去哪个餐厅(哪个网址),取什么菜(哪个信息),他就能无视任何阻碍,把热腾腾的、包装好的菜(结构化数据)送到你手上。什么绕路、什么保安(网站反爬虫机制),他都帮你搞定。
我们的目标很简单:让这个助手去监控小米商城的某款手机,一旦它从“缺货登记”的状态变成“立即购买”,就立刻发消息到我手机上。
准备好了吗?让我们开始组装这个属于你的第一个数字生命。
第一步:搭建骨架,找到你的乐高桌
我们的工作台,在Make这个网站。用浏览器打开它,注册一个账号。放心,它有免费的套餐,足够我们完成今天的创造。
登录进去,你会看到一个简洁的界面。点击右上角的“Create a new scenario”,一片巨大的白色画布就会展现在你面前。这就是你的专属数字乐高桌,未来无数强大的自动化流程,都将在这里诞生。
画布中央有一个巨大的紫色加号,它在对你眨眼,仿佛在说:来,加上你的第一个积木。
第二步:召唤神通广大的外卖小哥 Novada
点击那个加号,会弹出一个搜索框。在里面输入“Novada”,你会看到一个印着Novada标志的模块。点击它。
现在,你需要从Novada提供的几个动作里,选择一个。我们只是想获取网页上的信息,所以选择“Make a Request to the Crawler API”。
这个模块,就是我们的外卖小哥。但要让他开工,你需要给他办一张“工作证”,也就是API Key。
别慌,这张工作证是免费领的。
打开Novada爬虫API的官网,同样注册一个账号。登录后,在你的个人后台或文档页面,很容易就能找到一长串由字母和数字组成的“API Key”。它就是你在数字世界的唯一身份凭证。把它复制下来。
回到Make的画布,点击Novada模块,会弹出一个设置窗口。点击“Add”,给你的连接起个名字,比如“我的Novada”,然后把刚刚复制的API Key粘贴进去。
好了,你的外卖小哥已经正式入职,随时听候调遣。
第三步:下达指令,设定你的第一个任务
现在,我们要给这位外卖小哥下达第一个任务。
在Novada模块的设置里,你会看到两个最重要的输入框:URL和Elements to Extract。
URL好理解,就是你要监控的那个小米手机的商品页面网址。直接去小米商城找到它,复制链接,粘贴进来。
重头戏来了,Elements to Extract。它的意思是“要提取的元素”。我们需要告诉外卖小哥,你到了这个页面后,具体要看哪个位置的信息。
这里,我们需要用到一个叫“选择器”的东西。
别怕,这是全文唯一一个看起来有点像“黑客”操作的步骤,但本质上就是个复制粘贴。
在你的电脑上,用Chrome或Edge浏览器打开刚刚那个小米手机的商品页面。找到那个灰色的“缺货登记”按钮。
右键点击这个按钮,在弹出的菜单里选择“检查”或者“Inspect”。
页面的右侧或下方会弹出一个天书般的代码窗口。别管它,你的鼠标刚刚右键点击的地方,对应的代码行已经被高亮显示了。
在这行高亮的代码上,再次右键,依次选择“复制” -> “复制选择器”或“Copy” -> “Copy selector”。
现在,一个形如#J_buyBtnBox > a.btn.btn-primary的神秘字符串,已经被复制到了你的剪贴板里。
这个字符串,就是“魔法指星笔”。它精准地指向了那个“缺货登记”按钮。
回到Make,在Novada模块的Elements to Extract设置里,点击“Add item”。你会看到两个框:Name和CSS Selector。
在Name里,给它起个名字,比如“购买按钮状态”。
在CSS Selector里,粘贴你刚刚复制的那个神秘字符串。
点击“OK”保存。
到这里,最核心的指令已经下达完毕。翻译成大白话就是:“嘿,Novada,你去这个小米网址,用这根魔法指星笔找到那个按钮,然后把按钮上的文字告诉我。”
第四步:设定行动,一旦有变立刻呼叫我
我们的助手已经知道要“看”什么了,现在要教他“看”到信息后该“做”什么。
将鼠标悬停在Novada模块的右侧,会出现一个加号。点击它,添加下一个乐高积木。
为了能收到通知,我们可以选择很多模块,比如邮件、短信,甚至企业微信。为了演示方便,我们用手机自带的通知功能。在Make的手机App里,可以很方便地接收通知。
在搜索框里搜索“Notifications”(如果你用的是iOS)或“Android”,添加一个发送通知的模块。
点击这个通知模块进行设置。
在标题(Title)里,你可以写:“小米手机状态更新!”
在内容(Body)里,就有意思了。我们可以让它告诉我们具体的状态。输入“按钮最新状态是:”,然后,你会看到右侧弹出的变量框里,有来自上一步Novada模块的数据。点击那个我们刚刚命名的“购买按钮状态”,把它拖拽到输入框里。
这样设置之后,如果按钮文字是“缺货登记”,你收到的通知就是“按钮最新状态是:缺货登记”。如果它变成了“立即购买”,你收到的就是“按钮最新状态是:立即购买”。
第五步:让你的创造动起来
万事俱备。现在,我们要给这个小助手注入灵魂,让它自动化运转。
在画布的左下角,你会看到一个时钟图标。点击它,你可以设置这个流程每隔多久运行一次。比如,你可以设置为每15分钟运行一次。
设置好之后,点击左下角的“Run once”按钮,手动测试一下。
你会看到数据像电流一样,从左边的Novada模块流向右边的通知模块,两个模块上方都亮起了绿色的对勾。
几乎在同一时间,你的手机“叮”地一声。
点亮屏幕,一条你亲手设置的通知赫然显示:“小米手机状态更新!按钮最新状态是:缺货登记”。
那一刻,你可能会愣住几秒钟。
没有代码,没有复杂的配置,只是像玩游戏一样点了几下鼠标,你就创造出了一个为你服务的数字助手。它真实地运行着,忠实地执行了你的指令。
这种从无到有,化想法为现实的感觉,叫“创造”。
最后,别忘了点击左下角的开关,把“OFF”变成“ON”。
从这一刻起,这个由你创造的数字生命,就会按照你的指令,日复一日,不知疲倦地为你监控着那个商品页面。直到有一天,当它发现“缺货登记”变成了“立即购买”,你的手机会再次响起。
那一声,是你创造力得到回应的声音。
你刚刚解锁的,远远不止是监控一个商品库存的技巧。
你拿到了一把钥匙,一把打开信息自动化大门的钥匙。你掌握了一种全新的、与互联网互动的方式。
今天,你能监控手机库存。明天,你就能用同样的方法,去创造各种各样的信息助手:
监控去心仪城市旅行的机票,在价格低于某个数值时通知你。
监控豆瓣上某本绝版书,在有二手货源上架时通知你。
监控租房网站上你关注的小区,在有新房源发布时第一时间发给你。
监控你所在行业的新闻网站,当出现与你公司相关的报道时,自动将链接和摘要发送到你的工作群。
你不再是信息的被动接收者,淹没在算法推荐的海洋里。你变成了自己信息世界的主宰,一个能主动出击、捕获价值的创造者。
这个世界的信息壁垒,在你面前,刚刚裂开了一道缝。
现在,轮到你了。去创造更多属于你的数字助手吧。
Comments
Post a Comment