最新公告
  • 欢迎您光临三优资源网,本站秉承服务宗旨 履行“站长”责任,销售只是起点 服务永无止境!立即加入我们
  • Puppeteer环境搭建的详细步骤(推荐)

    简介

    Puppeteer是Google开发并开源的一款工具,可用代码驱动浏览器操作。

    由于诸多优秀的特性,Puppeteer常被用在爬虫与自动化测试上。详细介绍参见官方 README 

    Puppeteer本身是个NodeJS的库,自动化脚本也需要使用NodeJS编写,如果对JS不了解建议先学习JavaScript基础语法,或者使用Selenium等其他工具去实现。

     

    对于一个陌生的工具,应当先检查是否适合自己,再去尝试使用,切莫盲目从众。
    

    Puppeteer 用处

    • 利用网页生成PDF、图片
    • 爬取SPA应用,并生成预渲染内容(即“SSR” 服务端渲染)
    • 可以从网站抓取内容
    • 自动化表单提交、UI测试、键盘输入等
    • 帮你创建一个最新的自动化测试环境(chrome),可以直接在此运行测试用例6.捕获站点的时间线,以便追踪你的网站,帮助分析网站性能问题

    配置

    Node环境配置

    下载并安装NodeJS:

     

    wget https://nodejs.org/dist/v8.12.0/node-v8.12.0-linux-x64.tar.xz
    tar xf node-v8.12.0-linux-x64.tar.xz
    mv node-v8.12.0-linux-x64 /usr/local/lib
    ln -s /usr/local/lib/node-v8.12.0-linux-x64/bin/npm /usr/local/bin/
    ln -s /usr/local/lib/node-v8.12.0-linux-x64/bin/node /usr/local/bin/
    

    *(可选)配置淘宝的源,加速npm包的下载:

    npm config set registry https://registry.npm.taobao.org
    

    安装Puppeteer

    配置淘宝的Puppeteer下载源,用于安装Chromium:

    export PUPPETEER_DOWNLOAD_HOST=https://storage.googleapis.com.cnpmjs.org
    npm i puppeteer

    国内不配置时会在卡在下载Chromium

    示例

    新建一个test.js

     

    const puppeteer = require('puppeteer');
    
    (async () => {
     const browser = await puppeteer.launch({
      ignoreHTTPSErrors: true,
      headless: false,
      args: ['--no-sandbox']
     });
     const page = await browser.newPage();
     await page.goto('https://intest.tech');
     await page.waitFor(5e3);
     await browser.close();
    })();
    
    
    

    运行:

    node test.js
    

    截图

    知识点

    • puppeteer.launch 启动浏览器实例
    • browser.newPage() 创建一个新页面
    • page.goto 进入指定网页
    • page.screenshot 截图
    const puppeteer = require('puppeteer');
    
    (async () => {
    const browser = await (puppeteer.launch({
    // 若是手动下载的chromium需要指定chromium地址, 默认引用地址为 /项目目录/node_modules/puppeteer/.local-chromium/
    executablePath: '/Users/huqiyang/Documents/project/z/chromium/Chromium.app/Contents/MacOS/Chromium',
    //设置超时时间
    timeout: 15000,
    //如果是访问https页面 此属性会忽略https错误
    ignoreHTTPSErrors: true,
    // 打开开发者工具, 当此值为true时, headless总为false
    devtools: false,
    // 关闭headless模式, 会打开浏览器
    headless: false
    }));
    const page = await browser.newPage();
    await page.goto('https://www.jianshu.com/u/40909ea33e50');
    await page.screenshot({
    path: 'jianshu.png',
    type: 'png',
    // quality: 100, 只对jpg有效
    fullPage: true,
    // 指定区域截图,clip和fullPage两者只能设置一个
    // clip: {
    // x: 0,
    // y: 0,
    // width: 1000,
    // height: 40
    // }
    });
    browser.close();
    })();
    
    
    进阶,获取网易云音乐的歌词和评论
    网易云音乐的API经过AES和RSA算法加密,需要携带加密的信息通过POST方式请求才能获取到数据。但 Puppeteer 出现后,这些都不重要了,只要它页面上显示了,通过 Puppeteer 都能获取到该元素。
    
    知识点
    
    page.type 获取输入框焦点并输入文字
    page.keyboard.press 模拟键盘按下某个按键,目前mac上组合键无效为已知bug
    page.waitFor 页面等待,可以是时间、某个元素、某个函数
    page.frames() 获取当前页面所有的 iframe,然后根据 iframe 的名字精确获取某个想要的 iframe
    iframe.$('.srchsongst') 获取 iframe 中的某个元素
    iframe.evaluate() 在浏览器中执行函数,相当于在控制台中执行函数,返回一个 Promise
    Array.from 将类数组对象转化为对象
    page.click() 点击一个元素
    iframe.$eval() 相当于在 iframe 中运行 document.queryselector 获取指定元素,并将其作为第一个参数传递
    iframe.$$eval 相当于在 iframe 中运行 document.querySelectorAll 获取指定元素数组,并将其作为第一个参数传递
    
    const fs = require('fs');
    const puppeteer = require('puppeteer');
    
    (async () => {
    const browser = await (puppeteer.launch({ executablePath: '/Users/huqiyang/Documents/project/z/chromium/Chromium.app/Contents/MacOS/Chromium', headless: false }));
    const page = await browser.newPage();
    // 进入页面
    await page.goto('https://music.163.com/#');
    
    // 点击搜索框拟人输入 鬼才会想起
    const musicName = '鬼才会想';
    await page.type('.txt.j-flag', musicName, {delay: 0});
    
    // 回车
    await page.keyboard.press('Enter');
    
    // 获取歌曲列表的 iframe
    await page.waitFor(2000);
    let iframe = await page.frames().find(f => f.name() === 'contentFrame');
    const SONG_LS_SELECTOR = await iframe.$('.srchsongst');
    
    // 获取歌曲 鬼才会想起 的地址
    const selectedSongHref = await iframe.evaluate(e => {
    const songList = Array.from(e.childNodes);
    const idx = songList.findIndex(v => v.childNodes[1].innerText.replace(/\s/g, '') === '鬼才会想起');
    return songList[idx].childNodes[1].firstChild.firstChild.firstChild.href;
    }, SONG_LS_SELECTOR);
    
    // 进入歌曲页面
    await page.goto(selectedSongHref);
    
    // 获取歌曲页面嵌套的 iframe
    await page.waitFor(2000);
    iframe = await page.frames().find(f => f.name() === 'contentFrame');
    
    // 点击 展开按钮
    const unfoldButton = await iframe.$('#flag_ctrl');
    await unfoldButton.click();
    
    // 获取歌词
    const LYRIC_SELECTOR = await iframe.$('#lyric-content');
    const lyricCtn = await iframe.evaluate(e => {
    return e.innerText;
    }, LYRIC_SELECTOR);
    
    console.log(lyricCtn);
    
    // 截图
    await page.screenshot({
    path: '歌曲.png',
    fullPage: true,
    });
    
    // 写入文件
    let writerStream = fs.createWriteStream('歌词.txt');
    writerStream.write(lyricCtn, 'UTF8');
    writerStream.end();
    
    // 获取评论数量
    const commentCount = await iframe.$eval('.sub.s-fc3', e => e.innerText);
    console.log(commentCount);
    
    // 获取评论
    const commentList = await iframe.$$eval('.itm', elements => {
    const ctn = elements.map(v => {
    return v.innerText.replace(/\s/g, '');
    });
    return ctn;
    });
    console.log(commentList);
    })();
    
    

    参考

    https://github.com/cnpm/cnpmjs.org/issues/1246#issuecomment-341631992

     

    1. 本站所有资源来源于用户上传和网络,因此不包含技术服务请大家谅解!如有侵权请邮件联系客服!3165260857@qq.com
    2. 本站不保证所提供下载的资源的准确性、安全性和完整性,资源仅供下载学习之用!如有链接无法下载、失效或广告,请联系客服处理,有奖励!
    3. 您必须在下载后的24个小时之内,从您的电脑中彻底删除上述内容资源!如用于商业或者非法用途,与本站无关,一切后果请用户自负!
    4. 如果您也有好的资源或教程,您可以投稿发布,成功分享后有站币奖励和额外收入!


    三优资源网 » Puppeteer环境搭建的详细步骤(推荐)

    常见问题FAQ

    免费下载或者VIP会员专享资源能否直接商用?
    本站所有资源版权均属于原作者所有,这里所提供资源均只能用于参考学习用,请勿直接商用。若由于商用引起版权纠纷,一切责任均由使用者承担。更多说明请参考 VIP介绍。
    提示下载完但解压或打开不了?
    最常见的情况是下载不完整: 可对比下载完压缩包的与网盘上的容量,若小于网盘提示的容量则是这个原因。这是浏览器下载的bug,建议用百度网盘软件或迅雷下载。若排除这种情况,可在对应资源底部留言,或 联络我们.。
    找不到素材资源介绍文章里的示例图片?
    对于PPT,KEY,Mockups,APP,网页模版等类型的素材,文章内用于介绍的图片通常并不包含在对应可供下载素材包内。这些相关商业图片需另外购买,且本站不负责(也没有办法)找到出处。 同样地一些字体文件也是这种情况,但部分素材会在素材包内有一份字体下载链接清单。
    三优资源网
    一个高级程序员模板开发平台

    发表评论

    • 233会员总数(位)
    • 1271资源总数(个)
    • 0本周发布(个)
    • 0 今日发布(个)
    • 1713稳定运行(天)

    提供最优质的资源集合

    立即查看 了解详情