【GAS×スクレイピング】Googleスプレッドシートによるデータ収集ツール

function yahooNews() {  
  // シート1を取得
  var sheet = SpreadsheetApp.getActiveSpreadsheet().getSheetByName("シート1");
  // Yahoo!ニュースサイトにアクセス＆データ取得
  let response = UrlFetchApp.fetch("https://news.yahoo.co.jp/");
  let text = response.getContentText("utf-8");
  // console.log(text);

  //トップニュースのブロックを抽出
  let topic_block = Parser.data(text).from('class="sc-IKAiU ktzwDn"').to('</div>').build();
  // console.log(topic_block);

  //ulタグで囲まれている記述（トップニュース）を抽出
  let content_block = Parser.data(topic_block).from('<ul>').to('</ul>').build();
  // console.log(content_block);

　// ニュースリスト用の配列変数を宣言
  let newsList= new Array();

  // content_blockの要素のうち、aタグに囲まれている記述を抽出
  topics = Parser.data(content_block).from('<a').to('</a>').iterate();

  // aタグに囲まれた記述の回数分、順位／タイトル／URLを抽出する
  for(news of topics){
    //console.log(news);

    //配列内のインデックス番号+1を取得（ニュース掲載順位として利用）
    let newsRank = topics.indexOf(news) + 1;

    //URL取得
    let newsUrl = news.replace(/.*href="/,"").replace(/".*/,"");
    //タイトル取得
    let newsTitle = news.replace(/.*class="sc-dtLLSn dpehyt">/,"").replace(/<.*>/,"");

    // 各ニュースページからカテゴリを取得
    let newsResponse = UrlFetchApp.fetch(newsUrl);
    let newsText = newsResponse.getContentText("utf-8");
    let newsCategory = Parser.data(newsText).from('トピックス（').to('）').build();

    // ニュース順位、URL、タイトルの組を作成
    let newsInfo = [newsRank, newsUrl, newsTitle, newsCategory];

    //ニュースリストに格納
    newsList.push(newsInfo);
  }
  // ニュースリストをシート1に書き込む
  for (let i = 0; i < newsList.length; i++) {
    sheet.getRange(i + 1, 1, 1, newsList[i].length).setValues([newsList[i]]);
  }
}

// シート1を取得
var sheet = SpreadsheetApp.getActiveSpreadsheet().getSheetByName("シート1");
// Yahoo!ニュースサイトにアクセス＆データ取得
let response = UrlFetchApp.fetch("https://news.yahoo.co.jp/");
let text = response.getContentText("utf-8");

//トップニュースのブロックを抽出
let topic_block = Parser.data(text).from('class="sc-IKAiU ktzwDn"').to('</div>').build();
// console.log(topic_block);

//ulタグで囲まれている記述（トップニュース）を抽出
let content_block = Parser.data(topic_block).from('<ul>').to('</ul>').build();
// console.log(content_block);

// ニュースリスト用の配列変数を宣言
let newsList= new Array();

// content_blockの要素のうち、aタグに囲まれている記述を抽出
topics = Parser.data(content_block).from('<a').to('</a>').iterate();

// aタグに囲まれた記述の回数分、順位／タイトル／URLを抽出する
for(news of topics){
  //console.log(news);

  //配列内のインデックス番号+1を取得（ニュース掲載順位として利用）
  let newsRank = topics.indexOf(news) + 1;

  //URL取得
  let newsUrl = news.replace(/.*href="/,"").replace(/".*/,"");
  //タイトル取得
  let newsTitle = news.replace(/.*class="sc-dtLLSn dpehyt">/,"").replace(/<.*>/,"");

  // 各ニュースページからカテゴリを取得
  let newsResponse = UrlFetchApp.fetch(newsUrl);
  let newsText = newsResponse.getContentText("utf-8");
  let newsCategory = Parser.data(newsText).from('トピックス（').to('）').build();

  // ニュース順位、URL、タイトルの組を作成
  let newsInfo = [newsRank, newsUrl, newsTitle, newsCategory];

  //ニュースリストに格納
  newsList.push(newsInfo);
}

// ニュースリストをシート1に書き込む
for (let i = 0; i < newsList.length; i++) {
  sheet.getRange(i + 1, 1, 1, newsList[i].length).setValues([newsList[i]]);
}