Scraper (#487)

<!--変更したい場合は、`/.github/pull_request_template.md` を修正して下さい。-->
# PRの概要

closes #486 

<!-- 変更の目的 もしくは 関連する Issue 番号 -->
<!-- 以下のように書くと Issue にリンクでき、マージ時に自動で Issue を閉じられる-->
<!-- closes #1 -->

## 具体的な変更内容
<!-- ビューの変更がある場合はスクショによる比較などがあるとわかりやすい -->
後期学部はカバー
大学院はカバーしていない

## 影響範囲
<!-- この関数を変更したのでこの機能にも影響がある、など -->

## 動作要件
<!-- 動作に必要な 環境変数 / 依存関係 / DBの更新 など -->

## 補足
<!-- レビューをする際に見てほしい点、ローカル環境で試す際の注意点、など -->

## レビューリクエストを出す前にチェック！

- [ ] 改めてセルフレビューしたか
- [ ] 手動での動作検証を行ったか
- [ ] server の機能追加ならば、テストを書いたか
  - 理由: 書いた | server の機能追加ではない
- [ ] 間違った使い方が存在するならば、それのドキュメントをコメントで書いたか
  - 理由: 書いた | 間違った使い方は存在しない
- [ ] わかりやすいPRになっているか

<!-- レビューリクエスト後は、Slackでもメンションしてお願いすることを推奨します。 -->

Author: aster-void

.cspell.json

@@ -15,7 +15,9 @@
     "qiita",
     "safify",
     "supabase",
-    "swiper"
+    "swiper",
+    "reqwest",
+    "chrono"
   ],
   "dictionaries": [
     "softwareTerms",
@@ -31,6 +33,7 @@
   ],
   "ignorePaths": [
     "flake.*",
+    "nix/*",
     "**/.git/**",
     "**/node_modules/**",
     "server/target/**",
@@ -39,6 +42,9 @@
     "**/bun.lockb",
     "**/*.svg",
     "**/migration.sql",
-    "**/data.json"
+    "**/data.json",
+    "**/Cargo.*",
+    "scraper/target",
+    "**/rust-toolchain.toml"
   ]
 }

.github/workflows/rust.yml

@@ -0,0 +1,32 @@
+name: Rust
+on: 
+  pull_request:
+  push:
+    branches: [main]
+
+jobs:
+  all:
+    runs-on: ubuntu-latest
+    timeout-minutes: 10
+    env:
+      RUSTFLAGS: -D warnings
+    defaults:
+      run: 
+        working-directory: scraper
+    steps:
+      - uses: actions/checkout@v4
+      - uses: actions/cache@v4
+        with:
+          path: |
+            ~/.cargo/
+            ~/.rustup/
+            scraper/target
+          key: cargo-cache-${{ github.job }}-${{ runner.os }}-${{ hashFiles('**/Cargo.lock') }}
+      - uses: actions-rust-lang/setup-rust-toolchain@v1
+        with:
+          components: clippy,rustfmt
+      - run: cargo build
+      - run: cargo build --release
+      - run: cargo test
+      - run: cargo clippy
+      - run: cargo fmt --check

biome.json

@@ -10,6 +10,6 @@
     "useIgnoreFile": true
   },
   "files": {
-    "ignore": ["bun.lockb", "server/target", "data.json"]
+    "ignore": ["bun.lockb", "server/target", "data.json", "scraper/target"]
   }
 }

flake.lock

@@ -4,21 +4,18 @@
     nixpkgs.url = "github:NixOS/nixpkgs/master";
     flake-utils.url = "github:numtide/flake-utils";
     prisma-utils.url = "github:VanCoding/nix-prisma-utils";
+    fenix = {
+      url = "github:nix-community/fenix/monthly";
+      inputs.nixpkgs.follows = "nixpkgs";
+    };
   };
 
-  outputs = { nixpkgs, flake-utils, prisma-utils, ... }:
+  outputs = { nixpkgs, flake-utils, prisma-utils, fenix, ... }:
     flake-utils.lib.eachDefaultSystem (system:
       let
         pkgs = import nixpkgs { inherit system; };
-
-        prisma = (prisma-utils.lib.prisma-factory {
-          nixpkgs = pkgs;
-          prisma-fmt-hash = "sha256-atD5GZfmeU86mF1V6flAshxg4fFR2ews7EwaJWZZzbc="; # just copy these hashes for now, and then change them when nix complains about the mismatch
-          query-engine-hash = "sha256-8FTZaKmQCf9lrDQvkF5yWPeZ7TSVfFjTbjdbWWEHgq4=";
-          libquery-engine-hash = "sha256-USIdaum87ekGY6F6DaL/tKH0BAZvHBDK7zjmCLo//kM=";
-          schema-engine-hash = "sha256-k5MkxXViEqojbkkcW/4iBFNdfhb9PlMEF1M2dyhfOok=";
-        }).fromNpmLock
-          ./server/package-lock.json; # <--- path to our package-lock.json file that contains the version of prisma-engines
+        prisma = import ./nix/prisma.nix { inherit prisma-utils pkgs; };
+        rust-pkgs = import ./nix/rust-toolchain.nix { inherit fenix system; };
       in
       {
         devShell = pkgs.mkShell {
@@ -28,10 +25,14 @@
             gnumake
             bun
             biome
+            pkg-config
+            openssl
+          ] ++ [
+            rust-pkgs
           ];
           shellHook = ''
             export LD_LIBRARY_PATH=$LD_LIBRARY_PATH:${pkgs.stdenv.cc.cc.lib}/lib
-          '' + (if pkgs.system == "x86_64-linux" then prisma.shellHook else "");
+          '' + prisma.shellHook;
         };
       });
 }

flake.nix

@@ -0,0 +1,12 @@
+{ prisma-utils, pkgs }: rec {
+  prisma = (prisma-utils.lib.prisma-factory {
+    nixpkgs = pkgs;
+    prisma-fmt-hash = "sha256-atD5GZfmeU86mF1V6flAshxg4fFR2ews7EwaJWZZzbc="; # just copy these hashes for now, and then change them when nix complains about the mismatch
+    query-engine-hash = "sha256-8FTZaKmQCf9lrDQvkF5yWPeZ7TSVfFjTbjdbWWEHgq4=";
+    libquery-engine-hash = "sha256-USIdaum87ekGY6F6DaL/tKH0BAZvHBDK7zjmCLo//kM=";
+    schema-engine-hash = "sha256-k5MkxXViEqojbkkcW/4iBFNdfhb9PlMEF1M2dyhfOok=";
+  }).fromNpmLock
+    ./../server/package-lock.json; # <--- path to our package-lock.json file that contains the version of prisma-engines
+
+  shellHook = (if pkgs.system == "x86_64-linux" then prisma.shellHook else "");
+}

nix/prisma.nix

@@ -0,0 +1,5 @@
+{ fenix, system }:
+fenix.packages.${system}.fromToolchainFile {
+  file = ../scraper/rust-toolchain.toml;
+  sha256 = "sha256-yMuSb5eQPO/bHv+Bcf/US8LVMbf/G/0MSfiPwBhiPpk=";
+}

nix/rust-toolchain.nix

@@ -22,6 +22,6 @@
     "zod": "^3.23.8"
   },
   "lint-staged": {
-    "*.{js,jsx,ts,tsx}": ["biome check --write"]
+    "*.{js,jsx,ts,tsx,json}": ["biome check --write"]
   }
 }

package.json

@@ -0,0 +1,5 @@
+/target
+/data.json
+.cache
+/course-mate-scraper
+