Kadai3 2 misonog

kadai3-2/misonog/.gitignore

@@ -0,0 +1,16 @@
+# Binaries for programs and plugins
+*.exe
+*.exe~
+*.dll
+*.so
+*.dylib
+/pdownload
+
+# Test binary, built with `go test -c`
+*.test
+
+# Output of the go coverage tool, specifically when used with LiteIDE
+*.out
+
+# Dependency directories (remove the comment below to include it)
+# vendor/

kadai3-2/misonog/Makefile

@@ -0,0 +1,9 @@
+BINARY_NAME=pdownload
+
+all: test build
+
+build:
+	go build -o $(BINARY_NAME)
+
+test:
+	go test -v ./...

kadai3-2/misonog/README.md

@@ -0,0 +1,61 @@
+# 分割ダウンローダ
+
+## 仕様
+
+- 分割ダウンロードを行う
+  - Range アクセスを用いる
+  - いくつかのゴルーチンでダウンロードしてマージする
+  - エラー処理を工夫する
+    - golang.org/x/sync/errgourp パッケージなどを使ってみる
+  - キャンセルが発生した場合の実装を行う
+
+## オプション
+
+| オプション | 内容                                   | デフォルト |
+| ---------- | -------------------------------------- | ---------- |
+| -d         | ファイルをダウンロードするディレクトリ | $PWD       |
+| -t         | タイムアウトするまでの時間（秒）       | 10         |
+
+## 利用方法
+
+### setup
+
+```shell
+$ make  # テスト & ビルド
+```
+
+### ダウンロードコマンドの例
+
+```shell
+$ ./pdownload https://blog.golang.org/gopher/header.jpg
+$ # ディレクトリとタイムアウトまでの時間の指定
+$ ./pdownload -d testdata/ -t 30 https://blog.golang.org/gopher/header.jpg
+```
+
+## ディレクトリ構造
+
+```
+.
+├── Makefile
+├── README.md
+├── go.mod
+├── go.sum
+├── main.go
+├── pdownload
+├── pdownload.go
+├── pdownload_test.go
+├── requests.go
+├── requests_test.go
+├── termination
+│   ├── termination.go
+│   └── termination_test.go
+├── testdata
+│   ├── header.jpg
+│   └── test_download
+│       └── header.jpg
+└── util.go
+```
+
+## 参考
+
+[Code-Hex/pget](https://github.com/Code-Hex/pget)と[gopherdojo/dojo3#50](https://github.com/gopherdojo/dojo3/pull/50)を参考にさせていただきました。

kadai3-2/misonog/go.mod

@@ -0,0 +1,5 @@
+module github.com/misonog/gopherdojo-studyroom/kadai3-2/misonog
+
+go 1.16
+
+require golang.org/x/sync v0.0.0-20210220032951-036812b2e83c

kadai3-2/misonog/go.sum

@@ -0,0 +1,2 @@
+golang.org/x/sync v0.0.0-20210220032951-036812b2e83c h1:5KslGYwFpkhGh+Q16bwMP3cOontH8FOep7tGV86Y7SQ=
+golang.org/x/sync v0.0.0-20210220032951-036812b2e83c/go.mod h1:RxMgew5VJxzue5/jJTE5uejpjVlOe/izrB70Jof72aM=

kadai3-2/misonog/main.go

@@ -0,0 +1,10 @@
+package main
+
+import "log"
+
+func main() {
+	cli := New()
+	if err := cli.Run(); err != nil {
+		log.Fatal(err)
+	}
+}

kadai3-2/misonog/pdownload.go

@@ -0,0 +1,113 @@
+package main
+
+import (
+	"context"
+	"errors"
+	"flag"
+	"fmt"
+	"net/url"
+	"os"
+	"runtime"
+
+	"github.com/misonog/gopherdojo-studyroom/kadai3-2/misonog/termination"
+)
+
+const TIMEOUT = 10
+
+// Pdownload structs
+type Pdownload struct {
+	Utils
+	URL       string
+	TargetDir string
+	Procs     int
+	timeout   int
+	useragent string
+	referer   string
+}
+
+func New() *Pdownload {
+	return &Pdownload{
+		Utils:   &Data{},
+		Procs:   runtime.NumCPU(), // default
+		timeout: TIMEOUT,
+	}
+}
+
+func (pdownload *Pdownload) Run() error {
+	ctx := context.Background()
+
+	ctx, clean := termination.Listen(ctx, os.Stdout)
+	defer clean()
+
+	if err := pdownload.Ready(); err != nil {
+		return err
+	}
+
+	dir, err := os.MkdirTemp(pdownload.TargetDir, "")
+	if err != nil {
+		return err
+	}
+	clean = func() { os.RemoveAll(dir) }
+	defer clean()
+	termination.CleanFunc(clean)
+
+	ctx, err = pdownload.Check(ctx, dir)
+	if err != nil {
+		return err
+	}
+
+	if err := pdownload.Download(ctx); err != nil {
+		return err
+	}
+
+	if err := pdownload.Utils.MergeFiles(pdownload.Procs); err != nil {
+		return err
+	}
+
+	return nil
+}
+
+func (pdownload *Pdownload) Ready() error {
+	var targetDir string
+	var timeout int
+
+	pwd, err := os.Getwd()
+	if err != nil {
+		return err
+	}
+
+	flag.StringVar(&targetDir, "d", pwd, "path to the directory to save the downloaded file, filename will be taken from url")
+	flag.IntVar(&timeout, "t", TIMEOUT, "timeout of checking request in seconds")
+	flag.Parse()
+
+	if err := pdownload.parseURL(flag.Args()); err != nil {
+		return err
+	}
+
+	if _, err := os.Stat(targetDir); os.IsNotExist(err) {
+		return fmt.Errorf("target directory is not exist: %v", err)
+	}
+	pdownload.TargetDir = targetDir
+	pdownload.timeout = timeout
+
+	return nil
+}
+
+func (pdownload *Pdownload) parseURL(args []string) error {
+	if len(args) > 1 {
+		return errors.New("URL must be a single")
+	}
+	if len(args) < 1 {
+		return errors.New("urls not found in the arguments passed")
+	}
+
+	for _, arg := range args {
+		_, err := url.ParseRequestURI(arg)
+		if err != nil {
+			return err
+		}
+		pdownload.URL = arg
+	}
+
+	return nil
+}

kadai3-2/misonog/pdownload_test.go

@@ -0,0 +1,55 @@
+package main
+
+import (
+	"fmt"
+	"os"
+	"testing"
+)
+
+// requests_test.goで作成しているテストサーバを利用してテストを行う
+func TestRun(t *testing.T) {
+	url := ts.URL
+
+	os.Args = []string{
+		"pdownload",
+		"-d",
+		"testdata/test_download",
+		"-t",
+		"30",
+		fmt.Sprintf("%s/%s", url, "header.jpg"),
+	}
+
+	p := New()
+	if err := p.Run(); err != nil {
+		t.Errorf("failed to Run: %s", err)
+	}
+
+	if err := os.Remove(p.FullFileName()); err != nil {
+		t.Errorf("failed to remove of result file: %s", err)
+	}
+}
+
+func TestParseURL(t *testing.T) {
+
+	cases := []struct {
+		name     string
+		input    []string
+		expected string
+	}{
+		{name: "an URL", input: []string{"https://www.google.com/"}, expected: "https://www.google.com/"},
+		{name: "URLs", input: []string{"https://www.google.com/", "https://golang.org/"}, expected: ""},
+		{name: "invalid URL", input: []string{"invalid_url"}, expected: ""},
+	}
+
+	for _, c := range cases {
+		c := c
+		p := New()
+		t.Run(c.name, func(t *testing.T) {
+			_ = p.parseURL(c.input)
+			if actual := p.URL; c.expected != actual {
+				t.Errorf("want p.URL = %v, got %v",
+					c.expected, actual)
+			}
+		})
+	}
+}