Kadai3 2 mizushima

kadai3-1/Mizushima/.gitignore

@@ -0,0 +1 @@
+bin

kadai3-2/Mizushima/.gitignore

@@ -0,0 +1,5 @@
+bin/*
+../../.devcontainer/
+../../Dockerfile
+../../app/
+../../docker-compose.yml

kadai3-2/Mizushima/Makefile

@@ -0,0 +1,26 @@
+BINARY_NAME := bin/paraDW
+GOCMD=go
+GOBUILD=$(GOCMD) build
+GOCLEAN=$(GOCMD) clean
+GOTEST=$(GOCMD) test
+GOGET=$(GOCMD) get
+GOFMT=$(GOCMD) fmt
+
+all: build test
+
+build:
+	$(GOBUILD) -o $(BINARY_NAME) -v
+
+test: build
+	cd download; $(GOTEST) -v -cover
+	cd getheader; $(GOTEST) -v -cover
+	cd listen; $(GOTEST) -v -cover
+	cd request; $(GOTEST) -v -cover
+
+clean:
+	$(GOCLEAN)
+
+format:
+	$(GOFMT) ./...
+
+.PHONY: test clean format

kadai3-2/Mizushima/README.md

@@ -0,0 +1,83 @@
+## 課題3-2 分割ダウンローダを作ろう
+- 分割ダウンロードを行う
+- Rangeアクセスを用いる
+- いくつかのゴルーチンでダウンロードしてマージする
+- エラー処理を工夫する
+  - golang.org/x/sync/errgourpパッケージなどを使ってみる
+- キャンセルが発生した場合の実装を行う
+
+
+
+### コマンドラインオプション
+
+ | ショートオプション | ロングオプション | 説明 | デフォルト |
+ | --------- | --------- | --------- | --------- |
+ | -h | --help | 使い方を表示して終了 | - |
+ | -p \<num> | --procs \<num> | プロセス数を指定 | お使いのPCのコア数 |
+ | -o \<path> | --output \<path> | ダウンロードしたファイルをどこのディレクトリに保存するか指定する | カレントディレクトリ |
+ | -t \<num> | --timeout \<num> | サーバーへのリクエストを止める時間を秒数で指定 | 120 |
+
+
+### インストール方法
+```bash
+go get github.com/MizushimaToshihiko/gopherdojo-studyroom/kadai3-2/Mizushima
+```
+
+### 使い方
+1. 実行ファイル作成
+```bash
+$ make build
+```
+2. URLを指定してダウンロード実行
+```bash
+$ ./bin/paraDW [option] URL( URL URL ...)
+```
+
+※ URLは複数指定できます  
+※ ダウンロード先がRangeアクセスに対応していれば、go routineを使った並行ダウンロードを行い、そうでなければ１プロセスのダウンロードを行います  
+
+### テストの方法
+- バイナリビルド & テスト
+```bash
+$ make
+```
+- テスト後の処理(掃除)
+```bash
+$ make clean
+```
+
+### ディレクトリ構成
+```bash
+.
+├── bin  
+│   └── paraDW  # "make build" command required.  
+├── download  
+│   ├── download.go  
+│   ├── download_test.go  
+│   ├── go.mod  
+│   └── go.sum  
+├── getheader  
+│   ├── geHeader_test.go  
+│   ├── getHeader.go  
+│   └── go.mod  
+├── .gitignore  
+├── go.mod  
+├── go.sum  
+├── listen  
+│   ├── listen.go  
+│   └── listen_test.go  
+├── main.go  
+├── Makefile  
+├── README.md  
+├── request  
+│   ├── go.mod  
+│   ├── request.go  
+│   └── request_test.go  
+└── testdata  
+    ├── 003  
+    └── z4d4kWk.jpg  
+```
+
+### 参考にしたもの
+[pget](https://qiita.com/codehex/items/d0a500ac387d39a34401)  (goroutineを使ったダウンロード処理、コマンドラインオプションの処理等々)  
+https://github.com/gopherdojo/dojo3/pull/50  (ctrl+cを押したときのキャンセル処理など)

kadai3-2/Mizushima/download/download.go

@@ -0,0 +1,158 @@
+// download package implements parallel download and non-parallel
+// download.
+package download
+
+import (
+	"context"
+	"fmt"
+	"io"
+	"io/ioutil"
+	"net/url"
+	"os"
+	"strconv"
+
+	"github.com/MizushimaToshihiko/gopherdojo-studyroom/kadai3-2/Mizushima/request"
+	"golang.org/x/sync/errgroup"
+)
+
+// PDownloader is user-defined struct for the download process.
+// It's not limited to parallel downloads.
+type PDownloader struct {
+	url      *url.URL // URL for the download
+	output   *os.File // Where to save the downloaded file
+	fileSize uint     // size of the downloaded file
+	part     uint     // Number of divided bytes
+	procs    uint     // Number of parallel download process
+}
+
+// newPDownloader is constructor for PDownloader.
+func newPDownloader(url *url.URL, output *os.File, fileSize uint, part uint, procs uint) *PDownloader {
+	return &PDownloader{
+		url:      url,
+		output:   output,
+		fileSize: fileSize,
+		part:     part,
+		procs:    procs,
+	}
+}
+
+// Downloader gets elements of PDownloader, the download is parallel or not, temprary
+// directory name and context.Context, and drives DownloadFile method if isPara is false
+// or PDownload if isPara is true.
+//
+func Downloader(url *url.URL,
+	output *os.File, fileSize uint, part uint, procs uint, isPara bool,
+	tmpDirName string, ctx context.Context) error {
+	pd := newPDownloader(url, output, fileSize, part, procs)
+	if !isPara {
+		fmt.Printf("%s do not accept range access: downloading by single process\n", url)
+		err := pd.DownloadFile(ctx)
+		if err != nil {
+			return err
+		}
+	} else {
+		grp, ctx := errgroup.WithContext(ctx)
+		if err := pd.PDownload(grp, tmpDirName, procs, ctx); err != nil {
+			return err
+		}
+
+		if err := grp.Wait(); err != nil {
+			return err
+		}
+	}
+	return nil
+}
+
+// DownloadFile drives a non-parallel download
+func (pd *PDownloader) DownloadFile(ctx context.Context) (err error) {
+
+	resp, err := request.Request(ctx, "GET", pd.url.String(), "", "")
+	if err != nil {
+		return
+	}
+	defer func() {
+		err = resp.Body.Close()
+	}()
+
+	_, err = io.Copy(pd.output, resp.Body)
+	if err != nil {
+		return
+	}
+
+	return nil
+}
+
+// PDownload drives parallel download. downloaded file is in temporary
+// directory named tmpDirName.
+func (pd *PDownloader) PDownload(grp *errgroup.Group,
+	tmpDirName string, procs uint, ctx context.Context) error {
+	var start, end, idx uint
+
+	for idx = uint(0); idx < procs; idx++ {
+		if idx == 0 {
+			start = 0
+		} else {
+			start = idx*pd.part + 1
+		}
+
+		// if idx is the end
+		if idx == pd.procs-1 {
+			end = pd.fileSize
+		} else {
+			end = (idx + 1) * pd.part
+		}
+
+		// idxを代入し直す
+		// https://qiita.com/harhogefoo/items/7ccb4e353a4a01cfa773
+		idx := idx
+		// fmt.Printf("start: %d, end: %d, pd.part: %d\n", start, end, pd.part)
+		bytes := fmt.Sprintf("bytes=%d-%d", start, end)
+
+		grp.Go(func() error {
+			fmt.Printf("grp.Go: tmpDirName: %s, bytes %s, idx: %d\n", tmpDirName, bytes, idx)
+			return pd.ReqToMakeCopy(tmpDirName, bytes, idx, ctx)
+		})
+	}
+	return nil
+}
+
+// ReqToMakeCopy sends a "GET" request with "Range" field with "bytes" range.
+// And gets response and make a copy to a temprary file in temprary directory from response body.
+//
+func (pd *PDownloader) ReqToMakeCopy(tmpDirName, bytes string, idx uint, ctx context.Context) (err error) {
+	// fmt.Printf("ReqToMakeCopy: tmpDirName: %s, bytes %s, idx: %d\n", tmpDirName, bytes, idx)
+	resp, err := request.Request(ctx, "GET", pd.url.String(), "Range", bytes)
+	if err != nil {
+		return err
+	}
+
+	tmpOut, err := os.Create(tmpDirName + "/" + strconv.Itoa(int(idx)))
+	if err != nil {
+		return err
+	}
+	// fmt.Printf("tmpOut.Name(): %s\n", tmpOut.Name())
+	defer func() {
+		err = tmpOut.Close()
+	}()
+
+	// b := make([]byte, 1000)
+	// resp.Body.Read(b)
+	// fmt.Printf("resp.body: %s\n", string(b))
+
+	body, err := ioutil.ReadAll(resp.Body)
+	if err != nil {
+		// fmt.Printf("err: %s\n", err)
+		if err != io.EOF && err != io.ErrUnexpectedEOF {
+			return err
+		}
+	}
+
+	// fmt.Printf("response body: length: %d\n", len(body))
+
+	length, err := tmpOut.Write(body)
+	if err != nil {
+		return err
+	}
+	fmt.Printf("%d/%d was downloaded len=%d\n", idx, pd.procs, length)
+	return nil
+}