batchsign & batchstat support output to file (#403)

Author: YangSen-qn

.gitignore

@@ -10,6 +10,8 @@ src/test/
 src/.qshell
 marker.go
 marker_test.go
+build.sh
+build_local.sh
 
 # Folders
 _obj

cmd/root.go

@@ -2,13 +2,15 @@ package cmd
 
 import (
 	"fmt"
+	"os"
+
+	"github.com/spf13/cobra"
+
 	"github.com/qiniu/qshell/v2/docs"
 	"github.com/qiniu/qshell/v2/iqshell"
 	"github.com/qiniu/qshell/v2/iqshell/common/config"
 	"github.com/qiniu/qshell/v2/iqshell/common/data"
 	"github.com/qiniu/qshell/v2/iqshell/common/version"
-	"github.com/spf13/cobra"
-	"os"
 )
 
 const (

cmd/rsbatch.go

@@ -1,11 +1,12 @@
 package cmd
 
 import (
+	"github.com/spf13/cobra"
+
 	"github.com/qiniu/qshell/v2/docs"
 	"github.com/qiniu/qshell/v2/iqshell"
 	"github.com/qiniu/qshell/v2/iqshell/storage/object/batch"
 	"github.com/qiniu/qshell/v2/iqshell/storage/object/operations"
-	"github.com/spf13/cobra"
 )
 
 var batchStatCmdBuilder = func(cfg *iqshell.Config) *cobra.Command {
@@ -28,6 +29,7 @@ var batchStatCmdBuilder = func(cfg *iqshell.Config) *cobra.Command {
 	setBatchCmdWorkerCountIncreasePeriodFlags(cmd, &info.BatchInfo)
 	setBatchCmdSuccessExportFileFlags(cmd, &info.BatchInfo)
 	setBatchCmdFailExportFileFlags(cmd, &info.BatchInfo)
+	setBatchCmdResultExportFileFlags(cmd, &info.BatchInfo)
 	setBatchCmdForceFlags(cmd, &info.BatchInfo)
 	setBatchCmdEnableRecordFlags(cmd, &info.BatchInfo)
 	setBatchCmdRecordRedoWhileErrorFlags(cmd, &info.BatchInfo)
@@ -257,6 +259,7 @@ var batchSignCmdBuilder = func(cfg *iqshell.Config) *cobra.Command {
 		},
 	}
 	setBatchCmdInputFileFlags(cmd, &info.BatchInfo)
+	setBatchCmdResultExportFileFlags(cmd, &info.BatchInfo)
 	setBatchCmdEnableRecordFlags(cmd, &info.BatchInfo)
 	setBatchCmdRecordRedoWhileErrorFlags(cmd, &info.BatchInfo)
 	cmd.Flags().StringVarP(&info.Deadline, "deadline", "e", "3600", "deadline in seconds, default 3600")
@@ -340,6 +343,9 @@ func setBatchCmdOverwriteFlags(cmd *cobra.Command, info *batch.Info) {
 	cmd.Flags().BoolVarP(&info.Overwrite, "overwrite", "w", false, "overwrite mode")
 	_ = cmd.Flags().MarkShorthandDeprecated("overwrite", "deprecated and use --overwrite instead")
 }
+func setBatchCmdResultExportFileFlags(cmd *cobra.Command, info *batch.Info) {
+	cmd.Flags().StringVarP(&info.ResultExportFilePath, "outfile", "o", "", "specifies the file path where the results is saved")
+}
 
 func init() {
 	registerLoader(rsBatchCmdLoader)

cmd_test/fop_test.go

@@ -34,7 +34,7 @@ func TestFopNoExistBucket(t *testing.T) {
 
 func TestFopNoExistKey(t *testing.T) {
 	_, errs := test.RunCmdWithError("pfop", test.Bucket, test.KeyNotExist, fopObjectValue)
-	if !strings.Contains(errs, "invalid_param") {
+	if !strings.Contains(errs, "NotFound") {
 		t.Fail()
 	}
 }

cmd_test/sign_test.go

@@ -3,8 +3,10 @@
 package cmd
 
 import (
-	"github.com/qiniu/qshell/v2/cmd_test/test"
+	"path/filepath"
 	"testing"
+
+	"github.com/qiniu/qshell/v2/cmd_test/test"
 )
 
 func TestBatchSign(t *testing.T) {
@@ -13,14 +15,32 @@ func TestBatchSign(t *testing.T) {
 		t.Fatal("create batch sign config file error:", err)
 	}
 
-	result, errs := test.RunCmdWithError("batchsign", "-i", path)
+	resultDir, err := test.ResultPath()
+	if err != nil {
+		t.Fatal("get result dir error:", err)
+	}
+
+	resultLogPath := filepath.Join(resultDir, "batch_result.txt")
+
+	result, errs := test.RunCmdWithError("batchsign",
+		"-i", path,
+		"--outfile", resultLogPath,
+	)
 	if len(errs) > 0 {
 		t.Fail()
 	}
 
 	if len(result) == 0 {
 		t.Fail()
 	}
+
+	defer func() {
+		test.RemoveFile(resultLogPath)
+	}()
+
+	if !test.IsFileHasContent(resultLogPath) {
+		t.Fatal("batch result: output  to file error: file empty")
+	}
 }
 
 func TestBatchSignDocument(t *testing.T) {

cmd_test/status_test.go

@@ -3,10 +3,11 @@
 package cmd
 
 import (
-	"github.com/qiniu/qshell/v2/cmd_test/test"
 	"path/filepath"
 	"strings"
 	"testing"
+
+	"github.com/qiniu/qshell/v2/cmd_test/test"
 )
 
 func TestStatus(t *testing.T) {
@@ -76,6 +77,7 @@ func TestBatchStatus(t *testing.T) {
 
 	successLogPath := filepath.Join(resultDir, "batch_success.txt")
 	failLogPath := filepath.Join(resultDir, "batch_fail.txt")
+	resultLogPath := filepath.Join(resultDir, "batch_result.txt")
 
 	path, err := test.CreateFileWithContent("batch_status.txt", batchConfig)
 	if err != nil {
@@ -86,13 +88,15 @@ func TestBatchStatus(t *testing.T) {
 		"-i", path,
 		"--success-list", successLogPath,
 		"--failure-list", failLogPath,
+		"--outfile", resultLogPath,
 		"--worker", "4",
 		"--min-worker", "10",
 		"--worker-count-increase-period", "50",
 		"-y")
 	defer func() {
 		test.RemoveFile(successLogPath)
 		test.RemoveFile(failLogPath)
+		test.RemoveFile(resultLogPath)
 	}()
 
 	if !test.IsFileHasContent(successLogPath) {
@@ -102,6 +106,10 @@ func TestBatchStatus(t *testing.T) {
 	if !test.IsFileHasContent(failLogPath) {
 		t.Fatal("batch result: fail log  to file error: file empty")
 	}
+
+	if !test.IsFileHasContent(resultLogPath) {
+		t.Fatal("batch result: output  to file error: file empty")
+	}
 }
 
 func TestBatchStatusDocument(t *testing.T) {

docs/batchsign.md

@@ -24,6 +24,7 @@ $ qshell batchsign --doc
 ```
 <PublicUrl>   // 资源外链
 ```
+- -o/--outfile：指定一个文件，把签名结果导入到此文件中【可选】
 - -e/--deadline：接受一个过时的 deadline 参数，如果没有指定该参数，默认为 3600s 。【必选】 
 - --enable-record：记录任务执行状态，当下次执行命令时会检测任务执行的状态并跳过已执行的任务。 【可选】
 - --record-redo-while-error：依赖于 --enable-record；命令重新执行时，命令中所有任务会从头到尾重新执行；每个任务执行前会根据记录先查看当前任务是否已经执行，如果任务已执行且失败，则再执行一次；默认为 false，当任务执行失败则跳过不再重新执行。 【可选】

docs/batchstat.md

@@ -30,6 +30,7 @@ $ qshell batchstat --doc
 - -y/--force：该选项控制工具的默认行为。默认情况下，对于批量操作，工具会要求使用者输入一个验证码，确认下要进行批量文件操作了，避免操作失误的发生。如果不需要这个验证码的提示过程可以使用此选项。【可选】
 - -s/--success-list：该选项指定一个文件，程序会把操作成功的资源信息导入到该文件；默认不导出。【可选】
 - -e/--failure-list：该选项指定一个文件，程序会把操作失败的资源信息加上错误信息导入该文件；默认不导出。【可选】
+- -o/--outfile：该选项指定一个文件，把 stat 结果导入到此文件中。注：输出的内容顺序和 input file 内容的顺序会有不同【可选】
 - -c/--worker：该选项可以定义 Batch 任务并发数；1 路并发单次操作对象数为 250 ，如果配置为 10 并发，则 10 路并发单次操作对象数为 2500，此值需要和七牛对您的操作上限相吻合，否则会出现非预期错误，正常情况不需要调节此值，如果需要请谨慎调节；默认为 4。【可选】
 - --min-worker：最小 Batch 任务并发数；当并发设置过高时，会触发超限错误，为了缓解此问题，qshell 会自动减小并发度，此值为减小的最低值。默认：1【可选】
 - --worker-count-increase-period：为了尽可能快的完成操作 qshell 会周期性尝试增加并发度，此值为尝试增加并发数的周期，单位：秒，最小 10，默认 60。【可选】
@@ -50,17 +51,24 @@ RclviFDHaQAUl3aL46jKRskUWbg=/FpwH76F3yfYmFKoPDjoSNWzeLKYp/000005.ts
 
 - 使用如下命令进行批量查询
 ```
-$ qshell batchstat 7qiniu -i listFile
+$ qshell batchstat 7qiniu --silence -y -i listFile
 ```
 
-- 输出 Key、Fsize、Hash、MimeType、PutTime 以 `\t` 分隔：
+- 输出 Key、Fsize、Hash、MimeType、PutTime、User 以 `\t` 分隔：
 ```
-RclviFDHaQAUl3aL46jKRskUWbg=/FpwH76F3yfYmFKoPDjoSNWzeLKYp/000000.ts 92308   Fk8Uf2SHbQ4S2-cXHINuRc_rooNA    video/mp2t  15003760414606314
-RclviFDHaQAUl3aL46jKRskUWbg=/FpwH76F3yfYmFKoPDjoSNWzeLKYp/000001.ts 91556   FpJP2nfipuLVc6QGvvcb868Rd0pO    video/mp2t  15003760414789673
-RclviFDHaQAUl3aL46jKRskUWbg=/FpwH76F3yfYmFKoPDjoSNWzeLKYp/000002.ts 92496   FvBjZPch6cf52t2x0ZQBngqS1KTp    video/mp2t  15003760417159000
-RclviFDHaQAUl3aL46jKRskUWbg=/FpwH76F3yfYmFKoPDjoSNWzeLKYp/000003.ts 92308   FoEgsbzdrcLuj_Fo5FeTI3w1jFHJ    video/mp2t  15003760419154144
-RclviFDHaQAUl3aL46jKRskUWbg=/FpwH76F3yfYmFKoPDjoSNWzeLKYp/000004.ts 92308   FkYNctlf1JOGcJa-WzWgxsqcBjX6    video/mp2t  15003760422258065
-RclviFDHaQAUl3aL46jKRskUWbg=/FpwH76F3yfYmFKoPDjoSNWzeLKYp/000005.ts 92120   Fh4Fwhu3dMUGbd3jE5OmRtfVZLv4    video/mp2t  15003760423842522
+RclviFDHaQAUl3aL46jKRskUWbg=/FpwH76F3yfYmFKoPDjoSNWzeLKYp/000000.ts 92308   Fk8Uf2SHbQ4S2-cXHINuRc_rooNA    video/mp2t  15003760414606314   0
+RclviFDHaQAUl3aL46jKRskUWbg=/FpwH76F3yfYmFKoPDjoSNWzeLKYp/000001.ts 91556   FpJP2nfipuLVc6QGvvcb868Rd0pO    video/mp2t  15003760414789673   0
+RclviFDHaQAUl3aL46jKRskUWbg=/FpwH76F3yfYmFKoPDjoSNWzeLKYp/000002.ts 92496   FvBjZPch6cf52t2x0ZQBngqS1KTp    video/mp2t  15003760417159000   0
+RclviFDHaQAUl3aL46jKRskUWbg=/FpwH76F3yfYmFKoPDjoSNWzeLKYp/000003.ts 92308   FoEgsbzdrcLuj_Fo5FeTI3w1jFHJ    video/mp2t  15003760419154144   0
+RclviFDHaQAUl3aL46jKRskUWbg=/FpwH76F3yfYmFKoPDjoSNWzeLKYp/000004.ts 92308   FkYNctlf1JOGcJa-WzWgxsqcBjX6    video/mp2t  15003760422258065   0
+RclviFDHaQAUl3aL46jKRskUWbg=/FpwH76F3yfYmFKoPDjoSNWzeLKYp/000005.ts 92120   Fh4Fwhu3dMUGbd3jE5OmRtfVZLv4    video/mp2t  15003760423842522   0
+--------------- Batch Result ---------------
+              Total:         6
+            Success:         6
+            Failure:         0
+            Skipped:         0
+           Duration:        1s
+--------------------------------------------
 ```
 
 # 注意

docs/expire.md

@@ -31,6 +31,6 @@ $ qshell expire --doc
 # 示例
 修改 `if-pbl` 空间中 `qiniu.png` 图片的过期时间为：`3天后自动删除`
 ```
-$ qshell chtype if-pbl qiniu.png 3
+$ qshell expire if-pbl qiniu.png 3
 ```
 输入该命令，后该文件就已经被修改为 3 天后自动删除了。

iqshell/common/client/client.go

@@ -13,15 +13,15 @@ var defaultClient = storage.Client{
 		Transport: &http.Transport{
 			Proxy: http.ProxyFromEnvironment,
 			DialContext: (&net.Dialer{
-				Timeout:   10 * time.Second,
-				KeepAlive: 10 * time.Second,
+				Timeout:   20 * time.Second,
+				KeepAlive: 20 * time.Second,
 			}).DialContext,
 			ForceAttemptHTTP2:     true,
-			MaxIdleConns:          4000,
+			MaxIdleConns:          2000,
 			MaxIdleConnsPerHost:   1000,
 			ResponseHeaderTimeout: 60 * time.Second,
-			IdleConnTimeout:       10 * time.Second,
-			TLSHandshakeTimeout:   10 * time.Second,
+			IdleConnTimeout:       15 * time.Second,
+			TLSHandshakeTimeout:   15 * time.Second,
 			ExpectContinueTimeout: 1 * time.Second,
 		},
 	},