合并dev分支

Author: TruthHun88

README.md

@@ -41,6 +41,13 @@
 
 > 提示：DocHub移动端模板已经放出来，[链接地址](#tpl-mobile)
 
+> 说明(于2018-06-08)：`DocHub`项目是我学完Go语言之后的第二个独立开发的Go语言项目，项目是在2016年12月份开始开发的。当时对Go语言和Beego框架都还不怎么熟。`DocHub`项目开源出来之后，看到`star`飙升的有点快(相对个人之前的开源项目)，非常感谢大家的认可和厚爱，然后自己诚惶诚恐地认真review了一遍代码...
+路由在模板页面写死了...
+数据表一些数据字段也出现了冗余...
+有些函数和方法封装，难以使用的一塌糊涂...
+请大家给我点时间，我把整套程序都在兼容现有的程序数据的基础上推倒重做的，当然，现在的版本
+
+
 <a name="intro"></a>
 ## 文库简介
 

conf/app.conf.example

@@ -21,6 +21,8 @@ SessionName=dochub
 # 静态文件扩展名【注意：不要把.conf设置为扩展名，以避免泄露数据库账号密码】
 StaticExt=.txt,.html,.ico,.jpeg,.png,.gif
 
+
+
 cookieSecret=sfgowtrfgjqwetryfqef8sd
 
 #允许上传的文件大小(单位：字节)，默认50MB=52428800
@@ -41,8 +43,8 @@ UrlExpire=60
 #libreoffice的可执行文件路径(注意，windows下要用\\代替原路径的\)
 #如：“C:\Program Files (x86)\LibreOffice 4\program\soffice”要换成“C:\\Program Files (x86)\\LibreOffice 4\\program\\soffice”
 #soffice=C:\\Program Files (x86)\\LibreOffice 5\\program\\soffice
-soffice=/Applications/LibreOffice.app/Contents/MacOS/soffice
-#soffice=soffice
+#soffice=/Applications/LibreOffice.app/Contents/MacOS/soffice
+soffice=soffice
 
 #imagick命令行
 imagick=convert
@@ -53,6 +55,9 @@ pdf2svg=pdf2svg
 #calibre转化命令[下一版本再加上这个配置项]
 calibre=ebook-convert
 
+#提取PDF文本内容:`apt install poppler-utils`
+pdftotext=pdftotext
+
 # 是否压缩svg（建议压缩）
 compressSvg=true
 

controllers/HomeControllers/BaseController.go

@@ -53,8 +53,8 @@ func (this *BaseController) Prepare() {
 	if beego.AppConfig.String("runmode") != "prod" {
 		version = fmt.Sprintf("v%v.%v", version, time.Now().Unix())
 	}
-	//this.Sys, _ = models.ModelSys.Get()
-	this.Sys = models.GlobalSys
+	this.Sys, _ = models.ModelSys.Get()
+	//this.Sys = models.GlobalSys//暂时先不用这个，先每次都从数据库查询
 	this.Data["Version"] = version
 	this.Data["Sys"] = this.Sys
 	this.Data["PreviewDomain"] = beego.AppConfig.String("oss::PreviewUrl")

controllers/HomeControllers/SearchController.go

@@ -3,6 +3,8 @@ package HomeControllers
 import (
 	"strings"
 
+	"time"
+
 	"github.com/TruthHun/DocHub/helper"
 	"github.com/TruthHun/DocHub/helper/conv"
 	"github.com/TruthHun/DocHub/models"
@@ -17,6 +19,8 @@ func (this *SearchController) Get() {
 	var (
 		p        int = 1  //默认页码
 		listRows int = 10 //默认每页显示记录数
+		res      models.Result
+		start    = time.Now().UnixNano()
 	)
 	//path中的参数
 	params := conv.Path2Map(this.GetString(":splat"))
@@ -47,32 +51,31 @@ func (this *SearchController) Get() {
 
 	//页码处理
 	p = helper.NumberRange(p, 1, 100)
-	res := models.Search(params["wd"], params["type"], params["sort"], p, listRows, 1)
-	if res.Total > 0 && len(res.Ids) > 0 {
-		data := models.ModelDoc.GetDocsByIds(res.Ids)
-		if len(data) > 0 {
-			for index, val := range data {
-				if len(strings.TrimSpace(val["Description"].(string))) == 0 {
-					if desc := models.ModelDocText.GetDescByMd5(val["Md5"], 120); len(desc) == 0 {
-						data[index]["Description"] = val["Title"]
-					} else {
-						data[index]["Description"] = desc + "..."
-					}
-				}
-			}
-		}
-		this.Data["Data"] = data
+	//res := models.Search(params["wd"], params["type"], params["sort"], p, listRows, 1)
+	this.Data["Data"], res.TotalFound = models.SearchByMysql(params["wd"], params["type"], params["sort"], p, listRows)
+	res.Word = []string{params["wd"]}
+	if res.TotalFound > 1000 {
+		res.Total = 1000
+	} else {
+		res.Total = res.TotalFound
 	}
-
 	if p == 1 {
 		wdSlice := strings.Split(this.Sys.DirtyWord, " ")
+		insert := true
 		for _, wd := range wdSlice {
-			if !strings.Contains(params["wd"], wd) {
-				models.ReplaceInto(models.TableSearchLog, map[string]interface{}{"Wd": params["wd"]})
+			//如果含有非法关键字，则不录入搜索词库
+			if wd != "" && strings.Contains(params["wd"], wd) {
+				insert = false
 				break
 			}
 		}
+		if insert {
+			models.ReplaceInto(models.TableSearchLog, map[string]interface{}{"Wd": params["wd"]})
+		}
 	}
+	end := time.Now().UnixNano()
+	res.Time = float64(end-start) / 1000000000
+
 	this.Data["Seo"] = models.ModelSeo.GetByPage("PC-Search", params["wd"], "文档搜索,"+params["wd"], "文档搜索,"+params["wd"], this.Sys.Site)
 	this.Data["Page"] = helper.Paginations(6, int(res.Total), listRows, p, "/search/", "type", params["type"], "sort", params["sort"], "p", p, "wd", params["wd"])
 	this.Data["Params"] = params

helper/helper.go

@@ -42,12 +42,11 @@ import (
 )
 
 var (
-	Debug     = false
+	Debug     = beego.AppConfig.String("runmode") == "dev"
 	StaticExt = make(map[string]bool)
 )
 
 func init() {
-	Debug = beego.AppConfig.String("runmode") == "dev"
 	exts := strings.Split(beego.AppConfig.String("StaticExt"), ",")
 	for _, ext := range exts {
 		StaticExt[strings.ToLower(strings.TrimSpace(ext))] = true
@@ -784,3 +783,27 @@ func UpperFirst(str string) string {
 	}
 	return str
 }
+
+//获取PDF中指定页面的文本内容
+//@param			file		PDF文件
+//@param			from		起始页
+//@param			to			截止页
+func ExtractPdfText(file string, from, to int) (content string) {
+	pdftotext := beego.AppConfig.DefaultString("pdftotext", "pdftotext")
+	textfile := file + ".txt"
+	defer os.Remove(textfile)
+	args := []string{"-f", strconv.Itoa(from), "-l", strconv.Itoa(to), file, textfile}
+	if err := exec.Command(pdftotext, args...).Run(); err != nil {
+		Logger.Error(err.Error())
+	} else {
+		if b, err := ioutil.ReadFile(textfile); err == nil {
+			content = string(b)
+			content = strings.Replace(content, "\t", " ", -1)
+			content = strings.Replace(content, "\n", " ", -1)
+			content = strings.Replace(content, "\r", " ", -1)
+		} else {
+			Logger.Error(err.Error())
+		}
+	}
+	return
+}

helper/logs.go

@@ -1,7 +1,10 @@
 package helper
 
 import (
-	"github.com/astaxie/beego"
+	"os"
+
+	"fmt"
+
 	"github.com/astaxie/beego/logs"
 )
 
@@ -10,10 +13,18 @@ var Logger = logs.NewLogger()
 
 //日志初始化
 func InitLogs() {
+	//创建日志目录
+	if _, err := os.Stat("logs"); err != nil {
+		os.Mkdir("logs", os.ModePerm)
+	}
+	var level = 7
+	if !Debug {
+		level = 4
+	}
 	//初始化日志各种配置
-	LogsConf := `{"filename":"logs/dochub.log","level":7,"maxlines":5000,"maxsize":0,"daily":true,"maxdays":15}`
+	LogsConf := fmt.Sprintf(`{"filename":"logs/dochub.log","level":%v,"maxlines":5000,"maxsize":0,"daily":true,"maxdays":7}`, level)
 	Logger.SetLogger(logs.AdapterFile, LogsConf)
-	if beego.AppConfig.String("runmode") == "dev" {
+	if Debug {
 		Logger.SetLogger("console")
 	} else {
 		//是否异步输出日志

main.go

@@ -15,6 +15,11 @@ import (
 
 //初始化函数
 func init() {
+	fmt.Println("")
+	fmt.Println("Powered By DocHub")
+	fmt.Println("Author:进击的皇虫([email protected])")
+	fmt.Println("")
+
 	//数据库初始化
 	models.Init()
 	//初始化日志
@@ -49,10 +54,6 @@ func init() {
 }
 
 func main() {
-	fmt.Println("")
-	fmt.Println("Powered By DocHub")
-	fmt.Println("Author:进击的皇虫([email protected])")
-	fmt.Println("")
 	//定义错误和异常处理控制器
 	beego.ErrorController(&HomeControllers.BaseController{})
 	beego.Run()

models/Install.go

@@ -3,18 +3,26 @@ package models
 import (
 	"time"
 
+	"io/ioutil"
+	"os"
+
 	"github.com/TruthHun/DocHub/helper"
 	"github.com/astaxie/beego"
 )
 
 func install() {
-	//数据初始化，如果数据已经存在，则不会继续写入(因为数据已存在，继续写入会报错，所以没影响)
-	installAdmin()
-	installCategory()
-	installFriendlinks()
-	installPages()
-	installSeo()
-	installSys()
+	lockfile := "conf/install.lock"
+	if _, err := os.Stat(lockfile); err != nil {
+		//数据初始化，如果数据已经存在，则不会继续写入(因为数据已存在，继续写入会报错，所以没影响)
+		installAdmin()
+		installCategory()
+		installFriendlinks()
+		installPages()
+		installSeo()
+		installSys()
+		ioutil.WriteFile(lockfile, []byte(""), os.ModePerm)
+	}
+
 }
 
 //安装管理员初始数据
@@ -50,14 +58,16 @@ func installSys() {
 			<p>您好，非常感谢您对DocHub文库(<a href="https://github.com/TruthHun/DocHub" target="_blank" title="DocHub文库">DocHub</a>)的关注和热爱</p>
 			<p>您本次申请找回密码的邮箱验证码是: <strong style="font-size: 30px;color: red;">{code}</strong></p>
 			<p>如果非您本人操作，请忽略该邮件。</p>`,
-		HomeCates: "5,2,1,3,4",
-		Trends:    "1,2,3,4,5",
-		Site:      "DocHub(多哈)文库",
-		Reward:    5,
-		Sign:      5,
-		Question:  "DocHub文库的中文名是什么？",
-		Answer:    "多哈",
-		ListRows:  10,
+		HomeCates:         "5,2,1,3,4",
+		Trends:            "1,2,3,4,5",
+		Site:              "DocHub(多哈)文库",
+		Reward:            5,
+		Sign:              5,
+		Question:          "DocHub文库的中文名是什么？",
+		Answer:            "多哈",
+		ListRows:          10,
+		TimeExpireHotspot: 604800,
+		TimeExpireRelate:  604800,
 	}
 	beego.Info("初始化系统数据")
 	if _, _, err := O.ReadOrCreate(&sys, "Id"); err != nil {
@@ -115,6 +125,12 @@ func installFriendlinks() {
 //安装单页初始数据
 //存在唯一索引Alias，已存在的数据不会继续写入
 func installPages() {
+	//存在单页了，则表明已经初始化过数据
+	var page = new(Pages)
+	if O.QueryTable(page).Filter("id__gt", 0).One(page); page.Id > 0 {
+		return
+	}
+
 	now := int(time.Now().Unix())
 	var pages = []Pages{
 		Pages{
@@ -268,6 +284,12 @@ func installSeo() {
 //安装分类初始数据
 //带有主键id数据的初始化，如果已经存在数据，则不会继续写入
 func installCategory() {
+	//存在分类了，则表明已经初始化过数据
+	var cate = new(Category)
+	if O.QueryTable(cate).Filter("id__gt", 0).One(cate); cate.Id > 0 {
+		return
+	}
+
 	sql := `INSERT INTO hc_category (Id, Pid, Title, Cnt, Sort, Alias, Status) VALUES
 		(1, 0, '教育频道', 0, 0, 'edu', 1),
 		(2, 0, '专业资料', 0, 1, 'pro', 1),