README.md

Paper Notes {docsify-ignore-all}

  本仓库用来记录论文笔记和总结，阅读时将作者观点和结论记录为自己的笔记，是一种对文献的理解和提炼过程，这有助于更好地理解和记忆文献。艾宾浩斯遗忘曲线告诉我们， 我们记下来的信息，一个月之后大约会忘掉79%。大脑的记忆功能分为短时记忆和长时记忆，它们分别像是计算机的内存和硬盘。短时记忆容量小，长时记忆靠不住，这是我们大脑在记忆这个层面的局限性。 通过写下来，把信息从短时记忆中卸载，让大脑聚焦于更为重要的思考和创造；通过写下来，然后加上定期的回顾，我们也可以解决长期记不住的问题。 我们作笔记的过程，也即是将我们接受到的信息写下来的过程。通过记笔记，让昨天的自己，为未来的自己增益。通过记笔记，让自己有一个外挂，让自己的人生“开挂”。

环境安装

Node.js版本

Node v16

安装docsify

npm i docsify-cli -g

启动docsify

docsify serve ./docs

BASE

NLP

名字	简介	地址	会议/期刊	年份	笔记	代码
Improving Language Understanding by Generative Pre-Training	GPT1	paper	arXiv	2018	note
Language Models are Unsupervised Multitask Learners	GPT2	paper	arXiv	2019	note
Language Models are Few-Shot Learners	GPT3	paper	arXiv	2020	note
BERT: Pre-training of Deep Bidirectional Transformers for Language Understanding	BERT	paper	NAACL	2018	note	code
XLNet: Generalized Autoregressive Pretraining for Language Understanding	XLNet	paper	NeurIPS	2019	note	code

CV

名字	简介	地址	会议/期刊	年份	笔记	代码

LLM

名字	简介	地址	会议/期刊	年份	笔记	代码

Model Compression

名字	简介	地址	会议/期刊	年份	笔记	代码
DepGraph: Towards Any Structural Pruning	DepGraph	paper	CVPR	2023	note	code
LLM-Pruner: On the Structural Pruning of Large Language Models	LLM-Pruner	paper	NeurIPS	2023	note	code
Structural Pruning for Diffusion Models	Diff-Pruning	paper	NeurIPS	2023	note	code
LoRAShear: Efficient Large Language Model Structured Pruning and Knowledge Recovery	LoRAShear	paper	arXiv	2023	note
Learning both Weights and Connections for Efficient Neural Networks	LoRAShear	paper	arXiv	2023	note	code
SparseGPT: Massive Language Models Can be Accurately Pruned in One-Shot	SparseGPT	paper	CVPR	2023	note	code
Wanda:A Simple and Effective Pruning Approach for Large Language Models	Wanda	paper	CVPR	2023	note	code