前言

学习笔记目录，包含论文笔记。

操作系统：Windows 11 家庭中文版

论文学习笔记

  1. 00122 神经语言模型的缩放定律 (论文学习笔记) windows11: 神经语言模型的缩放定律（2020）。
  2. 00123 零冗余优化器 论文学习笔记 windows11: 零冗余优化器（2020）。
  3. 00124 MiniCPM 论文学习笔记 windows11: MiniCPM 小型的语言模型（2024）。
  4. 00125 Phi-3 论文学习笔记 windows11: Phi-3 小型的语言模型（2024）。
  5. 00168 ChatGLM 论文学习笔记 ubuntu: ChatGLM 语言模型（2024）。

杂项

人工智能

  1. 00032-人工智能杂项-ubuntu: 介绍一些人工智能杂项，包括：激活函数等问题。
  2. 00077-PyTorch 杂项-windows10: 介绍一些 PyTorch 杂项。
  3. 00079-Hugging Face 杂项-windows10: 介绍一些 Hugging Face 的杂项。

编程语言

  1. 00030-Python 杂项-ubuntu: 介绍一些 Python 杂项，包括：Python 语法等问题。
  2. 00069-简洁 C/C++ 杂项-ubuntu: 介绍一些 C/C++ 简洁技巧。
  3. 00038-Markdown 杂项-ubuntu: 介绍一些 Markdown 杂项。
  4. 00154 Verilog 杂项 windows11: 介绍一些 Verilog 的杂项。

python 库

  1. 00092-pandas 杂项-windows10: 介绍一些 pandas 杂项。
  2. 00068 Sphinx 杂项-ubuntu: 介绍一些 Sphinx 杂项。
  3. 00070-pybind11 杂项-ubuntu: 介绍一些 pybind11 杂项，包括：打包等问题。

编程环境

  1. 00028-Linux 杂项-ubuntu: 介绍一些 Linux 杂项，包括：Linux 命令、Linux 系统问题。
  2. 00058-Windows 杂项-windows10: 介绍一些 Windows 杂项，包括：Windows 系统问题。
  3. 00145 VSCode 杂项 windows11: 介绍一些 VSCode 杂项。
  4. 00065-Git 杂项-windows10: 介绍 Git 和 Github 的杂项。
  5. 00172 Node.js 杂项 ubuntu: 介绍一些 Node.js 杂项。

文档

  1. 00061-WPS 杂项-windows10: 介绍一些 Office 办公软件杂项，包括：Word、Excel、PPT 问题。

编程语言

Python

  1. 00084 Python 类-windows10: Python 类学习笔记。
  2. 00083 Python 装饰器-windows10: Python 装饰器学习笔记。
  3. 00086 Python property 装饰器-windows10: Python property 装饰器学习笔记。
  4. 00085 Python 垃圾回收器接口-windows10: Python 垃圾回收器接口学习笔记。
  5. 00089 Python dataclasses — 数据类-windows10: dataclasses — 数据类学习笔记。
  6. 00091 Python typing —— 对类型提示的支持-windows10: typing —— 对类型提示的支持学习笔记。
  7. 00016 ctypes — Python 的外部函数库-ubuntu: 介绍 ctypes — Python 的外部函数库。
  8. 00120 Python 日期和时间 windows11: Python 日期和时间。
  9. 00164 Python concurrent 包 学习笔记 windows11: concurrent.futures — 启动并行任务。
  10. 00054 copy 标准库学习笔记-ubuntu: copy — 浅层 (shallow) 和深层 (deep) 复制操作。
  11. 00055 CSV 文件读写-windows10: CSV 文件读写。
  12. 00093 Python json — JSON 编码和解码器-windows10: Python json — JSON 编码和解码器学习笔记。
  13. 00169 argparse 学习笔记 ubuntu, 00048 Argparse 教程学习笔记-ubuntu: argparse — 用于命令行选项、参数和子命令的解析器。
  14. 00047 正则表达式 HOWTO 学习笔记-ubuntu: 关于在 Python 中通过 re 模块使用正则表达式的官方入门教程。
  15. 00063 使用pip和虚拟环境安装包-windows10: 使用pip和虚拟环境安装包。
  16. 00046 打包 Python 项目-ubuntu: 打包 Python 项目。
  17. 00080 logging — Python 的日志记录工具-windows10: Python 的日志记录工具。
  18. 00166 PEP 8 – Style Guide for Python Code windows11: PEP 8-Python代码样式指南。
  19. 00167 在VS Code中格式化Python windows11: 在VS Code中格式化Python
  20. 00148 Python Fire 学习笔记 windows11: Python Fire是一个库，用于从绝对任何Python对象自动生成命令行界面（CLI）。

Verilog

  1. 00158 Verilog In One Day 学习笔记 windows11: Verilog In One Day。

LaTex

  1. 00114 初识 LaTeX-ubuntu: 初识 LaTex，主要集中于基础语法知识。
  2. 00115 利用 LaTeX 做 PPT (Beamer)-ubuntu: 基于 Beamer，利用 LaTex 做 PPT。
  3. 00116 Beamer 主题-ubuntu: 介绍一些 Beamer 主题。
  4. 00118 本地配置 LaTeX 环境-windows11: 利用 VSCode 在本地配置 LaTex 编译环境。

Hugging Face

datasets

  1. 00170 了解您的数据集 ubuntu: 了解您的数据集。

教程

  1. 00147 预处理数据 windows11: 预处理数据。
  2. 00126 微调预训练模型 windows11: 微调预训练模型。
  3. 00127 🤗 加速分布式训练 windows11: 🤗 加速分布式训练。
  4. 00128 使用 🤗 PEFT 加载adapters windows11: 使用 🤗 PEFT加载adapters。

指南

  1. 00142 共享自定义模型 windows11: 共享自定义模型。
  2. 00143 文本生成策略 windows11: 文本生成策略。

任务

  1. 00129 文本分类 windows11: 文本分类。
  2. 00130 Token 分类 windows11: Token 分类。
  3. 00131 问答 windows11: 问答。
  4. 00132 因果语言建模 windows11: 因果语言建模。
  5. 00133 掩码语言建模 windows11: 掩码语言建模。
  6. 00134 翻译 windows11: 翻译。

性能和可扩展性

训练

  1. 00135 性能与可扩展性 windows11: 性能与可扩展性。
  2. 00136 在单个GPU上进行高效训练的方法和工具 windows11: 在单个GPU上进行高效训练的方法。
  3. 00137 在多个GPU上进行高效训练 windows11: 在多个GPU上进行高效训练的方法。
  4. 00138 完全分片数据并行 windows11: 完全分片数据并行。
  5. 00139 DeepSpeed windows11: DeepSpeed。

推理

  1. 00140 CPU 推理 windows11: CPU推理。
  2. 00141 GPU 推理 windows11: GPU推理。

博客

  1. 00144 ChatGPT 背后的“功臣”——RLHF 技术详解 windows11: ChatGPT 背后的“功臣”——RLHF 技术详解。
  2. 00152 “StackLLaMA”: 用 RLHF 训练 LLaMA 的手把手教程 windows11: 用 RLHF 训练 LLaMA 的手把手教程。
  3. 00150 使用 DPO 微调 Llama 2 windows11: 使用 DPO 微调 Llama 2。
  4. 🤗 PEFT：在低资源硬件上对十亿规模模型进行参数高效微调: 在低资源硬件上对十亿规模模型进行参数高效微调。
  5. 00162 大规模 Transformer 模型 8 比特矩阵乘简介 windows11: 大规模 Transformer 模型 8 比特矩阵乘简介 - 基于 Hugging Face Transformers、Accelerate 以及 bitsandbytes。
  6. 00151 面向生产的 LLM 优化 windows11: 面向生产的 LLM 优化。
  7. 00161 How to generate text: using different decoding methods for language generation with Transformers - windows11: 通过 Transformers 用不同的解码方法生成文本。
  8. 00153 开源大语言模型作为 LangChain 智能体 windows11: 开源大语言模型作为 LangChain 智能体。
  9. 00146 Cheat Sheet: Mastering Temperature and Top_p in ChatGPT API windows11: 掌握ChatGPTAPI中的温度和Top_p。

NLP Course

Transformer models

  1. 00174 NLP Course - Introduction ubuntu: Introduction。

PyTorch

  1. 00149 Fully Sharded Data Parallel(FSDP) 学习笔记 windows11: Fully Sharded Data Parallel(FSDP) 学习笔记。

大模型提供商

  1. 00171 OpenAI 文档 ubuntu: OpenAI 文档。

Github

  1. 00117 Github 主页设置贪吃蛇详细教程-windows11: 如何在 Github 主页上设置贪吃蛇。
  2. 00119 常用的 GitHub Workflows windows11: 常用的 GitHub Workflows。

Linux & Windows

  1. 00163 如何使用WSL在Windows上安装Linux windows11: 如何使用WSL在Windows上安装Linux。
  2. 00173 Docker 文档 ubuntu: Docker 文档。

求学时的岁月

  1. 00094-读的论文清单-windows10：读研时阅读过的论文。

结语

第一百二十一篇博文写完，开心！！！！

今天，也是充满希望的一天。