跟进LLM工作的笔记和思考

跟进LLM工作的笔记和思考

六月 26, 2023

在 LLM 工作中，尽最大的时间和精力，跟上此领域的进展，记录一些笔记、思考。

ChatGPT：

  • GPT-3
  • InstructGPT

预训练：

  • GLM130b
  • Bloom
  • LLaMA
  • Llama2

IFT：

  • PromptSource
  • WeLM: A Well-Read Pre-trained Language Model for Chinese
  • Belle
    • pass
  • Bloomz
    • 数据集
  • T0
    • Xp3 数据集
  • OPT-IML
  • FLAN
  • FLAN-PaLM
  • FLAN 数据集设计
  • Super-NaturalInstructions

SFT：

  • SELF-INSTRUCT
    • Alpaca

RLFH：

  • Reddit 摘要
  • PPO
  • PRO：Preference Ranking Optimization for Human Alignment

部署与应用：

  • Lora
  • LangChain