七月 01, 2023
监督微调(SFT) --翻译场景
背景监督微调(supervised fine-tuning)，是重要的对齐人类指令和偏好的阶段。它对数据的质量、多样性、丰富性等都有很大的要求。而且也是与...
七月 01, 2023
指令微调(Instruct Fine-tuning)
背景大模型的对齐阶段，一直都是重点关注的地方。因为随着大模型的工程技术的发展，高效、稳定、持续地训练大模型的门槛已越来越低。预训练对数据的要求相对来说也容...
六月 26, 2023
跟进LLM工作的笔记和思考
在 LLM 工作中，尽最大的时间和精力，跟上此领域的进展，记录一些笔记、思考。 ChatGPT： GPT-3 InstructGPT 预训练： GL...