이 문서는 대규모 언어 모델과 다중 모달 모델의 성공적인 훈련 및 미세 조정, 그리고 그 추론을 돕기 위한 방법론, 도구 및 단계별 지침을 공개적으로 모은 모음입니다.

이 자료는 LLM/VLM 교육 엔지니어와 운영자에게 적합한 기술적 자료입니다. 여기에는 많은 스크립트와 복사-붙여넣기 명령어가 포함되어 있어 신속하게 요구사항을 처리할 수 있도록 합니다.

이 저장소는 제가 대형 언어 모델(LLM)(및 VLM) 훈련 경험을 지속적으로 정리한 것입니다; 2022년 오픈 소스 BLOOM-176B 모델, 2023년 IDEFICS-80B 다중 모달 모델, 2024년 RAG 모델 at Contextual.AI 훈련하면서 얻은 많은 노하우입니다.

이 정보를 주로 제가 직접 모아서 과거에 이미 조사하고 효과가 있었던 해결책을 빠르게 찾기 위해 작성했지만, 늘 그렇듯이 이 노트들을 더 넓은 머신러닝 커뮤니티와 공유할 수 있어 기쁩니다.

목차

1부. 통찰

1. AI 전장 공학 - 성공하기 위해 알아야 할 것들.

2. 클라우드 제공업체 선택 방법 - 이 질문들은 성공적인 컴퓨트 클라우드 경험을 가능하게 합니다.

Machine Learning Engineering Open Book

This is an open collection of methodologies, tools and step by step instructions to help with successful training and fine-tuning of large language models and multi-modal models and their inference.

This is a technical material suitable for LLM/VLM training engineers and operators. That is the content here contains lots of scripts and copy-n-paste commands to enable you to quickly address your needs.

This repo is an ongoing brain dump of my experiences training Large Language Models (LLM) (and VLMs); a lot of the know-how I acquired while training the open-source BLOOM-176B model in 2022 and IDEFICS-80B multi-modal model in 2023, and RAG models at Contextual.AI in 2024.

I’ve been compiling this information mostly for myself so that I could quickly find solutions I have already researched in the past and which have worked, but as usual I’m happy to share these notes with the wider ML community.

Table of Contents

Part 1. Insights

1. The AI Battlefield Engineering - what you need to know in order to succeed.

2. How to Choose a Cloud Provider - these questions will empower you to have a successful compute cloud experience.

3. When Is It Worth Upgrading GPUs? - a practical framework for deciding whether a GPU generation upgrade is worth its cost, worked through on a real H200 → B200 benchmark.

Part 2. Hardware

1. Compute - accelerators, CPUs, CPU memory.

2. Storage - local, distributed and shared file systems.

3. Network - intra- and inter-node networking.

Part 3. Orchestration

1. Orchestration Systems - managing containers and resources
2. SLURM - Simple Linux Utility for Resource Management

Part 4. Training

1. Training - model training-related guides

Part 5. Inference

1. Inference - model inference insights

Part 6. Development

1. Debugging and Troubleshooting - how to debug easy and difficult issues

2. And more debugging

3. Testing - numerous tips and tools to make test writing enjoyable

Part 7. Miscellaneous

1. Resources - LLM/VLM chronicles

Updates

I announce any significant updates on my twitter channel https://twitter.com/StasBekman.

Ebook versions of the book