これは、大規模言語モデルやマルチモーダルモデルの訓練とファインチューニング、推論の成功を支援するための方法論、ツール、ステップバイステップの指示のオープンコレクションです。

これはLLM/VLMのトレーニングエンジニアやオペレーターに適した技術資料です。ここには多くのスクリプトやコピー&ペーストコマンドが含まれており、ニーズに迅速に対応できるようにしています。

このリポジトリは、私が大規模言語モデル(LLM)(およびVLM)を訓練した経験の継続的な脳の吐露です。2022年のオープンソースのBLOOM-176Bモデル、2023年のIDEFICS-80Bマルチモーダルモデル、そして2024年の Contextual.AI のRAGモデルのトレーニングで得た多くのノウハウです。

この情報は主に自分自身のためにまとめており、過去に調べて効果があった解決策を素早く見つけられるようにしていますが、いつものようにこれらのメモをより広い機械学習コミュニティと共有できることを喜んで思います。

目次

パート1。洞察

1. AI戦場工学 - 成功するために知っておくべきこと。

2. クラウドプロバイダーの選び方 - これらの質問は、成功するコンピュートクラウド体験を助ける力となります。

Machine Learning Engineering Open Book

This is an open collection of methodologies, tools and step by step instructions to help with successful training and fine-tuning of large language models and multi-modal models and their inference.

This is a technical material suitable for LLM/VLM training engineers and operators. That is the content here contains lots of scripts and copy-n-paste commands to enable you to quickly address your needs.

This repo is an ongoing brain dump of my experiences training Large Language Models (LLM) (and VLMs); a lot of the know-how I acquired while training the open-source BLOOM-176B model in 2022 and IDEFICS-80B multi-modal model in 2023, and RAG models at Contextual.AI in 2024.

I’ve been compiling this information mostly for myself so that I could quickly find solutions I have already researched in the past and which have worked, but as usual I’m happy to share these notes with the wider ML community.

Table of Contents

Part 1. Insights

1. The AI Battlefield Engineering - what you need to know in order to succeed.

2. How to Choose a Cloud Provider - these questions will empower you to have a successful compute cloud experience.

3. When Is It Worth Upgrading GPUs? - a practical framework for deciding whether a GPU generation upgrade is worth its cost, worked through on a real H200 → B200 benchmark.

Part 2. Hardware

1. Compute - accelerators, CPUs, CPU memory.

2. Storage - local, distributed and shared file systems.

3. Network - intra- and inter-node networking.

Part 3. Orchestration

1. Orchestration Systems - managing containers and resources
2. SLURM - Simple Linux Utility for Resource Management

Part 4. Training

1. Training - model training-related guides

Part 5. Inference

1. Inference - model inference insights

Part 6. Development

1. Debugging and Troubleshooting - how to debug easy and difficult issues

2. And more debugging

3. Testing - numerous tips and tools to make test writing enjoyable

Part 7. Miscellaneous

1. Resources - LLM/VLM chronicles

Updates

I announce any significant updates on my twitter channel https://twitter.com/StasBekman.

Ebook versions of the book