«Я не боюсь бурь, ибо учусь управлять своим кораблём.»
– Луиза Мэй Олкотт

Marin — это исследовательская программа, программная платформа и сообщество для исследований и разработки базовых моделей.

Забота Marin — обучение крупных языковых моделей. Это включает кураторство данных, трансформацию, фильтрацию, токенизацию, предварительное обучение, посттренинг и оценку. Помимо артефактов, программного обеспечения и инфраструктуры, лежащих в основе этих моделей, Marin стремится открыто делиться всем знаниями о процессах, необходимыми для создания этих моделей.

Основная ценность Marin — открытая разработка. Мы документируем наши процессы, эксперименты и решения по мере их происходящего. Каждый шаг — от исходных данных до финальной модели — фиксируется. Неудачные эксперименты — часть этого записи.

Marin также использовался для создания аудио-текстовых моделей, моделей ДНК и белков. Мы поощряем эту работу через использование Marin как библиотеки в marin/экспериментах.

Текущая работа

Микс экспертов на фронтире

В настоящее время мы сосредоточились на предварительном обучении с нуля и посттренинге большой модели (5e24 модели FLOPs, 500 миллиардов+ общих параметров) для успешного выполнения важных для учёных и исследователей задач.

Marin

“I am not afraid of storms, for I am learning how to sail my ship.” – Louisa May Alcott

Marin is a research program, software platform, and community for the research and development of foundation models.

Marin’s concern is training large language models. This includes data curation, transformation, filtering, tokenization, pretraining, posttraining, and evaluation. Beyond the artifacts, software, and infrastructure, behind these models, Marin is committed to openly sharing all of the process knowledge required to build these models.

Marin’s core value is open development. We document our processes, experiments, and decisions as they happen. Every step, from raw data to the final model, is recorded. Failed experiments are part of that record.

Marin has also been used for building audio-text models, DNA, and protein models. We encourage this work through the use of Marin as a library, in marin/experiments.

Current work

Frontier mixture-of-experts

Our current focus is pretraining, from scratch, and posttraining a large (5e24 model-FLOPs, 500 billion+ total parameters) mixture-of-experts model to succeed on tasks of importance to scientists and researchers.

Scaling suite

Delphi is Marin’s open scaling suite scaling a LLM recipe from 3e18 to 1e23 FLOPs, inspired by Pythia. It has three parts: a scaling recipe that maps compute budgets to model configurations, a scaling suite trained from that recipe on the Google TPU Research Cloud, and a scaling law that uses the smaller Delphi models to predict the larger ones.

We released:

• Checkpoints for every run, available on Hugging Face at marin-community/delphi
• Training mixture pipelines that deterministically reproduce the mix from the public Nemotron-CC, StarCoderData, and ProofPile 2 in the Marin repo