Jotschi/kleiner-astronaut-126M

Kleiner Astronaut - 126M

Model pre-trained on the german Kleiner Astronaut dataset.

Example from Dataset:

Eines Tages traten der kleine Astronaut Max und sein neues Roboter-Freundchen, Astro, in ihr schattiges Wohnzimmer…

• Architecture: NanoGPT / Custom Arch - Based on GPT-2
• License: Apache-2.0

Training

Sources: https://github.com/Jotschi/nanoGPT/tree/kleiner-astronaut-126M

Hyperparams used to train this model:

Parameter	Value
n_layer	12
n_head	12
n_embd	780
dropout	0.2
batch_size	32
block_size	256
gradient_accumulation_steps	1
learning_rate	1e-5
max_iters	500000
lr_decay_iters	5000
min_lr	1e-6
beta2	0.99
warmup_iters	100

Example

Die Galaxie war voller ungewöhnlicher Dinge, die man noch nie gesehen hatte – riesige Sterne, die wie kleine Diamanten am Himmel glitzerten, und Sternschnuppen, die wie feine Seifenblasen funkelten. Max und Luna waren so erstaunt, dass sie sich auf einem großen Festmahl herumdrehten, begegneten ihnen über einer Reihe von Galaxien, wo jedes Sternchen einzigartige Geschichten hörte.

Als sie zu einem großen Planet umschwommen waren, bemerkten sie einen kleinen Planet, der vor ihnen aufgegangen war. "Wow", murmelte Max, "das ist so großartig!" Er hatte eine kleine Stadt in Form von Sternen darauf und war begeistert von den schönsten Welten.

Auf dieser neuen Welt trafen sie auf viele andere kleine Astronauten, die ebenfalls dort lebten. Diese Kinder waren so freundlich wie Max, aber sie trugen mit ihren Hüften und schauten ihnen zu. "Wir sind die Sternengötter", sagte einer der kleinen Sternchen, "und wir sind auf unserer Reise durch den Kosmos."

Max lachte und dachte nach, wie er diese neue Welt entdecken würde. Mit einem Sprung in seine kleine Raumkapsel setzte Max los und fuhr durch die Sternenschleife, um nach dem Abenteuer zu suchen. Er kletterte über Flüssigkeiten, die wie flüssige Stücke aussahen und sah wie kleine Sterne auf einer großen Festfeier tanzten.

Usage

The custom model implementation can be found in model.py.

pip install -r requirements.txt
python example.py

The model is not compatible with common inference servers.