Sześć prawdziwych raportów
Każdy przeszedł przez zwykły pipeline finetuna: JSONL na wejściu, QLoRA na RTX 4090, GGUF i report.html na wyjściu. Nic nie jest wycięte ani poprawione. Zbiory są publiczne, więc możesz odtworzyć każdy z nich za 5 USD.
Wydźwięk polskich recenzji na Bieliku 11B
Polska recenzja na wejściu, jedno słowo na wyjściu: pozytywna, negatywna, neutralna albo niejednoznaczna.
- Model
- Bielik 11B v3 Instruct
- Zbiór
- PolEmo 2.0 (clarin-pl, via allegro/klej-polemo2-in), CC BY-SA 4.0
- Rozmiar
- 2000 linii, 1 epoka
- Wynik
- loss walidacyjny 1.809 → 1.078, 11.6 min GPU
- Na co patrzeć
- Bielik już bazowo odpowiada jednym słowem, gdy się go o to poprosi. Na 20 recenzjach spoza treningu bazowy trafił etykietę 15 razy, dostrojony 20; pudła bazowego to recenzje neutralne i niejednoznaczne.
Ekstrakcja encji do JSON na Qwen3 8B
Zdanie na wejściu, jeden obiekt JSON na wyjściu z ośmioma stałymi kluczami (person, organization, location, event, product, art, building, other).
- Model
- Qwen3 8B
- Zbiór
- Few-NERD, supervised split (DFKI-SLT), CC BY-SA 4.0
- Rozmiar
- 3000 linii, 2 epoki
- Wynik
- loss walidacyjny 3.113 → 0.553, 24.6 min GPU
- Na co patrzeć
- Oba modele dostają ten sam prompt z wyłączonym myśleniem Qwen3, więc bazowy też odpowiada: poprawny JSON z ośmioma kluczami na wszystkich 20 zdaniach spoza treningu. Myli się w schemacie adnotacji. "Sanfilippo Syndrome" wrzuca do product, a "song" do art, gdzie zbiór mówi other i nic. Bazowy: 1 z 20 zgodnych co do znaku, F1 na encjach 0,25. Dostrojony: 8 z 20, F1 0,71; pudła to granice encji, np. "Apple Computer, Inc" i "Apple Computer, Inc.".
Przepisywanie w stylu Yody na Llama 3.1 8B
Zwykłe zdanie na wejściu, to samo zdanie po yodowsku na wyjściu. Nic więcej.
- Model
- Llama 3.1 8B Instruct
- Zbiór
- yoda_sentences (dvgodoy), Apache 2.0
- Rozmiar
- 720 linii, 3 epoki
- Wynik
- loss walidacyjny 4.389 → 0.552, 6.8 min GPU
- Na co patrzeć
- Llama mówi po yodowsku już bazowo, ale bierze odpowiedzi w cudzysłów i za każdym razem wybiera inny szyk. Po 720 liniach i 7 minutach GPU dostrojony model odtwarza wzorzec ze zbioru (dopełnienie na początku, 'you must' na końcu) i na większości zdań spoza treningu zgadza się z wzorcem słowo w słowo.
Text-to-SQL na Qwen3 8B
Schemat bazy, pytanie i podpowiedź na wejściu, jedno zapytanie SQLite na wyjściu.
- Model
- Qwen3 8B
- Zbiór
- birdsql_complete_trainset (EuricoGVP), CC BY-SA 4.0
- Rozmiar
- 3000 linii, 2 epoki
- Wynik
- loss walidacyjny 1.415 → 0.114, 85.8 min GPU
- Na co patrzeć
- Model bazowy już pisze działający SQL, tylko po swojemu: podzapytania, małe aliasy, średnik na końcu. Dostrojony pisze w stylu BIRD (aliasy T1, T2, INNER JOIN) i na 5 z 20 pytań spoza treningu zgadza się z wzorcem co do znaku, bazowy na 0. Zgodność co do znaku zaniża wynik obu: kilka odpowiedzi bazowego jest poprawnych, a jedna dostrojonego filtruje po tytule recenzji zamiast tytułu podcastu. Do pomiaru po wykonaniu zapytań potrzebne są bazy BIRD, których ten run nie miał.
Włoskie instrukcje na Mistral Nemo 12B
Włoskie polecenie na wejściu, włoska odpowiedź na wyjściu: streszczenia, listy, krótkie teksty, prosta matematyka.
- Model
- Mistral Nemo 12B Instruct
- Zbiór
- Orvieto-42k (OysterCoreAI), CC BY 4.0
- Rozmiar
- 9421 linii, 2 epoki
- Wynik
- loss walidacyjny 1.539 → 1.121, 136.2 min GPU
- Na co patrzeć
- Przykład, w którym dostrajanie niewiele zmienia. Nemo już pisze płynnie po włosku, więc odpowiedzi bazowego i dostrojonego brzmią podobnie. Dostrojony przejmuje nawyki zbioru: krótsze odpowiedzi, wynik działania w jednym zdaniu, te same otwarcia. Na jednej liście dziesięciu podpisów powtarza pozycje, czego bazowy nie robi. Spadek straty bierze się z dopasowania do sformułowań zbioru, a nie z lepszego włoskiego.
Rozumowanie na polskich egzaminach lekarskich na Bieliku 11B
Pytanie z PES/LEK z opcjami A do E na wejściu, wyjaśnienie krok po kroku i jedna litera odpowiedzi na wyjściu. Do nauki, nie do porad medycznych.
- Model
- Bielik 11B v3 Instruct
- Zbiór
- polish-medical-cot-PES (Gregniuki), CC BY 4.0
- Rozmiar
- 1297 linii, 2 epoki
- Wynik
- loss walidacyjny 1.038 → 0.439, 129.3 min GPU
- Na co patrzeć
- Na 19 pytaniach spoza treningu ze znaną odpowiedzią bazowy Bielik wybiera dobrą literę 8 razy, dostrojony 10 razy. Dostrojony rozumuje też tak jak zbiór: najpierw po angielsku, potem po polsku omawia każdą opcję i kończy 'Prawidłowa odpowiedź to: X'. Odpowiedzi ma długie i w 4 z 19 dochodzi do limitu długości przed literą. Kilka zaczyna od 'explain why option B is correct', nawyku przejętego z rozumowań pisanych ze znajomością odpowiedzi.
Jak to odtworzyć
Skrypt, który buduje pliki JSONL do raportów o wydźwięku, ekstrakcji JSON i Yodzie ze źródłowych zbiorów, leży w repozytorium jako demos/prepare.py. Wgraj jego wynik na stronie Nowy job, wybierz ten sam model i liczbę epok. Prompt systemowy z pierwszej linii pliku wpisz w pole promptu systemowego, żeby Modelfile go niósł.
Poradnik o Bieliku: Fine-tuning Bielika na własnych danych