Devstock

Konsola Game Boy Color z 1998 roku odpaliła własny model językowy AI.

8 MHz, 32 kilobajty RAM-u, bez GPU, bez chmury, bez Wi-Fi.

Token po tokenie. Minuty na słowo. Treść chwilami na granicy bełkotu. Nie chodzi o jakość prozy - chodzi o to, że pełna ścieżka transformera w ogóle przechodzi przez procesor, który ma 27 lat.

Jak to się dzieje?

- Model: TinyStories-260K z repozytorium Karpathy'ego (260 tys. parametrów, prawdziwy transformer)
- Kwantyzacja do INT8 - te same techniki, których dziś używa llama.cpp
- Arytmetyka stałoprzecinkowa - bo procesor Game Boya nie umie liczyć na floatach
- Wagi w bankowanym ROM-ie kartridża, kontekst w SRAM-ie kartridża

Po co to komu?

Ten projekt nie powstał, żeby ktoś używał Game Boya jako asystenta. Powstał, żeby pokazać jedno: granica "gdzie da się uruchomić AI" przesunęła się dramatycznie.

Jeśli najmniejszy transformer chodzi na 8 MHz, to znaczy, że Raspberry Pi 5 albo mały komputer ARM bez problemu pomieści model rzędu kilku miliardów parametrów po kwantyzacji. Sterowniki w magazynach, kasy fiskalne, drukarki etykiet - każdy z tych urządzeń może dostać własną, lokalną warstwę AI. Bez wysyłania danych w chmurę.

Dla kancelarii, gabinetów i biur księgowych pracujących z wrażliwymi danymi to przesuwa rozmowę: zamiast "płacę za każde wywołanie do chmury i martwię się RODO" - "uruchamiam model lokalnie, dane nie opuszczają komputera".

Link do pełnej analizy z technicznymi szczegółami - w komentarzu.

❤️🙏🔥

W fajnym gronie to aż miło pracować ☺️💪 Czy to w dzień czy to w nocy, Devstock ma dużo mocy 🔥😉 Dzięki chłopaki! Rozwijamy się! Oby tak dalej 🙏🫶 #akademiaprogramowania #szkolaprogramowania #programista #szkoła #informatyka #edukacja #firma #rozwój #live