A videó a “Spacebite”-ról beszél, ami egy újszerű megközelítés a nagy nyelvi modellek (large language models, LLMs) tervezésében, amely megkérdőjelezi a hagyományos tokenizálásra való támaszkodást. Íme egy részletes összefoglaló:
A bájtszintű LLM-ek kihívása:
Az LLM-ek tipikusan…