AI model staví Lego podle textu. A opravdu drží pohromadě

Nový open-source nástroj s názvem LegoGPT dokáže proměnit textové zadání v návrh Lego modelu, který lze fyzicky postavit. Za projektem stojí výzkumníci z Carnegie Mellon University a jejich cílem bylo vytvořit umělou inteligenci, která nejen navrhne model, ale i ověří, že je stabilní a sestavitelný – buď ručně, nebo pomocí robotů.

Model využívá vlastní programovací nástroj, který analyzuje fyzickou stabilitu konstrukce podle principů gravitace a pevnosti. Výzkumný tým vytvořil unikátní trénovací datovou sadu nazvanou StableText2Lego, obsahující přes 47 000 návrhů Lego modelů spolu s popisy generovanými pomocí GPT-4o. Každý návrh byl testován, aby odpovídal fyzikálním zákonům a bylo možné ho opravdu postavit.

LegoGPT funguje podobně jako jiné jazykové modely – například ty od OpenAI – ale je vyškolený speciálně na predikci toho, jaká další Lego kostka by měla přijít, kam ji umístit a jak zajistit, aby se konstrukce nezřítila. Pokud některý návrh není stabilní, model se k tomuto místu „vrátí“ a upraví ho, čímž výrazně zvyšuje úspěšnost návrhů. Bez této schopnosti byla stavba stabilní jen ve 24 % případů, s ní už v téměř 99 %.

Modely jsou jednoduché – využívají pouze 8 typů klasických kostek a omezují se na prostor o velikosti 20×20×20 dílků. Přesto už dokážou vytvořit i konkrétně zadané objekty – například metalicky fialovou elektrickou kytaru.

Aby ověřili, že výstupy fungují i v praxi, výzkumníci nechali některé návrhy postavit robotická ramena a jiné sestavovali lidé ručně. Oba způsoby potvrdily, že návrhy jsou nejen realistické, ale i esteticky zajímavé.

V porovnání s jinými AI modely pro 3D tvorbu (například LaMA-Mesh) si LegoGPT vede výrazně lépe co do stability výsledných modelů. I když zatím zvládá jen základní dílky a omezené množství kategorií, vývojáři plánují další rozšíření – například o šikmé nebo speciální kostky.

Kompletní kód, modely i datová sada jsou volně dostupné na GitHubu a webu projektu, takže si LegoGPT může vyzkoušet kdokoliv.

Zdroj foto: www.pexels.com