Ännu en ny LLM såg dagens ljus i förra veckan – Falcon 180B, skapad av The Technology Innovation Institute, TII som huserar i Förenade arabemiraten. Eller, man kan fundera på när modellen ”såg dagens ljus”, eftersom den har tränats med hjälp av 3.500 miljarder ord/tokens, som behandlats under 800 gpu-år. I verkligheten lär den ha kört ca 5000 parallella processorer under några månader. Just nu är det vad aktörerna verkar ägna sig åt – man antar att ju större desto bättre – som nästa skyskrapa i Dubai.
TII har släppt denna modell, liksom flera tidigare modeller som öppen källkod på Hugging Face, den ledande plattformen för öppna modeller.
Det är en kluven känsla man får. Å ena sidan den relativt stora öppenheten, och att det här kommer en modell som minskar San Francisco-dominansen. Å andra sidan det faktum att detta finansieras av regeringen i ett land som inte är lika öppet.
Eftersom emiraten är ärftliga monarkier och det är emirerna som väljer en av dem själva till president brukar även federationen räknas som en monarki. Ungefär 10–15 % av befolkningen är medborgare och har privilegier som garanterar rikedom och skydd i domstol. Resterande invånare är utländska gästarbetare, framför allt från Indien, Pakistan och Bangladesh.
Förenade arabemiraten rankas dåligt i frihetsindex som mäter medborgerliga friheter och politiska rättigheter. Förenade arabemiraten rankas årligen som ”Inte fri” i Freedom House årliga frihet i världen-rapport, som mäter medborgerliga friheter och politiska rättigheter.
https://huggingface.co/blog/falcon-180b
https://sv.wikipedia.org/wiki/F%C3%B6renade_arabemiraten
https://www.ui.se/landguiden/lander-och-omraden/asien/forenade-arabemiraten/skriv-ut-alla-kapitel
https://en.wikipedia.org/wiki/List_of_tallest_buildings_in_Dubai