WARD GEYS↖ Terug naar portfolio
PROJECT / ATLAS ENGINELOKALE INFERENTIE · SYSTEEMWERK

ATLAS ENGINE

Binnen in het model.
Tot in de kernel.

Een experimentele inferentieruntime voor lokale Qwen- en Gemma-modellen, met vastgelegde 35B- en 80B-MoE-ijkpunten. GGUF inlezen, gecomprimeerde gewichten uitvoeren, geheugenbeheer, eigen CUDA-kernels en de lus die modelstatus omzet in tokens.

ATLAS ENGINE / GEHEUGENPADARCHITECTUURDIAGRAM
01 / MODELBESTANDQwen3.5 · 35B A3BGGUF · Q4_K_M · gepubliceerde modelgewichten
Gevalideerd laden
02 / WERKGEHEUGENGecomprimeerde expertbankenExpertgewichten blijven in het RAM
Begrensde overdracht + hergebruik
03 / UITVOERING OP DE GPUCUDA + expertcacheModel-state, attention en tokengeneratie
Vereenvoudigd 35B-uitvoeringspad op de test-pc: 64 GB werkgeheugen en een GPU met 12 GB geheugen. Het volledige model staat niet in het GPU-geheugen.
Runtime
Python · PyTorch · CUDA · GGUF
Testhardware
12 GB GPU · 64 GB werkgeheugen
Uitgebrachte ijkpunten
Engine 0.26.0 en 0.32.0

TWEE PROJECTEN / VERBONDEN VERANTWOORDELIJKHEDEN

Een companion om te gebruiken.
Een engine om te bouwen.

ATLAS COMPANION

Het gesprek en de interface.

Windows- en Android-clients verbinden met de gedeelde Atlas-applicatie. Gesprek, spraak en toestemmingsknoppen maken de assistent bruikbaar. De gedeelde Agent beheert het toolbeleid en de uitvoeringsbewijzen.

Ontdek Companion

ATLAS ENGINE

De uitvoeringslaag van het model.

Het native pad voert het model uit met PyTorch en Atlas-kernels, in plaats van die uitvoering aan llama.cpp over te laten. Het produceert tekst of voorgestelde toolaanroepen. De apart beheerde llama.cpp-runtime blijft beschikbaar als onafhankelijke terugvaloptie.

RUNTIMEARCHITECTUUR

De beperkingen
bepalen de implementatie.

Een 35B-mixture-of-expertsmodel op deze pc is zowel een geheugen- en dataverplaatsingsprobleem als een rekenprobleem. De runtime moet bepalen wat resident blijft, wat wordt verplaatst en wat veilig herbruikbaar is.

01 / BESTANDSFORMAAT

De gewichten lezen.

GGUF-metadata, tensorindelingen en gecomprimeerde matrices voeden modelspecifieke uitvoeringspaden. De native backend voert Qwen en Gemma uit met PyTorch en Atlas CUDA-kernels. Modelgewichten en tokenizerhulpmiddelen komen van hun eigen uitgevers.

02 / GEHEUGEN

Residentie expliciet maken.

Het geselecteerde 35B-modelbestand is ongeveer 21,2 GB groot. Gecomprimeerde expertbanken blijven in het werkgeheugen, terwijl een begrensde GPU-cache geselecteerde experts hergebruikt. Directe overdracht vermindert stagingwerk. De afweging is aanzienlijk RAM-gebruik en overdrachtskosten, geen model dat volledig in 12 GB VRAM past.

03 / CUDA

Aan het tokenpad werken.

Eigen bewerkingen op gecomprimeerde gewichten, attention-state en CUDA-graph replay horen bij de runtime. De uitgebrachte MoE-wijziging leest gecomprimeerde experts breder uit, met behoud van de accumulatievolgorde. Bij het laden wordt de expertcache begrensd binnen de bestaande geheugenreserve.

04 / HERGEBRUIK EN HERSTEL

State controleerbaar houden.

Een aan de bron gebonden prefixcache hergebruikt stabiele systeem- en toolprompt-state. Ongeldige cache-items vallen terug op gewone voorbereiding. Model-state, annulering en ontladen hebben expliciete paden. Gegenereerde toolaanroepen blijven via de gedeelde Agent lopen voor validatie, machtigingen, toestemming en uitvoeringsbewijzen.

80B-MODELIJKPUNT / 27 OKTOBER 2026

Qwen3-Next 80B MoE

80B parameters in totaal, met ongeveer 3B actief per token. Het vastgelegde native ijkpunt gebruikt Q3_K_M-gewichten en omvat echte Companion-controles voor tekst, berekeningen en toegestane en geweigerde bestandsacties. Dit is een ijkpunt voor modeluitvoering, geen brede claim over redeneerkwaliteit.

GEHEUGENBEHEER ALS BASIS

12 GB GPU · 64 GB RAM

Het volledige 80B-model staat niet in het GPU-geheugen. Begrensde leesacties voor expertgewichten, een geleidelijk gevulde hostcache van maximaal 8 GiB met een RAM-reserve van 16 GiB en een afzonderlijke begrensde GPU-cache beheren de actieve gegevens. Laden en gegevensoverdracht blijven tijd kosten.

VASTGELEGDE RESULTATEN / 26 OKTOBER 2026

Meet de verandering.
Bewaar de omstandigheden.

QWEN3.5 35B A3B / NATIVE TOKENGENERATIE

Eerder native pad → geoptimaliseerd native pad

Native controle17.37 tokens/s
Geoptimaliseerde native uitvoering26.39 tokens/s
51,9% hogere mediane tokengeneratie in deze afgebakende vergelijking. Alle gemeten vervolgtokens kwamen overeen. Sampling is inbegrepen; laden en promptverwerking zijn uitgesloten. Er was achtergrondactiviteit.
Benchmarkmethode en grens van de vergelijking

Twee controles en twee gewone kandidaatsessies, elk met drie gemeten herhalingen. Elke herhaling genereerde 32 greedy tokens na een stabiele prefix van 27.804 tokens. Warmups zijn uitgesloten. Het controle- en kandidaatpaar op dezelfde bronversie gebruikte dezelfde prefixhash. Dit vergelijkt native uitvoeringsstrategieën, niet Atlas Engine met llama.cpp.

Een directe vergelijking met een goed afgestelde llama.cpp-configuratie staat nog open. Tokengeneratie, promptvoorbereiding, opstarten en volledige toolaanvragen vragen aparte metingen.

GEMMA / PROMPTVOORBEREIDING

17,225 s → 10,409 s

Een afwisselende vergelijking met 8.192 tokens op het getrainde model mat minder voorbereidingstijd, zonder verschil in de vergeleken logits en met dezelfde gecontroleerde greedy keuzes. Dit is componentvoorbereiding, geen opstarttijd van de applicatie.

DE RESTERENDE KOST

Opstarten blijft wisselen.

De vastgelegde 35B-kandidaat had ongeveer 29 seconden nodig met een voorbereide cache en ongeveer 77 seconden na voorbereiding op nieuwe broncode. Snellere tokengeneratie neemt het laden van gewichten, promptvoorbereiding en hostoverhead niet weg.

BEWIJS UIT DE APPLICATIE

Verder dan een snellere
losse kernel.

De gedateerde native 0.26-campagne gebruikte echte Companion-sessies: gegenereerde berekeningen, expliciet goedgekeurde bestandsaanmaak met exact teruglezen, geweigerde schrijfacties met onafhankelijk gecontroleerde bestandsafwezigheid, annulering en herstel. Qwen 9B, Gemma en de beheerde terugvaloptie kregen aparte behoudscontroles.

Engine 0.26.0 is uitgebracht binnen Companion 0.19.2. Dit zijn vastgelegde controles van dat uitgebrachte checkpoint, geen certificering van elke latere bronwijziging of willekeurige werklast. Bredere kwaliteit, betrouwbaarheid tijdens lange sessies en fysieke spraaktests blijven open.

Bekijk de release die de engine bevat
Eerdere native checkpoints, 23 en 24 oktober

Vastgelegd op 23 en 24 oktober 2026: twee native Qwen-runs en twee native Gemma-runs via de appcore voerden een berekening en een exact goedgekeurde schrijf- en leesactie uit. Onafhankelijke bestandscontroles bevestigden de gevraagde inhoud en de antwoorden bevatten die inhoud. Een aparte Gemma-weigeringstest bevestigde dat een geweigerde schrijfactie geen bestand aanmaakte.

Dit waren lokale ontwikkelcontroles op native engine 0.14.0 en 0.15.0, met de echte Qt-host en productiegateway, een verborgen venster en uitgeschakelde microfoon. Ze certificeren geen nieuwere broncode, zichtbare interface, fysieke spraakbediening of brede taakbetrouwbaarheid. De toolvertraging bij Gemma blijft aanzienlijk. Versies van de native engine staan los van desktop- en Android-releases.

ENGINE 0.32.0 / 28 OKTOBER 2026

Duidelijke bestandsvragen.
Minder dubbel werk.

Bij bepaalde expliciete bestandsvragen met het native Qwen3-Next 80B-model genereert en controleert Atlas nog steeds de toolargumenten. Is het resultaat volledig en komt het overeen met de vraag, dan kan Atlas het waargenomen toolresultaat rechtstreeks tonen in plaats van een tweede antwoord te genereren.

VERGELIJKBARE BESTANDSTAKEN / SECONDEN

Drie taken, vier vergelijkbare sessies.

Elke cel bevat twee vastgelegde pogingen.
TaakControle (s)Kandidaat (s)
Mapinhoud tonen33.54737.87515.45415.796
Bestanden zoeken25.42229.73410.54610.657
Bestand exact lezen28.87529.00011.57811.094
Twaalf vergelijkbare pogingen slaagden, in de volgorde controle, kandidaat, kandidaat, controle. Deze specifieke aanroepen duurden eerst ongeveer 25 tot 38 seconden en daarna 10 tot 16 seconden. Dit is de responstijd van deze taken, geen generatiesnelheid of algemene prestatiegarantie.

VOORBEREIDE MODELSTATUS

Compatibele voorbereiding hergebruiken.

Een geversioneerde status-ABI laat compatibele voorbereide prefixes een gewijzigde releaseversie overleven. Modelinhoud, exacte prompttokens, broncode die de status opbouwt en runtime- en apparaatinstellingen bepalen nog steeds de compatibiliteit. Gewijzigde uitvoering of promptinhoud vereist een nieuwe voorbereiding.

GRENZEN ROND ACTIES

De gewone route behouden.

Rechten en toestemmingscontroles blijven bij de gedeelde Agent. Markeringen voor onvertrouwde gegevens blijven zichtbaar. Gepagineerde, begrensde, afgekorte of onduidelijke resultaten, workflows en andere modellen behouden hun gewone vervolg in plaats van deze kortere route.

Testomstandigheden en releasegrens

Dezelfde drie vragen liepen in vier echte Companion-sessies met een 32K-context, zonder denkmodus, met geïsoleerde opslag en de gewone resourcebewaking. Bestandscaching door het besturingssysteem en CPU-activiteit op de achtergrond waren niet gecontroleerd. Afzonderlijke controles op het uiteindelijke apppakket voltooiden tonen, zoeken en lezen in 15,968, 10,438 en 10,859 seconden.

Vastgelegde behoudscontroles omvatten ook toegestane en geweigerde bestandsacties, onderbreken en herstellen, andere native modellen en de beheerde terugvaloptie. Sommige controles met andere modellen gebruikten de eerste verpakte kandidaat. De uiteindelijke resultaathelper voor het 80B-model kreeg afzonderlijke app-, bestands- en Composer-controles. Dit is gedateerd en afgebakend bewijs, geen certificering van elke latere broncodewijziging of het volledige product.

De eerste voorbereiding zonder cache blijft duur en de vastgelegde opstarttijden variëren. Deze release toont geen universele opstartwinst, blijvende generatiewinst of voorsprong op llama.cpp aan.

Vastgelegd in Companion 0.19.8, met native Engine 0.32.0. De oudere vergelijking van 35B-generatie hierboven blijft een afzonderlijk ijkpunt.

Bekijk release 0.19.8

ONDERZOEK / SPRAAKUITVOERING

EXPERIMENTEEL / LOKAAL PROTOTYPE

Van spraaktokens
naar een audiosignaal.

Naast de taalruntime ontwikkel ik eigen spraakuitvoering voor Atlas, met vooraf getrainde Chatterbox Turbo-gewichten. Eigen code verwerkt nu spraaktokens, akoestische berekeningen, referentie-encoders en de omzetting naar een audiosignaal. De modelgewichten en numerieke afhankelijkheden blijven werk van hun oorspronkelijke makers.

VASTGELEGDE COMPONENT- EN WORKERCONTROLES

Native uitvoer, getoetst aan een referentie.

Het gedateerde CPU-ijkpunt slaagde voor zes controles van neurale componenten en een gecontroleerde vergelijking van het audiosignaal. Drie gegenereerde clips kwamen bij offline spraakherkenning overeen met de verwachte tekst. Latere geïsoleerde workerproeven controleerden onderbreken en herstellen. Afzonderlijke CUDA-controles vergeleken logits en akoestische uitvoer.

NOG GEEN PRODUCTACCEPTATIE

Een werkend prototype, met open werkpunten.

Deze controles bewijzen nog geen gesprek dat fysiek getest is. Gedrag met een echte microfoon en luidspreker, gelijktijdig gebruik met het actieve taalmodel, watermerken, een verspreidbaar pakket en acceptatie van de volledige huidige broncode blijven open. Dit spraakwerk staat los van het uitgebrachte taalengine-ijkpunt hierboven.

Nog niet realtime.

In één vergelijkbare workerproef duurde het genereren van 1,64 seconden audio 18,813 seconden op CPU en 22,531 seconden met CUDA. De gemeten volledige CUDA-keten was trager. Een snellere afzonderlijke tokentest bewijst geen snellere spraaksynthese.

Kwalificatie, afhankelijkheden en resterende grenzen

De CPU-vergelijking van 28 oktober bereikte vóór watermerken een signaal-foutverhouding van 99,83 dB, terwijl imports van de oorspronkelijke neurale inferentieruntimes geblokkeerd waren. NumPy en SciPy leveren numerieke basisbewerkingen. Later frontendwerk gebruikt een lokale oneMKL FFT-bewerking. De verpakking van die afhankelijkheid op andere machines is niet aangetoond. Dit is native uitvoering van vooraf getrainde gewichten, geen nieuw getraind basisspraakmodel.

Een bewaarde strenge diagnose van log-features faalde aanvankelijk. Latere frontend- en referentiecontroles slaagden op hun geselecteerde invoer, zonder de oorspronkelijke mislukking als geslaagd voor te stellen. De broncode is gewijzigd sinds het vastgelegde CPU-ijkpunt. Het latere worker- en CUDA-prototype heeft in dit bewijs geen acceptatie van de volledige gecombineerde broncode.

De workeropnames waren kwalificatie-uitvoer vóór watermerken, zonder fysieke audioweergave. Synthese van volledige zinnen en onderbreken in testfixtures bewijzen geen streaming met lage latentie, hoorbaar onderbreken, natuurlijkheid of betrouwbare dagelijkse gesprekken. Hier staat geen prototype-audio als bewijs van een uitgebrachte stem.

MIJN WERK / MET AI-CODEASSISTENTEN

Ontwerpkeuzes.
Implementatie. Bewijs.

Ik werk met AI-codeassistenten aan runtimeontwerp, implementatiekeuzes, profilering en verificatie. AI-tools genereren een aanzienlijk deel van de code. Mijn werk omvat de beperkingen bepalen, aanpakken vergelijken en resultaten controleren. De modellen en ondersteunende bibliotheken zijn en blijven werk van hun eigen makers.

DE ANDERE KANT / ATLAS COMPANION

Terug naar de
companion.

Ontdek Companion