Een experimentele inferentieruntime voor lokale Qwen- en Gemma-modellen, met vastgelegde 35B- en 80B-MoE-ijkpunten. GGUF inlezen, gecomprimeerde gewichten uitvoeren, geheugenbeheer, eigen CUDA-kernels en de lus die modelstatus omzet in tokens.
02 / WERKGEHEUGENGecomprimeerde expertbankenExpertgewichten blijven in het RAM
Begrensde overdracht + hergebruik
03 / UITVOERING OP DE GPUCUDA + expertcacheModel-state, attention en tokengeneratie
Vereenvoudigd 35B-uitvoeringspad op de test-pc: 64 GB werkgeheugen en een GPU met 12 GB geheugen. Het volledige model staat niet in het GPU-geheugen.
Runtime
Python · PyTorch · CUDA · GGUF
Testhardware
12 GB GPU · 64 GB werkgeheugen
Uitgebrachte ijkpunten
Engine 0.26.0 en 0.32.0
TWEE PROJECTEN / VERBONDEN VERANTWOORDELIJKHEDEN
Een companion om te gebruiken. Een engine om te bouwen.
ATLAS COMPANION
Het gesprek en de interface.
Windows- en Android-clients verbinden met de gedeelde Atlas-applicatie. Gesprek, spraak en toestemmingsknoppen maken de assistent bruikbaar. De gedeelde Agent beheert het toolbeleid en de uitvoeringsbewijzen.
Het native pad voert het model uit met PyTorch en Atlas-kernels, in plaats van die uitvoering aan llama.cpp over te laten. Het produceert tekst of voorgestelde toolaanroepen. De apart beheerde llama.cpp-runtime blijft beschikbaar als onafhankelijke terugvaloptie.
RUNTIMEARCHITECTUUR
De beperkingen bepalen de implementatie.
Een 35B-mixture-of-expertsmodel op deze pc is zowel een geheugen- en dataverplaatsingsprobleem als een rekenprobleem. De runtime moet bepalen wat resident blijft, wat wordt verplaatst en wat veilig herbruikbaar is.
01 / BESTANDSFORMAAT
De gewichten lezen.
GGUF-metadata, tensorindelingen en gecomprimeerde matrices voeden modelspecifieke uitvoeringspaden. De native backend voert Qwen en Gemma uit met PyTorch en Atlas CUDA-kernels. Modelgewichten en tokenizerhulpmiddelen komen van hun eigen uitgevers.
02 / GEHEUGEN
Residentie expliciet maken.
Het geselecteerde 35B-modelbestand is ongeveer 21,2 GB groot. Gecomprimeerde expertbanken blijven in het werkgeheugen, terwijl een begrensde GPU-cache geselecteerde experts hergebruikt. Directe overdracht vermindert stagingwerk. De afweging is aanzienlijk RAM-gebruik en overdrachtskosten, geen model dat volledig in 12 GB VRAM past.
03 / CUDA
Aan het tokenpad werken.
Eigen bewerkingen op gecomprimeerde gewichten, attention-state en CUDA-graph replay horen bij de runtime. De uitgebrachte MoE-wijziging leest gecomprimeerde experts breder uit, met behoud van de accumulatievolgorde. Bij het laden wordt de expertcache begrensd binnen de bestaande geheugenreserve.
04 / HERGEBRUIK EN HERSTEL
State controleerbaar houden.
Een aan de bron gebonden prefixcache hergebruikt stabiele systeem- en toolprompt-state. Ongeldige cache-items vallen terug op gewone voorbereiding. Model-state, annulering en ontladen hebben expliciete paden. Gegenereerde toolaanroepen blijven via de gedeelde Agent lopen voor validatie, machtigingen, toestemming en uitvoeringsbewijzen.
80B-MODELIJKPUNT / 27 OKTOBER 2026
Qwen3-Next 80B MoE
80B parameters in totaal, met ongeveer 3B actief per token. Het vastgelegde native ijkpunt gebruikt Q3_K_M-gewichten en omvat echte Companion-controles voor tekst, berekeningen en toegestane en geweigerde bestandsacties. Dit is een ijkpunt voor modeluitvoering, geen brede claim over redeneerkwaliteit.
GEHEUGENBEHEER ALS BASIS
12 GB GPU · 64 GB RAM
Het volledige 80B-model staat niet in het GPU-geheugen. Begrensde leesacties voor expertgewichten, een geleidelijk gevulde hostcache van maximaal 8 GiB met een RAM-reserve van 16 GiB en een afzonderlijke begrensde GPU-cache beheren de actieve gegevens. Laden en gegevensoverdracht blijven tijd kosten.
VASTGELEGDE RESULTATEN / 26 OKTOBER 2026
Meet de verandering. Bewaar de omstandigheden.
QWEN3.5 35B A3B / NATIVE TOKENGENERATIE
Eerder native pad → geoptimaliseerd native pad
Native controle17.37 tokens/s
Geoptimaliseerde native uitvoering26.39 tokens/s
51,9% hogere mediane tokengeneratie in deze afgebakende vergelijking. Alle gemeten vervolgtokens kwamen overeen. Sampling is inbegrepen; laden en promptverwerking zijn uitgesloten. Er was achtergrondactiviteit.Benchmarkmethode en grens van de vergelijking
Twee controles en twee gewone kandidaatsessies, elk met drie gemeten herhalingen. Elke herhaling genereerde 32 greedy tokens na een stabiele prefix van 27.804 tokens. Warmups zijn uitgesloten. Het controle- en kandidaatpaar op dezelfde bronversie gebruikte dezelfde prefixhash. Dit vergelijkt native uitvoeringsstrategieën, niet Atlas Engine met llama.cpp.
Een directe vergelijking met een goed afgestelde llama.cpp-configuratie staat nog open. Tokengeneratie, promptvoorbereiding, opstarten en volledige toolaanvragen vragen aparte metingen.
GEMMA / PROMPTVOORBEREIDING
17,225 s → 10,409 s
Een afwisselende vergelijking met 8.192 tokens op het getrainde model mat minder voorbereidingstijd, zonder verschil in de vergeleken logits en met dezelfde gecontroleerde greedy keuzes. Dit is componentvoorbereiding, geen opstarttijd van de applicatie.
DE RESTERENDE KOST
Opstarten blijft wisselen.
De vastgelegde 35B-kandidaat had ongeveer 29 seconden nodig met een voorbereide cache en ongeveer 77 seconden na voorbereiding op nieuwe broncode. Snellere tokengeneratie neemt het laden van gewichten, promptvoorbereiding en hostoverhead niet weg.
BEWIJS UIT DE APPLICATIE
Verder dan een snellere losse kernel.
De gedateerde native 0.26-campagne gebruikte echte Companion-sessies: gegenereerde berekeningen, expliciet goedgekeurde bestandsaanmaak met exact teruglezen, geweigerde schrijfacties met onafhankelijk gecontroleerde bestandsafwezigheid, annulering en herstel. Qwen 9B, Gemma en de beheerde terugvaloptie kregen aparte behoudscontroles.
Engine 0.26.0 is uitgebracht binnen Companion 0.19.2. Dit zijn vastgelegde controles van dat uitgebrachte checkpoint, geen certificering van elke latere bronwijziging of willekeurige werklast. Bredere kwaliteit, betrouwbaarheid tijdens lange sessies en fysieke spraaktests blijven open.
Vastgelegd op 23 en 24 oktober 2026: twee native Qwen-runs en twee native Gemma-runs via de appcore voerden een berekening en een exact goedgekeurde schrijf- en leesactie uit. Onafhankelijke bestandscontroles bevestigden de gevraagde inhoud en de antwoorden bevatten die inhoud. Een aparte Gemma-weigeringstest bevestigde dat een geweigerde schrijfactie geen bestand aanmaakte.
Dit waren lokale ontwikkelcontroles op native engine 0.14.0 en 0.15.0, met de echte Qt-host en productiegateway, een verborgen venster en uitgeschakelde microfoon. Ze certificeren geen nieuwere broncode, zichtbare interface, fysieke spraakbediening of brede taakbetrouwbaarheid. De toolvertraging bij Gemma blijft aanzienlijk. Versies van de native engine staan los van desktop- en Android-releases.
ENGINE 0.32.0 / 28 OKTOBER 2026
Duidelijke bestandsvragen. Minder dubbel werk.
Bij bepaalde expliciete bestandsvragen met het native Qwen3-Next 80B-model genereert en controleert Atlas nog steeds de toolargumenten. Is het resultaat volledig en komt het overeen met de vraag, dan kan Atlas het waargenomen toolresultaat rechtstreeks tonen in plaats van een tweede antwoord te genereren.
VERGELIJKBARE BESTANDSTAKEN / SECONDEN
Drie taken, vier vergelijkbare sessies.
Elke cel bevat twee vastgelegde pogingen.
Taak
Controle (s)
Kandidaat (s)
Mapinhoud tonen
33.54737.875
15.45415.796
Bestanden zoeken
25.42229.734
10.54610.657
Bestand exact lezen
28.87529.000
11.57811.094
Twaalf vergelijkbare pogingen slaagden, in de volgorde controle, kandidaat, kandidaat, controle. Deze specifieke aanroepen duurden eerst ongeveer 25 tot 38 seconden en daarna 10 tot 16 seconden. Dit is de responstijd van deze taken, geen generatiesnelheid of algemene prestatiegarantie.
VOORBEREIDE MODELSTATUS
Compatibele voorbereiding hergebruiken.
Een geversioneerde status-ABI laat compatibele voorbereide prefixes een gewijzigde releaseversie overleven. Modelinhoud, exacte prompttokens, broncode die de status opbouwt en runtime- en apparaatinstellingen bepalen nog steeds de compatibiliteit. Gewijzigde uitvoering of promptinhoud vereist een nieuwe voorbereiding.
GRENZEN ROND ACTIES
De gewone route behouden.
Rechten en toestemmingscontroles blijven bij de gedeelde Agent. Markeringen voor onvertrouwde gegevens blijven zichtbaar. Gepagineerde, begrensde, afgekorte of onduidelijke resultaten, workflows en andere modellen behouden hun gewone vervolg in plaats van deze kortere route.
Testomstandigheden en releasegrens
Dezelfde drie vragen liepen in vier echte Companion-sessies met een 32K-context, zonder denkmodus, met geïsoleerde opslag en de gewone resourcebewaking. Bestandscaching door het besturingssysteem en CPU-activiteit op de achtergrond waren niet gecontroleerd. Afzonderlijke controles op het uiteindelijke apppakket voltooiden tonen, zoeken en lezen in 15,968, 10,438 en 10,859 seconden.
Vastgelegde behoudscontroles omvatten ook toegestane en geweigerde bestandsacties, onderbreken en herstellen, andere native modellen en de beheerde terugvaloptie. Sommige controles met andere modellen gebruikten de eerste verpakte kandidaat. De uiteindelijke resultaathelper voor het 80B-model kreeg afzonderlijke app-, bestands- en Composer-controles. Dit is gedateerd en afgebakend bewijs, geen certificering van elke latere broncodewijziging of het volledige product.
De eerste voorbereiding zonder cache blijft duur en de vastgelegde opstarttijden variëren. Deze release toont geen universele opstartwinst, blijvende generatiewinst of voorsprong op llama.cpp aan.
Vastgelegd in Companion 0.19.8, met native Engine 0.32.0. De oudere vergelijking van 35B-generatie hierboven blijft een afzonderlijk ijkpunt.
Naast de taalruntime ontwikkel ik eigen spraakuitvoering voor Atlas, met vooraf getrainde Chatterbox Turbo-gewichten. Eigen code verwerkt nu spraaktokens, akoestische berekeningen, referentie-encoders en de omzetting naar een audiosignaal. De modelgewichten en numerieke afhankelijkheden blijven werk van hun oorspronkelijke makers.
VASTGELEGDE COMPONENT- EN WORKERCONTROLES
Native uitvoer, getoetst aan een referentie.
Het gedateerde CPU-ijkpunt slaagde voor zes controles van neurale componenten en een gecontroleerde vergelijking van het audiosignaal. Drie gegenereerde clips kwamen bij offline spraakherkenning overeen met de verwachte tekst. Latere geïsoleerde workerproeven controleerden onderbreken en herstellen. Afzonderlijke CUDA-controles vergeleken logits en akoestische uitvoer.
NOG GEEN PRODUCTACCEPTATIE
Een werkend prototype, met open werkpunten.
Deze controles bewijzen nog geen gesprek dat fysiek getest is. Gedrag met een echte microfoon en luidspreker, gelijktijdig gebruik met het actieve taalmodel, watermerken, een verspreidbaar pakket en acceptatie van de volledige huidige broncode blijven open. Dit spraakwerk staat los van het uitgebrachte taalengine-ijkpunt hierboven.
Nog niet realtime.
In één vergelijkbare workerproef duurde het genereren van 1,64 seconden audio 18,813 seconden op CPU en 22,531 seconden met CUDA. De gemeten volledige CUDA-keten was trager. Een snellere afzonderlijke tokentest bewijst geen snellere spraaksynthese.
Kwalificatie, afhankelijkheden en resterende grenzen
De CPU-vergelijking van 28 oktober bereikte vóór watermerken een signaal-foutverhouding van 99,83 dB, terwijl imports van de oorspronkelijke neurale inferentieruntimes geblokkeerd waren. NumPy en SciPy leveren numerieke basisbewerkingen. Later frontendwerk gebruikt een lokale oneMKL FFT-bewerking. De verpakking van die afhankelijkheid op andere machines is niet aangetoond. Dit is native uitvoering van vooraf getrainde gewichten, geen nieuw getraind basisspraakmodel.
Een bewaarde strenge diagnose van log-features faalde aanvankelijk. Latere frontend- en referentiecontroles slaagden op hun geselecteerde invoer, zonder de oorspronkelijke mislukking als geslaagd voor te stellen. De broncode is gewijzigd sinds het vastgelegde CPU-ijkpunt. Het latere worker- en CUDA-prototype heeft in dit bewijs geen acceptatie van de volledige gecombineerde broncode.
De workeropnames waren kwalificatie-uitvoer vóór watermerken, zonder fysieke audioweergave. Synthese van volledige zinnen en onderbreken in testfixtures bewijzen geen streaming met lage latentie, hoorbaar onderbreken, natuurlijkheid of betrouwbare dagelijkse gesprekken. Hier staat geen prototype-audio als bewijs van een uitgebrachte stem.
MIJN WERK / MET AI-CODEASSISTENTEN
Ontwerpkeuzes. Implementatie. Bewijs.
Ik werk met AI-codeassistenten aan runtimeontwerp, implementatiekeuzes, profilering en verificatie. AI-tools genereren een aanzienlijk deel van de code. Mijn werk omvat de beperkingen bepalen, aanpakken vergelijken en resultaten controleren. De modellen en ondersteunende bibliotheken zijn en blijven werk van hun eigen makers.