hamster.js

The Problem

LLMs predict conversations as a linear stream of tokens without external context. While RAG attempts to guide this direction through explicit retrieval, true relevance isn't just lexical. It is often non-obvious to both the user and the agent that a past conversation or a specific article has suddenly become pertinent. The core issue is twofold: LLMs are inherently linear, and the assistant itself unintentionally pushes the conversational trajectory off course.

The Solution

We need a non-linear method to influence the conversation—one that doesn't oscillate or rely on character-stream guesswork. This acts as a navigation system, much like the human hippocampus. It monitors the overall conversational flow and maintains a broader perspective while the user and agent are locked into the immediate dialogue.

Methods

Conversational Trees

We build conversational structures modeled after Git commit histories (prefix + addition), allowing for branching and non-linear state management.

Information Content Measurement (Shannon)

We use the LLM as a user predictor to quantify information:

1. Flip the agent-user roles, remove the first message, and ask the LLM to predict its "own" reply.
2. Compare the prediction with the actual user reply to measure embedding distance.
3. Use this distance as an information or "surprise" coefficient.
4. The original first message serves as the user's semantic entry point.

Embedding Space Navigation (Newton)

We apply a physics-inspired model to navigate meaning:

1. Store embeddings of progressively longer conversation prefixes.
2. These form trajectories that naturally converge on clusters of meaning within the embedding space.
3. The search model functions via gravitational pull; dense clusters of high meaning in space and time are treated as high-importance nodes.

Rhythmic Steering

We assess conversation rhythms to find matching patterns in memory:

1. Perform a series of overlapping embeddings on the conversation text.
2. Treat the results as a time series for spectrum analysis to identify oscillations.
3. Search universal memory for other conversations with similar oscillation spectrums.
4. Track how these spectrums evolve over time to proactively guide the user.

---

hamster.js (Norsk)

Problemet

Store språkmodeller (LLM-er) forutsier samtaler som en lineær strøm av tegn uten ekstern kontekst. RAG forsøker å styre retningen med eksplisitte søk, men ekte relevans er ikke bare språklig. Det er ofte uklart for både brukeren og maskinen at en gammel samtale eller en artikkel plutselig er relevant. Hovedproblemet er at modellene er lineære, samtidig som assistenten selv dytter samtalen ut av kurs.

Løsningen

Vi trenger en ekstern metode for å styre samtaleløpet som ikke er lineær, ikke svinger ukontrollert, og som ikke bare gjetter basert på tegnrekkefølger. Dette fungerer som et navigasjonssystem, i likhet med hjernens hippocampus; noe som overvåker flyten og holder oversikten mens brukeren og assistenten er opptatt med selve praten.

Metoder

Samtaletrær

Vi bygger samtalestrukturer som ligner på historikken i Git (prefiks + tillegg). Dette gjør det mulig å håndtere forgreninger og ikke-lineære tilstander.

Måling av informasjonsinnhold (Shannon)

Vi bruker språkmodellen til å forutse brukerens reaksjon for å måle informasjon:

1. Bytt om på rollene til assistent og bruker, fjern den første meldingen og be modellen forutsi sitt "eget" svar.
2. Sammenlign dette med brukerens faktiske svar for å måle avstanden i betydning (embedding distance).
3. Bruk denne avstanden som en koeffisient for informasjon eller "overraskelse".
4. Den opprinnelige første meldingen fungerer kun som brukerens semantiske inngangspunkt.

Navigasjon i betydningsrommet (Newton)

Vi bruker en fysikk-basert modell for å navigere i dataene:

1. Lagre betydningsrepresentasjoner (embeddings) av stadig lengre deler av samtalen.
2. Disse vil danne baner som naturlig samler seg i klynger av mening.
3. Søkemodellen fungerer som tyngdekraft; tette klynger med mye mening over tid regnes som viktige punkter.

Rytmestyring

Vi analyserer samtalens rytme for å finne mønstre som matcher i minnet:

1. Utfør en serie overlappende analyser av samtaleteksten.
2. Behandle dette som en tidsserie for spektralanalyse for å finne svingninger.
3. Let etter andre samtaler i det universelle minnet som har lignende svingningsmønstre.
4. Se på hvordan disse mønstrene utvikler seg over tid for å lede brukeren i riktig retning.