Loop Engineering: The Karpathy Method - and the workflow that just made it 5x better
Andrej Karpathy autoresearch
https://github.com/karpathy/autoresearch
Bilevel Autoresearch: Meta-Autoresearching Itself
Who knew early singularity could be this fun? :)
I just confirmed that the improvements autoresearch found over the last 2 days of (~650) experiments on depth 12 model transfer well to depth 24 so nanochat is about to get a new leaderboard entry for “time to GPT-2” too. Works 🤷♂️
https://x.com/karpathy/status/2030777122223173639
How I Built a Skill That Makes All My Other Skills Better (Using Karpathy's Autoresearch)
I had 20+ skills running my newsletter. The Karpathy Loop showed me most of them were operating at half their potential.
I Turned Andrej Karpathy’s Autoresearch Into a Universal Skill
TheGreenCedar / codex-autoresearch
A codex plugin for running optimization loops inside a codebase. It is useful when you have a measurable target and many possible changes to try: test runtime, build speed, bundle size, model loss, Lighthouse scores, memory use, query latency, or any other metric you can print from a script.
https://github.com/TheGreenCedar/codex-autoresearch
leo-lilinxiao / codex-autoresearch
Codex Autoresearch Skill — A self-directed iterative system for Codex that continuously cycles through: modify, verify, retain or discard, and repeat indefinitely. Inspired by Karpathy’s autoresearch concept.
https://github.com/leo-lilinxiao/codex-autoresearch
ResearcherSkill
Cursor/Claude/Codex současně: ResearcherSkill
Desítky paralelních experimentů: evo.
https://github.com/evo-hq/evo
Správné zapojení do workflow
Záměr a akceptační kritéria
↓
běžný agent vytvoří funkci
↓
autoresearch optimalizuje pouze měřitelnou vlastnost
↓
testy a guardy odmítnou regrese
↓
člověk zkontroluje nejlepší diff
Jak nastavit měřitelné metriky
Cíl: Co přesně zlepšujeme?
Baseline: Aktuální hodnota.
Primární metrika: Jedno číslo a směr.
Cíl: Hodnota, které chceme dosáhnout.
Benchmark: Jeden opakovatelný příkaz.
Guardy: Co se nesmí zhoršit.
Scope: Které soubory lze měnit.
Rozpočet: Počet pokusů / čas / náklady.
Stop: Cíl dosažen nebo N pokusů bez zlepšení.
Např:
Cíl: Zrychlit import CSV.
Baseline: p95 = 4,8 s.
Metrika: p95 v ms, nižší je lepší.
Cíl: ≤ 3,0 s.
Benchmark: npm run benchmark:csv
Guardy: 100 % testů; shoda výstupu; RAM ≤ 600 MB.
Scope: src/import/**.
Rozpočet: 12 pokusů.
Stop: 4 pokusy bez statisticky významného zlepšení.
Nejdůležitější pravidlo:
jedna optimalizovaná metrika + několik nepřekročitelných guardů. Jinak agent metriku „zlepší“ například vypnutím části práce nebo snížením správnosti. Evo na toto riziko výslovně upozorňuje.
https://x.com/pesvklobouku/status/2075228900544655609
