30. října 2026

LLM Benchmark Coding

Benchmark for Vibe Coding



https://arena.ai/leaderboard/code/webdev


https://LiveBench.ai/#/?cats=Coding


https://vulcanbench.com/leaderboard.html


Agents' Last Exam  -  UC Berkeley RDI
https://agents-last-exam.org/leaderboard

 




https://www.TBench.ai


OpenWorldEngineer (OWE-Bench)

https://www.mercor.com/apex/open-world-engineer-leaderboard/



Terminal-Bench is a benchmark for measuring agents' abilities to complete tasks using a terminal.
https://hub.harborframework.com/datasets/terminal-bench/terminal-bench/latest?tab=leaderboard

https://github.com/harbor-framework/terminal-bench




https://www.mercor.com/apex/


https://www.swebench.com


https://benchlm.ai




The score is not the task - 11factor  -  cheating

https://goodhartlabs.com/honeybench







CinderD/TeachArena  -  HKUST and Qwen Team Alibaba - Education & Library

@misc{teacharena2026,
  title        = {TeachArena: A Benchmark for AI Tutoring Agents across Situated Tutoring,     Pedagogical Judgment, and Teaching Workflows},






Solid performance at 1/100th the price.

https://arena.ai/leaderboard/code/webdev/models/deepseek-v4.1-flash-20261017-max-wzul



MAI
https://docs.github.com/en/copilot/concepts/billing-and-usage/individuals/billing





ExploitBench


https://exploitbench.ai


https://github.com/exploitbench/exploitbench








New:



GPT-6.2 Astra is an incredibly capable model. Sadly, that's not enough anymore...
https://x.com/theo/status/2123168027885900050





Benchmark

5 komentářů:

Anonymní řekl(a)...

On Agents’ Last Exam, which tests multistep professional work, GPT-6.2 Astra sets a new high, scoring 5.2 points higher than GPT-6 Astra at less than a third of the cost, and 5.5 points ahead of Claude Fable 5.2 at just 5% of the cost.”

https://www.tipranks.com/news/the-fly/ai-daily-microsoft-unveils-ai-models-to-rival-openai-anthropic-thefly-news

MAI
https://www.tipranks.com/news/microsoft-msft-unleashes-seven-new-ai-models-to-challenge-openai-and-anthropic

Anonymní řekl(a)...

SpaceX sold $32 billion in bonds on Thursday, November 19, 2026, at yields topping 8% to help finance Nvidia AI chips, sending SpaceX (SPCX) shares down 7.43% to $128.15 in Friday morning trading (November 20, 2026)

The $32 billion bond offering is part of a financing package exceeding $40 billion (including bank loans) tied to roughly $47.3 billion of Nvidia graphics processing units (GPUs)—including Vera Rubin chips—that SpaceX will lease for about five years

l řekl(a)...

• Colossus 1 (Memphis, Tennessee):
Provozuje 230 000 GPU v kombinaci starší i novější architektury
- konkrétně 150 000 čipů Nvidia Hopper100, 50 000 čipů H200 a 30 000 čipů GB200.
• Colossus 2 (Memphis / Southaven):
Koncem září 2026 měl v provozu 550 000 GPU (110 000 čipů Nvidia GB200 a 440 000 čipů GB300),
přičemž SpaceX od října zapojuje zhruba 200 000 nových čipů GB300 měsíčně, aby do konce roku 2026 dosáhla celkové kapacity až 1,2–1,44 milionu GPU

Pronájem konkurenci:
Významnou část stávajícího výkonu si pronajímají externí firmy – například společnost Anthropic má nasmlouváno zhruba 325 000 GPU a Google přibližně 110 000 GPU

How Elon Musk's AI Empire In Memphis Became A Cautionary Tale
https://www.youtube.com/watch?v=q5XP8xDcRJE

Anonymní řekl(a)...

Elon Musk's SpaceXAI to add another 660,000 AI GPUs this year, nearing a total of 1.44 million in operation — firm is building 1.2-gigawatt power plant to bring systems fully online
https://www.tomshardware.com/tech-industry/data-centers/elon-musks-spacexai-to-add-another-660-000-ai-gpus-this-year-nearing-a-total-of-1-44-million-in-operation-firm-is-building-1-2-gigawatt-power-plant-to-bring-systems-fully-online

Anonymní řekl(a)...

MS platí horníkům za odchod a úspory utrácí za větší vrtačku.
Kanár stále dýchá. Zkontrolujte horníky.

Kanár má kašel, ne nekrolog
V březnu jsem uzavřel sloupek o varování Citrini Research o AI a bílých límečcích s nadějnou větou: Kanár je stále naživu. Díky nabídce Microsoftu je spravedlivé ptáka zkontrolovat.

Kašel je skutečný. Do září zaměstnavatelé uváděli AI v 120 136 oznámilo zrušení pracovních míst v USA, asi 21% z celkového počtu a hlavní důvod letošního roku, podle Challenger, Gray & Christmas. Obviňování počítače se stalo firemní verzí psa, který jí váš domácí úkol. Technologické společnosti oznámily 165 925 škrtů, což je o 54% více než o rok dříve. V září celá ekonomika přidala jen 29 000 pracovních míst, méně než polovina lidí, které Microsoft vyzval k odchodu v jedné nabídce.

Ale pták stále dýchá. Celkové oznámené snižování počtu pracovních míst kleslo o 39% oproti loňskému roku. A ekonomové studující čerstvé absolventy vysokých škol, skupina údajně první ve frontě na náhradu, zjistili, že jejich nezaměstnanost letos v létě nestoupal.

5 otázek, na které se můžete zeptat, zda vám šéf nabízí odkup, jako to udělal Microsoft s 60 000 zaměstnanci
Charlie Garcia
3. listopadu 2026
5 questions to ask if your boss offers you a buyout, as Microsoft did with 60,000 employees
Charlie Garcia
November 3, 2026
https://finance.yahoo.com/markets/stocks/articles/5-questions-ask-boss-offers-150400605.html