https://arena.ai/leaderboard/code/webdev
https://LiveBench.ai/#/?cats=Coding
https://vulcanbench.com/leaderboard.html
Agents' Last Exam - UC Berkeley RDI
https://agents-last-exam.org/leaderboard
https://www.TBench.ai
OpenWorldEngineer (OWE-Bench)
https://www.mercor.com/apex/open-world-engineer-leaderboard/
Terminal-Bench is a benchmark for measuring agents' abilities to complete tasks using a terminal.
https://hub.harborframework.com/datasets/terminal-bench/terminal-bench/latest?tab=leaderboard
https://github.com/harbor-framework/terminal-bench
https://www.mercor.com/apex/
https://www.swebench.com
https://benchlm.ai
The score is not the task - 11factor - cheating
https://goodhartlabs.com/honeybench
Solid performance at 1/100th the price.
https://arena.ai/leaderboard/code/webdev/models/deepseek-v4.1-flash-20261017-max-wzul
MAI
https://docs.github.com/en/copilot/concepts/billing-and-usage/individuals/billing
ExploitBench
https://exploitbench.ai
https://github.com/exploitbench/exploitbench
New:
Shoutout to OpenAI for allowing me to be so absurdly transparent about, well, everything. Few companies have the balls to give early access to people like me. Even fewer do it with no strings attached. I've been accused of being an OpenAI fanboy in the past. As silly as it may sound, I think this video shows why. They listen. They learn. They improve. And most importantly: they've never once asked me to hold back. They let me share how I really feel, and they take it to heart. A lot of early access testers were unhappy with GPT-6.2 Astra. None of us were scared to say how we really felt. The "negative" wave yesterday shows two things: 1. The model kinda sucks to use (sorry, it's true) 2. OpenAI does not restrict their EA testers in any way at all Seriously. Mad respect to the team for taking this on the chin and letting us be so honest. It's not the norm, it means a lot to me. I hope y'all can take a second to appreciate it too :)
— Theo - t3.gg (@theo) November 18, 2026
GPT-6.2 Astra is an incredibly capable model. Sadly, that's not enough anymore...
https://x.com/theo/status/2123168027885900050
Benchmark

5 komentářů:
On Agents’ Last Exam, which tests multistep professional work, GPT-6.2 Astra sets a new high, scoring 5.2 points higher than GPT-6 Astra at less than a third of the cost, and 5.5 points ahead of Claude Fable 5.2 at just 5% of the cost.”
https://www.tipranks.com/news/the-fly/ai-daily-microsoft-unveils-ai-models-to-rival-openai-anthropic-thefly-news
MAI
https://www.tipranks.com/news/microsoft-msft-unleashes-seven-new-ai-models-to-challenge-openai-and-anthropic
SpaceX sold $32 billion in bonds on Thursday, November 19, 2026, at yields topping 8% to help finance Nvidia AI chips, sending SpaceX (SPCX) shares down 7.43% to $128.15 in Friday morning trading (November 20, 2026)
The $32 billion bond offering is part of a financing package exceeding $40 billion (including bank loans) tied to roughly $47.3 billion of Nvidia graphics processing units (GPUs)—including Vera Rubin chips—that SpaceX will lease for about five years
• Colossus 1 (Memphis, Tennessee):
Provozuje 230 000 GPU v kombinaci starší i novější architektury
- konkrétně 150 000 čipů Nvidia Hopper100, 50 000 čipů H200 a 30 000 čipů GB200.
• Colossus 2 (Memphis / Southaven):
Koncem září 2026 měl v provozu 550 000 GPU (110 000 čipů Nvidia GB200 a 440 000 čipů GB300),
přičemž SpaceX od října zapojuje zhruba 200 000 nových čipů GB300 měsíčně, aby do konce roku 2026 dosáhla celkové kapacity až 1,2–1,44 milionu GPU
Pronájem konkurenci:
Významnou část stávajícího výkonu si pronajímají externí firmy – například společnost Anthropic má nasmlouváno zhruba 325 000 GPU a Google přibližně 110 000 GPU
How Elon Musk's AI Empire In Memphis Became A Cautionary Tale
https://www.youtube.com/watch?v=q5XP8xDcRJE
Elon Musk's SpaceXAI to add another 660,000 AI GPUs this year, nearing a total of 1.44 million in operation — firm is building 1.2-gigawatt power plant to bring systems fully online
https://www.tomshardware.com/tech-industry/data-centers/elon-musks-spacexai-to-add-another-660-000-ai-gpus-this-year-nearing-a-total-of-1-44-million-in-operation-firm-is-building-1-2-gigawatt-power-plant-to-bring-systems-fully-online
MS platí horníkům za odchod a úspory utrácí za větší vrtačku.
Kanár stále dýchá. Zkontrolujte horníky.
Kanár má kašel, ne nekrolog
V březnu jsem uzavřel sloupek o varování Citrini Research o AI a bílých límečcích s nadějnou větou: Kanár je stále naživu. Díky nabídce Microsoftu je spravedlivé ptáka zkontrolovat.
Kašel je skutečný. Do září zaměstnavatelé uváděli AI v 120 136 oznámilo zrušení pracovních míst v USA, asi 21% z celkového počtu a hlavní důvod letošního roku, podle Challenger, Gray & Christmas. Obviňování počítače se stalo firemní verzí psa, který jí váš domácí úkol. Technologické společnosti oznámily 165 925 škrtů, což je o 54% více než o rok dříve. V září celá ekonomika přidala jen 29 000 pracovních míst, méně než polovina lidí, které Microsoft vyzval k odchodu v jedné nabídce.
Ale pták stále dýchá. Celkové oznámené snižování počtu pracovních míst kleslo o 39% oproti loňskému roku. A ekonomové studující čerstvé absolventy vysokých škol, skupina údajně první ve frontě na náhradu, zjistili, že jejich nezaměstnanost letos v létě nestoupal.
5 otázek, na které se můžete zeptat, zda vám šéf nabízí odkup, jako to udělal Microsoft s 60 000 zaměstnanci
Charlie Garcia
3. listopadu 2026
5 questions to ask if your boss offers you a buyout, as Microsoft did with 60,000 employees
Charlie Garcia
November 3, 2026
https://finance.yahoo.com/markets/stocks/articles/5-questions-ask-boss-offers-150400605.html
Okomentovat