How are freedom and open or free LLMs related?
Real free LLM
Refusal vector ablation - Open weights
Necenzurované LLM a jailbreaky: Taxonomie, mechanismy, ekosystém, rizika a otevřené otázky
Syntéza okamžitých útoků, intervencí na úrovni reprezentace, ablace odmítnutí, úpravy modelu, problémů s hodnocením a důsledků pro správu a řízení.
What Is an Uncensored AI Model? Open-Source LLMs Explained
Explained: The Abliteration Technique, the Research Use, and the Line You Don't Cross
Heretic vs Abliterated LLM Models: Key Differences Explained
Uncensor any LLM with abliteration
What is an abliterated LLM?
https://abliteration.ai/abliterated-llm
https://huggingface.co/models?other=abliterated&sort=modified
Uncensored Models
www.reddit.com/r/huggingface/comments/1vg727x/uncensored_models
https://huggingface.co/llmfan46/models
RAG Evaluation
https://huggingface.co/learn/cookbook/rag_evaluation
Use these evaluations to determine the optimal models, prompts, and architecture to improve your AI quality, prevent prompt drifting, or even transition from OpenAI to Claude with confidence.
DeepEval jedná se o snadno použitelný open-source hodnotící rámec LLM pro hodnocení velkojazyčných modelových systémů
https://github.com/confident-ai/deepeval
https://github.com/topics/llm-evaluation
7 RAG benchmarks
https://www.evidentlyai.com/blog/rag-benchmarks
RAG Evaluation
https://huggingface.co/learn/cookbook/rag_evaluation
Metriky hodnocení RAG:
Posouzení relevance odpovědí, věrnosti, kontextové relevance a dalších faktorů
🔎Meta-evaluační SW programy proti podvádění LLM
MixEvalWeb: github.io
GitHub: github.com
LiveBenchWeb: livebench.ai
GitHub: github.com
Inspect AIWeb: ai-safety-institute.org.uk
GitHub: github.com
🗒 Vibe Code Bench
Web: vibench.ai
GitHub: github.com
SWE-benchWeb: swebench.com
GitHub: github.com
DeepEval
Web: confident-ai.com
https://github.com/confident-ai/deepeval
SusVibes
https://arxiv.org/abs/2512.03262
https://github.com/LeiLiLab/susvibes
BigCodeBench
Web: github.io
GitHub: github.com
DyCodeEval
Web: github.io
GitHub: github.com
BenchFlowWeb: benchflow.ai
1. LiveCodeBench
Popis: Nejlepší nástroj pro boj proti marketingovým podvodům a kontaminaci dat. Kód obsahuje automatické skripty, které stahují zcela nové kódovací úlohy ze soutěžních platforem.
V konfiguraci testu lze nastavit filtr tak, aby model dostal pouze úlohy vytvořené až po jeho datovém cutoffu, takže je nemůže znát z trénovacích dat.
Oficiální web:
https://livecodebench.github.io
GitHub repozitář:
https://github.com/livecodebench/livecodebench
2. SWE-bench (s mutacemi / SWE-bench-Live)
Popis: Zlatý standard pro testování softwarových agentů, který v nejnovějších aktualizacích kódu přidal ochranu proti podvádění.
Nové verze blokují agentům přístup k historii gitu (ze které dříve modely opisovaly hotová lidská řešení) a dynamicky přepisují zadání chyb, čímž měří skutečnou schopnost opravovat reálný kód.
Oficiální web:
https://swe-bench-live.github.io
https://huggingface.co/SWE-bench-Live
GitHub repozitář: github.com
https://github.com/microsoft/swe-bench-live
3. Inspect AI
Popis: Špičkový open-source testovací framework od britského AI Safety Institute. Má vysoce modulární kód podobný produkčním testovacím systémům.
Vyniká schopností dynamicky měnit zadání úkolů v reálném čase, čímž spolehlivě odhaluje modely, které se testy pouze naučily nazpaměť.
Oficiální web:
ai-safety-institute.org.uk
GitHub:
https://github.com/UKGovernmentBEIS/inspect_ai
The ideological orientation of academic science research ↺ ↻
Ideologické ohýbání vědy
Žádné komentáře:
Okomentovat