CAISI Signs National Security Testing Agreements with Major AI Companies: The U.S. AI Safety Institute signed formal agreements with Google DeepMind, Microsoft, and xAI to conduct national security-focused testing of frontier AI systems before deployment, as part of ongoing government oversight expansion that also includes White House orders reportedly halting AI model access expansion and consideration of requiring government permission for releasing highly capable AI models. This matters because it establishes comprehensive government oversight mechanisms for advanced AI capabilities that could fundamentally reshape how frontier AI development and deployment operates.

Model Spec Midtraining Breakthrough Enables Fine-Grained Alignment Control: New research demonstrates that training models on their intended behavior specifications between pre-training and fine-tuning allows precise control over how alignment generalizes, with identically fine-tuned models developing different values based on their midtraining specifications. This matters because it provides a concrete method for reducing agentic misalignment and controlling AI system values, addressing a fundamental challenge in AI alignment where current approaches often fail to generalize appropriately.

AgentTrust Runtime Safety Framework Released for Production AI Agents: New research introduces a critical safety framework for AI agents that execute real-world actions through tool calls, providing runtime monitoring and interception capabilities to prevent unsafe actions like accidental deletion, credential exposure, or data exfiltration through semantic understanding of agent intentions. This matters because it addresses a crucial gap in AI agent safety where existing defenses either operate post-hoc or fail to understand the semantic intent of agent actions in production environments.

Section Summaries

Research Papers: Coverage includes eleven papers addressing critical safety challenges including AgentTrust runtime safety evaluation for AI agents, first token confidence methods for hallucination detection, attention divergence signals for detecting unreliable outputs, dynamical system approaches to black-box hallucination detection, activation steering methods that fail to replicate prompt-based control, convergent-divergent routing for moral reasoning control, automated red teaming frameworks reducing assessment time, compositional vulnerability assessment in coding agents, atomic fact-checking methods for clinical AI, analysis of deskilling and addiction as overlooked AI risks, and differential scaling laws for safety versus accuracy in clinical applications.

Blogs & News: Major developments include model spec midtraining techniques for controlling alignment generalization, reports of White House orders halting AI model access expansion, [analysis of automated AI research as recursive self-improvement](https://importai.substack.com/p/import-ai-455-automa

Zvi Mowshowitz reports on White House ordering prior restraint of AI models - The White House has reportedly ordered Anthropic to halt expansion of access to their "Mythos" model and is considering a complete policy reversal toward requiring government permission before releasing highly capable AI models. This represents a dramatic shift from voluntary commitments to mandatory prior restraint that could fundamentally reshape how frontier AI development operates in the US.

New parameter decomposition breakthrough for AI interpretability - Researchers introduce Adversarial Parameter Decomposition (VPD), a significant improvement over previous techniques for understanding how language model parameters function, claiming the method is now ready for application to production-scale models. This technical advance could be crucial for understanding and controlling AI systems' internal representations and decision-making processes.

Major AI labs agree to pre-release government testing - Microsoft, Google, and xAI have signed agreements allowing the U.S. government to evaluate unreleased AI models for cybersecurity and national security risks before public launch, with CAISI reportedly having already examined over 40 models including state-of-the-art systems. This formalization of pre-deployment testing could become the new standard for responsible AI development and represents a significant expansion of government oversight capabilities.

Anthropic announces major compute expansion through SpaceX partnership - Anthropic has secured a substantial compute capacity deal with SpaceX, enabling increased usage limits for Claude Code and the Claude API as part of their scaling efforts. This partnership highlights the growing intersection between AI development and space-based infrastructure, potentially signaling new approaches to meeting the massive computational demands of frontier AI systems.

Policy & Governance

EU implements new AI regulations targeting deepfakes - The European Union has agreed to ban "nudification" applications while simultaneously simplifying AI rules to boost innovation, reflecting the ongoing balance between promoting AI development and protecting citizens from harmful applications. This dual approach of targeted prohibitions alongside regulatory streamlining could influence global approaches to AI governance.

CSET analysis highlights importance of government research funding - Georgetown CSET researchers argue in Barron's that proposed cuts to NIH funding could undermine the government research that has historically seeded entire technology industries, including the foundations of modern AI. This analysis comes at a critical time when AI capabilities increasingly depend on sustained basic research investments that may not survive purely market-driven funding models.

Anthropic Cookbook Multiagent Examples - This PR adds comprehensive Claude Managed Agents cookbooks demonstrating heterogeneous team coordination with specialized agents (web-search researcher, file-reading librarian, rules-based pricer) working together to assemble sales proposals. This matters because it provides concrete patterns for building reliable multi-agent systems with scoped toolsets and clear coordination protocols.

OpenAI Cookbook Autonomous Kubernetes Debugging - New notebook showcasing an agentic workflow for platform engineering that uses structured outputs to safely parse live infrastructure errors and generate validated Kubernetes YAML fixes. This matters because it demonstrates how to build trustworthy autonomous systems for critical infrastructure tasks where safety and validation are paramount.

NeMo Guardrails Testing Surface - Promotes internal testing utilities (FakeLLMModel and TestChat) to a public nemoguardrails.testing subpackage, enabling downstream users to test their guardrails configurations without copying internal helpers. This matters because it makes AI safety testing more accessible and standardized across the community.

QWED Verification Fail-Closed Enforcement Gaps - Tracking issue identifying multiple fail-open vulnerabilities in the QWED verification system, including reasoning verification passing without complete proof, unknown agent actions being approved, and audit logging using insecure defaults. This matters because it highlights critical gaps in AI safety verification systems that could allow unsafe behaviors to pass undetected.

Notable GitHub Releases & Tools

Agent Airlock v0.7.3 - Patch release updating Claude Agent SDK floor from 0.1.58 to 0.1.73, forwarding new duration_ms PostToolUse hook field into audit-record streams. This enables better monitoring and debugging of agent tool usage patterns.

llmoji v2.0.1 - Updates the emoji lexicon with a 9-cell PAD (Pleasure-Arousal-Dominance) grid alignment system, expanding from 48 to 50 words with mechanically derived emotional coordinate cells. This matters because it provides a structured psychological framework for emotion-aware AI systems.

vouch v0.1.0 - Initial alpha release of a Claude Code plugin for staged AI agent pipelines featuring adversary verification, atomic budgets, and tournament-gated prompt promotion across 7 slash commands. This matters because it provides a comprehensive framework for building verified and budget-controlled AI agent workflows.

Opik 2.0.23 - Latest release of the LLM evaluation and observability platform, adding environment support for tagging traces with lifecycle stages, improved UI components, and better provider model synchronization. This enables more sophisticated production monitoring and lifecycle management of AI systems.

Several significant developments in AI safety emerged this week, with a notable focus on hallucination detection methods and safety evaluation frameworks for AI agents.

AgentTrust: Runtime Safety Evaluation and Interception for AI Agent Tool Use introduces a critical safety framework for AI agents that execute real-world actions through tool calls. The system provides runtime monitoring and interception capabilities to prevent unsafe actions like accidental deletion, credential exposure, or data exfiltration. This addresses a crucial gap in AI agent safety where existing defenses either operate post-hoc or fail to understand the semantic intent of agent actions.

The First Token Knows: Single-Decode Confidence for Hallucination Detection presents an efficient approach to detect LLM hallucinations by analyzing the confidence of just the first generated token, rather than requiring multiple sampling rounds. The method shows that first-token entropy can serve as a reliable predictor of response quality across different model architectures. This could significantly reduce the computational overhead of hallucination detection in production systems.

Detecting Hallucinations in Large Language Models via Internal Attention Divergence Signals proposes using attention matrices to estimate uncertainty without external models or repeated sampling. By measuring Kullback-Leibler divergence between attention heads and uniform distributions, the method provides interpretable signals of model confidence. This white-box approach offers complementary insights to token-based methods and could help developers understand when and why models generate unreliable outputs.

Low-Cost Black-Box Detection of LLM Hallucinations via Dynamical System Prediction treats LLMs as dynamical systems, projecting responses into high-dimensional manifolds to characterize vector sequences as observable realizations. This novel perspective avoids expensive sampling-based consistency checks while maintaining model-agnostic applicability. The approach could provide a mathematically principled foundation for understanding LLM behavior patterns that lead to hallucinations.

Text Corpora as Concept Fields: Black-Box Hallucination and Novelty Measurement introduces the concept of "Concept Fields" - local drift fields estimated in sentence-embedding space to measure agreement between candidate sentences and corpus-derived expectations. The method provides corpus-attributable scores that trace back to specific training examples. This could help developers understand how models extrapolate beyond their training distribution and identify potential sources of hallucinated content.

Beyond Seeing Is Believing: On Crowdsourced Detection of Audiovisual Deepfakes examines human performance in detecting increasingly sophisticated audiovisual deepfakes through crowdsourcing experiments. The study measures consistency in distinguishing authentic from manipulated videos and accuracy in identifying manipulation types. As deepfake technology advances, understanding the limits of human detection becomes crucial for developing appropriate technical safeguards and policy responses.

Gray-Box Poisoning of Continuous Malware Ingestion Pipelines investigates poisoning attacks against continuous ML-based malware detection systems using functionality-preserving binary manipulations. The work demonstrates how adversaries with partial system knowledge can compromise detection pipelines through strategically crafted samples. This highlights vulnerabilities in production ML security systems that continuously ingest and learn from new data.

*Note: ArXiv does not publish new submissions on weeken

CAISI signe des accords de test de sécurité nationale avec les principales entreprises d'IA : L'Institut américain de sécurité de l'IA a signé des accords formels avec Google DeepMind, Microsoft et xAI pour effectuer des tests axés sur la sécurité nationale des systèmes d'IA de pointe avant le déploiement, dans le cadre de l'expansion continue de la surveillance gouvernementale qui comprend également des ordres de la Maison-Blanche qui auraient suspendu l'expansion de l'accès aux modèles d'IA et l'examen d'exiger une autorisation gouvernementale pour publier des modèles d'IA très performants. Cela est important car cela établit des mécanismes de surveillance gouvernementale complets pour les capacités d'IA avancées qui pourraient fondamentalement remodeler le fonctionnement du développement et du déploiement de l'IA de pointe.

Percée du midtraining de spécification de modèle permet un contrôle précis de l'alignment : De nouvelles recherches démontrent que l'entraînement des modèles sur leurs spécifications de comportement prévues entre le pré-entraînement et le fine-tuning permet un contrôle précis de la généralisation de l'alignment, avec des modèles fine-tunés de manière identique développant différentes valeurs basées sur leurs spécifications de midtraining. Cela est important car cela fournit une méthode concrète pour réduire le mauvais alignment agentique et contrôler les valeurs des systèmes d'IA, abordant un défi fondamental dans l'alignment de l'IA où les approches actuelles échouent souvent à se généraliser de manière appropriée.

Framework de sécurité runtime AgentTrust publié pour les agents IA de production : De nouvelles recherches introduisent un framework de sécurité critique pour les agents IA qui exécutent des actions réelles par le biais d'appels d'outils, fournissant des capacités de surveillance et d'interception runtime pour prévenir les actions dangereuses comme la suppression accidentelle, l'exposition d'identifiants ou l'exfiltration de données grâce à la compréhension sémantique des intentions des agents. Cela est important car cela aborde une lacune cruciale dans la sécurité des agents IA où les défenses existantes opèrent soit post-hoc soit échouent à comprendre l'intention sémantique des actions des agents dans les environnements de production.

Résumés des sections

Articles de recherche : La couverture comprend onze articles abordant des défis de sécurité critiques incluant l'évaluation de sécurité runtime AgentTrust pour les agents IA, les méthodes de confiance du premier token pour la détection d'hallucinations, les signaux de divergence d'attention pour détecter les sorties non fiables, les approches de systèmes dynamiques pour la détection d'hallucinations en boîte noire, les méthodes de pilotage d'activation qui échouent à répliquer le contrôle basé sur les prompts, le routage convergent-divergent pour le contrôle du raisonnement moral, les frameworks de red teaming automatisés réduisant le temps d'évaluation, l'évaluation compositionnelle de vulnérabilités dans les agents de codage, les méthodes de vérification de faits atomiques pour l'IA clinique, [l'analyse de la déqualification et de la dépendance comme risques d'IA négligés](https://arxiv.org/abs/2

Zvi Mowshowitz rapporte que la Maison-Blanche ordonne une restriction préalable des modèles d'IA - La Maison-Blanche aurait ordonné à Anthropic d'arrêter l'expansion de l'accès à son modèle "Mythos" et envisage un revirement complet de politique vers l'exigence d'une autorisation gouvernementale avant la publication de modèles d'IA très performants. Ceci représente un changement radical des engagements volontaires vers une restriction préalable obligatoire qui pourrait fondamentalement remodeler le fonctionnement du développement d'IA de pointe aux États-Unis.

Nouvelle percée en décomposition de paramètres pour l'interprétabilité de l'IA - Des chercheurs introduisent la Décomposition Adversariale de Paramètres (VPD), une amélioration significative par rapport aux techniques précédentes pour comprendre le fonctionnement des paramètres de modèles de langage, affirmant que la méthode est maintenant prête pour une application aux modèles à l'échelle de production. Cette avancée technique pourrait être cruciale pour comprendre et contrôler les représentations internes et les processus de prise de décision des systèmes d'IA.

Les principaux laboratoires d'IA acceptent les tests gouvernementaux avant publication - Microsoft, Google et xAI ont signé des accords permettant au gouvernement américain d'évaluer les modèles d'IA non publiés pour les risques de cybersécurité et de sécurité nationale avant le lancement public, CAISI ayant déjà examiné plus de 40 modèles incluant des systèmes de pointe. Cette formalisation des tests pré-déploiement pourrait devenir la nouvelle norme pour le développement d'IA responsable et représente une expansion significative des capacités de surveillance gouvernementale.

Anthropic annonce une expansion majeure de calcul grâce à un partenariat avec SpaceX - Anthropic a sécurisé un accord substantiel de capacité de calcul avec SpaceX, permettant des limites d'utilisation accrues pour Claude Code et l'API Claude dans le cadre de leurs efforts de mise à l'échelle. Ce partenariat souligne l'intersection croissante entre le développement d'IA et l'infrastructure spatiale, signalant potentiellement de nouvelles approches pour répondre aux demandes computationnelles massives des systèmes d'IA de pointe.

Politique et gouvernance

L'UE met en œuvre de nouvelles réglementations d'IA ciblant les deepfakes - L'Union européenne a accepté d'interdire les applications de "nudification" tout en simplifiant simultanément les règles d'IA pour stimuler l'innovation, reflétant l'équilibre continu entre promouvoir le développement d'IA et protéger les citoyens d'applications nuisibles. Cette double approche d'interdictions ciblées parallèlement à la simplification réglementaire pourrait influencer les approches mondiales de gouvernance de l'IA.

L'analyse de CSET souligne l'importance du financement gouvernemental de la recherche - Les chercheurs de Georgetown CSET soutiennent dans Barron's que les coupes proposées au financement NIH pourraient compromettre la recherche gouvernementale qui a historiquement ensemencé des industries technologiques entières, y compris les fondements de l'IA moderne. Cette analyse arrive à un moment critique où les capacités d'IA dépendent de plus en plus d'investissements de recherche fondamentale soutenus qui pourraient ne pas survivre à des

Exemples multiagents du livre de recettes d'Anthropic - Cette PR ajoute des livres de recettes complets pour les agents gérés Claude, démontrant la coordination d'équipes hétérogènes avec des agents spécialisés (chercheur web, bibliothécaire lecteur de fichiers, tarificateur basé sur des règles) travaillant ensemble pour assembler des propositions commerciales. Ceci est important car cela fournit des modèles concrets pour construire des systèmes multiagents fiables avec des ensembles d'outils délimités et des protocoles de coordination clairs.

Débogage autonome de Kubernetes dans le livre de recettes d'OpenAI - Nouveau carnet de notes présentant un flux de travail agentique pour l'ingénierie de plateforme qui utilise des sorties structurées pour analyser en toute sécurité les erreurs d'infrastructure en direct et générer des correctifs YAML Kubernetes validés. Ceci est important car cela démontre comment construire des systèmes autonomes fiables pour des tâches d'infrastructure critiques où la sécurité et la validation sont primordiales.

Surface de test NeMo Guardrails - Promeut les utilitaires de test internes (FakeLLMModel et TestChat) vers un sous-package public nemoguardrails.testing, permettant aux utilisateurs en aval de tester leurs configurations de garde-fous sans copier les assistants internes. Ceci est important car cela rend les tests de sécurité IA plus accessibles et standardisés dans la communauté.

Failles d'application fail-closed de la vérification QWED - Ticket de suivi identifiant plusieurs vulnérabilités fail-open dans le système de vérification QWED, incluant la vérification de raisonnement qui passe sans preuve complète, les actions d'agents inconnues qui sont approuvées, et l'audit de logs utilisant des paramètres par défaut non sécurisés. Ceci est important car cela met en évidence des lacunes critiques dans les systèmes de vérification de la sécurité IA qui pourraient permettre à des comportements non sécurisés de passer inaperçus.

Sorties et outils GitHub notables

Agent Airlock v0.7.3 - Version corrective mettant à jour le plancher du SDK Claude Agent de 0.1.58 à 0.1.73, transférant le nouveau champ duration_ms du hook PostToolUse dans les flux d'enregistrements d'audit. Ceci permet un meilleur monitoring et débogage des modèles d'utilisation des outils d'agents.

llmoji v2.0.1 - Met à jour le lexique d'emojis avec un système d'alignment grille PAD (Plaisir-Éveil-Dominance) à 9 cellules, s'étendant de 48 à 50 mots avec des cellules de coordonnées émotionnelles dérivées mécaniquement. Ceci est important car cela fournit un cadre psychologique structuré pour les systèmes IA conscients des émotions.

vouch v0.1.0 - Version alpha initiale d'un plugin Claude Code pour des pipelines d'agents IA échelonnés offrant la vérification d'adversaires, des budgets atomiques, et la promotion de prompts contrôlée par tournoi à travers 7 commandes slash. Ceci est important car cela fournit un cadre complet pour construire des flux de travail d'agents IA vérifiés et contrôlés par budget.

Opik 2.0.23 - Dernière version de la plateforme d'évaluation et d'observabilité LLM, ajoutant le support d'environnements pour étiqueter les traces avec des étapes de cycle de vie, des composants d'interface utilisateur améliorés, et une meilleure synchronisation des modèles de fournisseurs. Ceci permet un monitoring de production plus sophistiqué et une gestion du cycle de vie des systèmes IA.

Plusieurs développements significatifs en sécurité de l'IA ont émergé cette semaine, avec un focus notable sur les méthodes de détection d'hallucinations et les cadres d'évaluation de sécurité pour les agents IA.

AgentTrust: Runtime Safety Evaluation and Interception for AI Agent Tool Use présente un cadre de sécurité critique pour les agents IA qui exécutent des actions dans le monde réel via des appels d'outils. Le système fournit des capacités de surveillance et d'interception en temps réel pour prévenir les actions dangereuses comme la suppression accidentelle, l'exposition d'identifiants ou l'exfiltration de données. Cela comble une lacune cruciale dans la sécurité des agents IA où les défenses existantes opèrent soit a posteriori, soit échouent à comprendre l'intention sémantique des actions de l'agent.

The First Token Knows: Single-Decode Confidence for Hallucination Detection présente une approche efficace pour détecter les hallucinations de LLM en analysant la confiance du premier token généré seulement, plutôt que de nécessiter plusieurs cycles d'échantillonnage. La méthode montre que l'entropie du premier token peut servir de prédicteur fiable de la qualité de réponse à travers différentes architectures de modèles. Cela pourrait considérablement réduire la surcharge computationnelle de la détection d'hallucinations dans les systèmes de production.

Detecting Hallucinations in Large Language Models via Internal Attention Divergence Signals propose d'utiliser les matrices d'attention pour estimer l'incertitude sans modèles externes ou échantillonnage répété. En mesurant la divergence de Kullback-Leibler entre les têtes d'attention et les distributions uniformes, la méthode fournit des signaux interprétables de confiance du modèle. Cette approche en boîte blanche offre des perspectives complémentaires aux méthodes basées sur les tokens et pourrait aider les développeurs à comprendre quand et pourquoi les modèles génèrent des sorties peu fiables.

Low-Cost Black-Box Detection of LLM Hallucinations via Dynamical System Prediction traite les LLMs comme des systèmes dynamiques, projetant les réponses dans des variétés haute-dimensionnelles pour caractériser les séquences de vecteurs comme des réalisations observables. Cette perspective novatrice évite les vérifications de cohérence coûteuses basées sur l'échantillonnage tout en maintenant une applicabilité agnostique au modèle. L'approche pourrait fournir une base mathématiquement fondée pour comprendre les motifs de comportement des LLM qui mènent aux hallucinations.

Text Corpora as Concept Fields: Black-Box Hallucination and Novelty Measurement introduit le concept de "Champs conceptuels" - des champs de dérive locaux estimés dans l'espace d'embedding de phrases pour mesurer l'accord entre les phrases candidates et les attentes dérivées du corpus. La méthode fournit des scores attribuables au corpus qui remontent à des exemples d'entraînement spécifiques. Cela pourrait aider les développeurs à comprendre comment les modèles extrapolent au-delà de leur distribution d'entraînement et à identifier les sources potentielles de contenu halluciné.

Beyond Seeing Is Believing: On Crowdsourced Detection of Audiovisual Deepfakes examine les performances humaines dans la détection de deepfakes audiovisuels de plus en plus sophistiqués via des expériences de crowdsourcing. L'étude mesure la cohérence dans la distinction entre vidéos authentiques et manipulées et la précision dans l'identification des types de manipulation. Alors que la technologie deepfake progresse, comprendre les limites de la détection humaine devient crucial pour développer des mesures de protection techniques et des réponses politiques approp