Repository navigation
Microsoft 365 global outage (Nov 12, 2026) locked users out of their vault: the new-device email blocks passkey login #7955
Unanswered
andersonlinkinfo
asked this question in
Q&A
Replies: 1 comment
|
You claim is invalid. In case of outages like this, a system administrator should flip that flag for the time being. |
0 replies
Sign up for free
to join this conversation on GitHub.
Already have an account?
Sign in to comment
Uh oh!
There was an error while loading. Please reload this page.
Uh oh!
There was an error while loading. Please reload this page.
Prerequisites
Vaultwarden Support String
Not posted publicly for privacy reasons. The relevant configuration is summarised in the Environment section of the report below, and we are happy to share the full support string with the maintainers on request.
Vaultwarden Build Version
v1.37.5 (Web Vault v2026.10.1)
Deployment method
Other method
Custom deployment method
Docker container (Debian base), configured via config.json from the admin panel.
Reverse Proxy
HAProxy (managed by our hosting provider)
Host/Server Operating System
Linux
Operating System Version
Linux x86_64, Docker container (Debian base); database PostgreSQL 16.14
Clients
Web Vault, Browser Extension
Client Version
Web Vault v2026.10.1 on Chrome 157.0.8103.51 (macOS arm64) and Firefox 158.0 (macOS aarch64); Bitwarden extension for Chrome
Steps To Reproduce
Hello maintainers and Vaultwarden community,
Context
Our company's entire operation runs on Vaultwarden. It is where our teams store and share the credentials they need to work. Our users have passkeys (WebAuthn) as their second factor, and the server sends email through Microsoft 365 (Exchange Online).
We are running version 1.37.5, with Web Vault 2026.10.1.
On November 12, 2026, Microsoft had a global Exchange Online incident, tracked in Service Health as EX1550543 (Exchange Online) and MO1550821 (broader Microsoft 365 impact). During that time, some of our users could not log in to their vault. We would like to share what happened and what we found in the code, because we believe any instance sending email through Microsoft 365 may have been affected in the same way.
This is directly related to issue #5856 and to PRs #7381 and #7680. We are opening a separate report because in our case this was not a slowdown. It was a complete loss of access, caused by a third-party outage, and we found details that are not covered there. Please feel free to merge this into #5856 if you prefer.
What happened
As soon as Outlook went down, users with passkeys started reporting that they could not log in to the vault from their browser.
The behaviour was always the same. The user entered their email and master password, the browser asked for the passkey, and they touched the fingerprint reader. The passkey dialog closed normally, but the page stayed on "Waiting for security key interaction...". After a long wait, the error "An error has occurred. Invalid verification code." appeared. Nothing was wrong with the passkey.
What confused us most was that not every browser failed. With the same user, at the same time:
At first this looked like a browser or WebAuthn problem. It was not. The next day, as soon as Microsoft restored the service, Chrome logins started working again immediately, with no change on our side.
The missing piece: that Chrome is configured to clear cookies and site data on exit, a standard security practice on our company's sysadmin machines. The Firefox install does not have that setting.
This is the screen the user saw:
What we found in the code (v1.37.5)
1. Every Chrome restart becomes a "new device".
The Web Vault stores a device identifier in the site data and sends it on login. The server looks it up and, if it is not found, creates a new device (identity.rs#L780-L796). A device counts as new while
created_at == updated_at(device.rs#L91-L93). Because this Chrome clears site data on exit, it sends a different identifier every time it is opened and is always treated as new. Firefox and the extension keep their identifier (Chrome's site-data clearing does not touch extension storage), so the server already knew them.2. For new devices, login waits for the email to be sent before responding.
After the passkey is validated,
authenticated_response()sends the "new device" email and awaits it before returning the login response (identity.rs#L510-L524):With Microsoft down, the SMTP server did not answer. The request stayed blocked until
SMTP_TIMEOUTexpired. That timeout applies to each step of the SMTP exchange, so the total wait can be much longer. In the meantime, the browser or the proxy gave up. Firefox and the extension never reached this code, because they were not new devices.3. For users who clear browser data, this applies to every login.
For them, SMTP is no longer a first-login detail; it is required for every single login. An email outage becomes a vault outage.
4. The error message points in the wrong direction.
In Web Vault 2026.10.1, any failure while submitting the second factor is caught and shown as "Invalid verification code" (two-factor-auth.component.ts#L338-L353). The user is told the passkey is wrong, when the server was only waiting on the email. This led us to investigate WebAuthn and the browser before we got to SMTP.
5. The passkey challenge is discarded before the email is attempted.
validate_webauthn_login()deletes the challenge from the database right at the start (webauthn.rs#L457-L463), and the email is attempted only afterwards. If the connection drops during the wait, a retry with the same response fails withCan't recover login challenge, and the user has to start the login over.How to reproduce
The key is that SMTP stays enabled but does not respond:
SMTP_HOST=10.255.255.1(non-routable address that drops packets); ornc -lk 2525on another machine and setSMTP_HOST=<that machine>,SMTP_PORT=2525,SMTP_SECURITY=off. The connection is accepted, but the SMTP greeting never arrives.It does not reproduce with SMTP disabled, because then the email is never attempted. It also does not reproduce with a server that rejects quickly (connection refused or an immediate auth error): with
REQUIRE_DEVICE_EMAIL=false, a fast error is only logged and the login succeeds. The problem appears when SMTP hangs, which is what happens in an outage like Microsoft's.What we expect
With
REQUIRE_DEVICE_EMAIL=false, the new-device email is only a notification. A failure or slowdown at the email provider should not block or delay access to the vault. Admins who want the blocking behaviour can keep usingREQUIRE_DEVICE_EMAIL=true.PRs #7381 and #7680 do exactly this: they send the email in the background when the option is off and keep the current behaviour when it is on. We would respectfully ask that they be considered for review. A password manager is often needed most during incidents like this one, when teams need their credentials to respond.
We are happy to test a build or a branch from either PR in our environment and report back. We can also collect logs from a reproduction if that helps.
Thank you very much to the maintainers and contributors for all the work on this project.
Environment
config.jsonfrom the admin panelsmtp-mail.outlook.com, port 587, STARTTLS);SMTP_TIMEOUT=15(default)Expected Result: with a valid passkey, the user gets into the vault, even if the new-device email cannot be sent.
Actual Result: with SMTP not responding, login from a new device hangs and ends with "Invalid verification code".
🇧🇷 Versão em português
Olá, mantenedores e comunidade do Vaultwarden,
Contexto
Toda a operação da nossa empresa roda sobre o Vaultwarden. É nele que nossas equipes guardam e compartilham as credenciais de que precisam para trabalhar. Nossos usuários usam passkey (WebAuthn) como segundo fator, e o servidor envia e-mails pela Microsoft 365 (Exchange Online).
Usamos a versão 1.37.5, com o Web Vault 2026.10.1.
Em 12 de novembro de 2026, a Microsoft teve um incidente global no Exchange Online, registrado no Service Health como EX1550543 (Exchange Online) e MO1550821 (impacto mais amplo na Microsoft 365). Durante esse período, parte dos nossos usuários ficou sem conseguir entrar no cofre. Queremos contar o que aconteceu e o que encontramos no código, porque acreditamos que qualquer instância que envia e-mail pela Microsoft 365 pode ter passado pelo mesmo problema.
O assunto tem relação direta com a issue #5856 e com os PRs #7381 e #7680. Abrimos este relato separado porque, no nosso caso, não foi lentidão: foi uma queda total de acesso, causada por uma falha de terceiros, e encontramos detalhes que não aparecem lá. Fiquem à vontade para unificar com a #5856 se preferirem.
O que aconteceu
Assim que o Outlook parou, os usuários com passkey começaram a relatar que não conseguiam entrar no cofre pelo navegador.
O comportamento era sempre o mesmo. A pessoa digitava o e-mail e a senha mestra, o navegador pedia o passkey e ela colocava o dedo no leitor. A janela do passkey fechava normalmente, mas a página ficava parada em "Aguardando interação com a chave de segurança...". Depois de muito tempo, aparecia o erro "Ocorreu um erro. Código de verificação inválido." Não havia nada de errado com o passkey.
O que mais nos confundiu foi que nem todos os navegadores falhavam. Com o mesmo usuário e no mesmo momento:
No começo isso parecia um problema de navegador ou de WebAuthn. Não era. No dia seguinte, assim que a Microsoft restabeleceu o serviço, o login pelo Chrome voltou a funcionar na mesma hora, sem nenhuma mudança da nossa parte.
A peça que faltava: o Chrome em questão está configurado para apagar cookies e dados dos sites ao fechar, uma prática de segurança padrão nas máquinas dos sysadmins da nossa empresa. O Firefox não tem essa configuração.
Esta é a tela que o usuário via:
O que encontramos no código (v1.37.5)
1. Cada abertura do Chrome vira um "dispositivo novo".
O Web Vault guarda um identificador de dispositivo nos dados do site e o envia no login. O servidor procura esse identificador e, se não encontra, cria um dispositivo novo (identity.rs#L780-L796). Um dispositivo é considerado novo enquanto
created_at == updated_at(device.rs#L91-L93). Como o Chrome apaga os dados ao fechar, ele manda um identificador diferente a cada abertura e é sempre tratado como novo. O Firefox e a extensão mantêm o identificador (a limpeza do Chrome não apaga o armazenamento das extensões), então o servidor já os conhecia.2. Para dispositivos novos, o login espera o e-mail sair antes de responder.
Depois de validar o passkey,
authenticated_response()envia o e-mail de "novo dispositivo" e aguarda o envio terminar antes de devolver a resposta do login (identity.rs#L510-L524):Com a Microsoft fora do ar, o servidor SMTP não respondia. A requisição ficava presa até estourar o
SMTP_TIMEOUT, que vale para cada etapa da conversa SMTP, então a espera total pode ser bem maior. Nesse meio tempo, o navegador ou o proxy desistia. O Firefox e a extensão não passavam por esse trecho, porque não eram dispositivos novos.3. Para quem apaga os dados do navegador, isso vale para todo login.
Para esses usuários, o SMTP deixa de ser um detalhe do primeiro acesso e passa a ser obrigatório em todos os logins. Uma queda de e-mail vira uma queda de acesso ao cofre.
4. A mensagem de erro aponta para o lugar errado.
No Web Vault 2026.10.1, qualquer falha ao enviar o segundo fator é capturada e exibida como "Código de verificação inválido" (two-factor-auth.component.ts#L338-L353). O usuário entende que o passkey está errado, quando o servidor só estava esperando o e-mail. Isso nos levou a investigar o WebAuthn e o navegador antes de chegar ao SMTP.
5. O desafio do passkey é descartado antes da tentativa de e-mail.
validate_webauthn_login()apaga o desafio do banco logo no início (webauthn.rs#L457-L463), e o e-mail só é tentado depois. Se a conexão cai durante a espera, uma nova tentativa com a mesma resposta falha comCan't recover login challenge, e o usuário precisa recomeçar o login do zero.Como reproduzir
O importante é que o SMTP continue ativo, mas não responda:
SMTP_HOST=10.255.255.1(endereço não roteável, descarta os pacotes); ounc -lk 2525em outra máquina e configureSMTP_HOST=<essa máquina>,SMTP_PORT=2525,SMTP_SECURITY=off. A conexão é aceita, mas a saudação SMTP nunca chega.Não reproduz com o SMTP desativado, porque nesse caso o e-mail nem é tentado. Também não reproduz com um servidor que recusa rápido (conexão recusada ou erro de autenticação imediato): com
REQUIRE_DEVICE_EMAIL=false, um erro rápido só vai para o log e o login passa. O problema aparece quando o SMTP trava, que é o que acontece numa queda como a da Microsoft.O que esperamos
Quando
REQUIRE_DEVICE_EMAIL=false, o e-mail de novo dispositivo é apenas um aviso. Uma falha ou lentidão do provedor de e-mail não deveria impedir nem atrasar o acesso ao cofre. Quem quer o bloqueio pode continuar usandoREQUIRE_DEVICE_EMAIL=true.Os PRs #7381 e #7680 fazem exatamente isso: enviam o e-mail em segundo plano quando a opção está desligada e mantêm o comportamento atual quando ela está ligada. Gostaríamos de pedir, com todo o respeito, que eles sejam considerados para revisão. Um gerenciador de senhas costuma ser mais necessário justamente durante incidentes como este, quando as equipes precisam das credenciais para reagir.
Podemos testar um build ou o branch de um dos PRs no nosso ambiente e trazer o resultado. Também podemos coletar logs de uma reprodução, se ajudar.
Muito obrigado aos mantenedores e colaboradores por todo o trabalho neste projeto.
Ambiente
config.jsonpelo painel adminsmtp-mail.outlook.com, porta 587, STARTTLS);SMTP_TIMEOUT=15(padrão)Resultado esperado: com o passkey válido, o usuário entra no cofre, mesmo que o e-mail de novo dispositivo não possa ser enviado.
Resultado obtido: com o SMTP sem resposta, o login de dispositivos novos fica parado e termina em "Código de verificação inválido".
Expected Result
With a valid passkey, the user gets into the vault, even if the new-device email cannot be sent (REQUIRE_DEVICE_EMAIL=false).
Actual Result
With the SMTP server not responding (Microsoft 365 outage EX1550543 / MO1550821), login from a new device hangs after the passkey and ends with "Invalid verification code". Known devices log in normally.
Logs
Screenshots or Videos
Additional Context
Related: #5856, #7381, #7680. The full report is above, in English followed by a Portuguese version.
All reactions