← Voltar ao blog

Como o Phonitor faz visão noturna sem infravermelho

iPhones não têm luz infravermelha, então no escuro total o Phonitor não vê nada. Com uma luz noturna ou abajur no corredor, ele clareia e estabiliza a imagem.

A maioria das câmeras de segurança tem luz infravermelha. iPhones não têm, então em um cômodo totalmente escuro o Phonitor não vê nada. Com uma luz noturna, o abajur do corredor ou a luz da rua entre as cortinas, ele clareia a imagem e a mantém estável.

Este texto explica como isso funciona. Você não precisa de nada disso para usar o app. A página inicial resume assim: “Imagem mais limpa e estável em pouca luz, mesmo sob lâmpadas fracas.” O interessante é o que essas palavras significam na prática.

O que “visão noturna” quer dizer aqui

Três coisas precisam acontecer, nesta ordem:

  1. Detectar que a cena escureceu. Não “alguém apertou um botão”, mas de forma automática, a partir do vídeo ao vivo.
  2. Reconfigurar a câmera para priorizar a qualidade em pouca luz acima de tudo. Usar a lente principal, não a ultra-angular. Escolher um formato de captura com ISO máximo mais alto e exposição mais longa. Limitar a taxa de quadros. Manter o campo de visão tão aberto quanto a lente permitir, porque uma câmera de monitoramento com zoom não serve para nada.
  3. Manter a estabilidade com luz piscando ou no limite. O mais difícil não é conseguir uma boa imagem no escuro. É não entrar e sair do modo escuro a cada seis segundos quando alguém passa na frente do abajur do corredor.

Cada item corresponde a uma parte do sistema.

Passo 1: ler a luminância dos quadros ao vivo

Cada quadro que vem da câmera está em YCbCr. O plano Y é a luminância, em faixa completa, um byte por pixel. É um presente. Para perguntar “a cena está escura?” não é preciso nenhuma conta de espaço de cor: o brilho da cena é, literalmente, o valor médio do plano Y.

Por isso, ligo aos quadros ao vivo uma pequena rotina cujo único trabalho é percorrer o plano Y e devolver um número:

// Apenas ilustrativo, com nomes simplificados.
func averageLuma(of frame: VideoFrame) -> Float {
    let y = frame.lumaPlane          // 0..255 por pixel
    var total: UInt64 = 0
    var samples = 0
    for row in stride(from: 0, to: frame.height, by: 8) {
        for col in stride(from: 0, to: frame.width, by: 8) {
            total += UInt64(y[row, col])
            samples += 1
        }
    }
    return Float(total) / Float(samples)   // devolve 0..255
}

Alguns detalhes que vale destacar:

  • Só um a cada 8 pixels é lido, não todos. Em um quadro 1080p isso é 64 vezes mais rápido, cerca de 32 mil amostras em vez de 2 milhões, e para uma média é mais do que suficiente.
  • Uma amostra por segundo, não por quadro. Um timer faz o cálculo rodar só uma vez por segundo.
  • Uma média móvel como segundo nível. As amostras de cada segundo são agrupadas em janelas de alguns segundos e viram um único valor de luminância. É esse o sinal que o resto do sistema vê: um número a cada poucos segundos.

A lógica de decisão não precisa de mais nada.

Passo 2: não cair no ruído: histerese, bloqueio, confirmação

Se você pegar esse sinal e escrever só if luma < threshold { goDark() }, o resultado é péssimo. A luz do corredor apaga e você vai para o modo escuro. Alguém abre uma porta e você volta. Cada troca reinicia a câmera, e a imagem congela de meio segundo a um segundo no aparelho em que se assiste. Todo mundo odeia isso.

Por isso há três proteções sobrepostas:

// Apenas ilustrativo.
let enterDarkBelow:  Float = 50    // luminância < 50: cena escura
let exitDarkAbove:   Float = 130   // luminância > 130: cena clara
let lockoutSeconds         = 15    // tempo real mínimo entre trocas
let confirmSamples         = 2     // amostras seguidas do novo lado

Histerese. O limite para entrar no modo escuro é luminância < 50. O limite para sair é luminância > 130. A diferença é grande de propósito. Ao entrar no modo escuro, a câmera ativa o reforço para pouca luz e aumenta a exposição, e isso eleva a luminância medida. Se os dois limites fossem iguais, sairíamos do modo escuro assim que nossas próprias correções fizessem efeito, e voltaríamos assim que elas fossem desfeitas. Os 80 pontos de diferença absorvem isso.

Bloqueio. Mesmo que todas as outras verificações passem, só pode haver uma troca a cada quinze segundos. É a proteção bruta para o que os limites não seguraram: mudanças bruscas de luz, reflexos, qualquer coisa que cruze o limite com clareza por um instante.

Confirmação. São necessárias duas médias móveis seguidas do novo lado antes de trocar. Cada uma cobre alguns segundos de vídeo, então a mudança precisa durar vários segundos, além do bloqueio de quinze segundos. A troca só acontece quando a cena ficou claramente escura, ou claramente clara, por tempo suficiente para não ser uma piscada.

Há também uma exceção explícita:

Quando alguém liga a lanterna, a avaliação para por completo.

Caso contrário, o facho de luz no meio de um cômodo escuro faria a luminância média passar do limite de saída, sairíamos do modo escuro, o formato de exposição longa seria abandonado e a imagem ficaria quase preta.

Passo 3: o que muda de verdade no modo escuro

É aqui que o trabalho acontece. Detectar só adianta se a nova configuração melhorar de verdade a imagem.

Ao passar para o modo escuro, duas coisas acontecem em AVCaptureDevice:

// Apenas ilustrativo. As chamadas reais ficam dentro de lockForConfiguration.
camera.automaticallyEnablesLowLightBoostWhenAvailable = true   // câmera traseira, quando compatível
camera.setExposureTargetBias(+1.0)                              // um ponto mais claro

A primeira linha ativa o reforço para pouca luz do próprio iOS, que aumenta o ganho do sensor em cenas escuras. Ele só funciona na câmera traseira e nos aparelhos compatíveis, então verificamos isso antes.

A segunda ajusta manualmente a compensação de exposição para +1,0 EV. Como o reforço já aumentou o ganho, +1,0 clareia bem a imagem sem estourar as áreas claras (uma janela, o abajur do corredor, os faróis de um carro que passa). Com +1,5 essas áreas estouram com facilidade, e muitas vezes é nelas que está a maior parte da informação.

O modo escuro também reduz a taxa de quadros, então a captura reinicia com um novo AVCaptureDevice.Format. A escolha segue esta ordem:

  1. ISO máximo. O primeiro filtro. Ganha o formato com o ISO disponível mais alto.
  2. Campo de visão amplo. Entre os formatos com ISO alto, prefere-se o mais amplo. Este é um app de monitoramento, e um campo estreito no escuro é a pior combinação possível.
  3. Exposição longa. Entre os que sobram, prefere-se o formato com o maxExposureDuration mais longo. Em pouca luz, exposição longa vale ouro. É também por isso que a taxa é limitada a 10 fps no modo escuro: o sensor precisa de tempo para captar luz, e exposição longa não combina com 30 fps.

Tem gente que vai reclamar de baixar o fps no escuro. Mas a alternativa, recusar os formatos de exposição longa para manter 30 fps, dá uma imagem mais escura e com mais ruído. Para uma babá eletrônica ou uma câmera no corredor, 10 fps bastam. Para transmitir ao vivo um beija-flor à meia-noite, este não é o app certo.

O que ele não faz

Vale ser honesto sobre o que uma visão noturna só por software consegue ou não fazer.

No escuro total ela não enxerga. Não há luz infravermelha. Se o cômodo está realmente escuro, com janelas cobertas, luzes apagadas e sem luar, o Phonitor vê o que a câmera do seu iPhone vê, e isso é quase só ruído.

O que ela consegue é tirar uma imagem útil da luz que ainda resta à noite na maioria das casas: uma luz noturna, a luz da rua entre as cortinas, o abajur do corredor aceso, o brilho de uma TV. A visão noturna do Phonitor é ajustada para essa zona intermediária, em que a câmera de um celular bem configurada tem sinal suficiente para dar uma imagem calma e assistível.

O que eu faria diferente

Algumas coisas que eu reveria se começasse de novo:

  • Usar também os planos U-V, não só o Y. Hoje a luminância é o único sinal. A cor poderia ajudar a distinguir “escuro” de “luz de rua bem laranja” (muito vermelho, mas pouca luminância geral), duas cenas que provavelmente pedem exposições diferentes. Ainda não fiz isso.
  • Machine learning por cena. Um modelo pequeno de Core ML poderia distinguir “quarto do bebê à noite”, “sala na penumbra” e “cômodo ao anoitecer” e escolher para cada um um formato e uma compensação melhores. Isso eu também ainda não fiz.
  • Ser honesto sobre os limites. Há quem veja uma imagem cheia de ruído em um cômodo muito escuro e não saiba que é um limite do hardware, não um bug. Eu deveria deixar isso mais claro dentro do app.

O que você vê

Se você já usou o Phonitor como babá eletrônica ou câmera no corredor, nunca viu nada disso. A imagem clareou um pouco quando a luz apagou, e não piscou quando alguém passou na frente do abajur. Para quem usa o app, a história é só essa.


O Phonitor transforma um iPhone, iPad ou Mac parado em uma câmera para casa. Grátis na App Store. Primeira vez? Comece por como transformar um iPhone antigo em câmera de segurança.