← 블로그로

적외선 조명 없이 Phonitor 나이트 비전이 작동하는 방식

아이폰에는 적외선 조명이 없어서 완전히 깜깜한 방에서는 Phonitor도 볼 수 없습니다. 수면등이나 복도 불빛이 있으면 화면을 밝히고 안정적으로 유지합니다. 그 방법을 설명합니다.

대부분의 보안 카메라에는 적외선 조명이 있습니다. 아이폰에는 없어서 완전히 깜깜한 방에서는 Phonitor도 볼 수 없습니다. 수면등, 복도 불빛, 커튼 너머 가로등이 있으면 화면을 밝히고 안정적으로 유지합니다.

이 글은 그 작동 방식을 설명합니다. 앱을 쓰는 데 꼭 읽을 필요는 없습니다. 홈페이지에는 “어두운 곳에서도 더 깨끗하고 안정적인 영상. 희미한 조명 아래에서도 마찬가지입니다.”라고만 적혀 있는데, 흥미로운 부분은 이 말이 실제로 무엇을 뜻하는지입니다.

여기서 말하는 “나이트 비전”이란

세 가지 일이 순서대로 일어나야 합니다.

  1. 어두워졌다는 것을 감지합니다. “사용자가 버튼을 눌렀다”가 아니라, 실시간 영상을 보고 자동으로 판단합니다.
  2. 카메라를 다시 설정합니다. 무엇보다 저조도 화질을 우선합니다. 초광각 대신 메인 렌즈를 쓰고, 최대 ISO가 높고 노출 시간이 긴 캡처 형식을 고르고, 프레임 레이트에 상한을 둡니다. 화각은 그 렌즈에서 가능한 만큼 넓게 유지합니다. 모니터링 카메라가 확대되어 있으면 쓸모가 없기 때문입니다.
  3. 깜빡이거나 애매한 조명에서도 안정을 유지합니다. 가장 어려운 건 어두울 때 좋은 화면을 얻는 일이 아닙니다. 누군가 복도 불빛 앞을 지나갈 때마다 6초 간격으로 저조도 모드를 들락거리지 않게 하는 일입니다.

각각이 시스템의 한 부분에 해당합니다.

1단계: 실시간 프레임에서 밝기 읽기

카메라에서 오는 모든 프레임은 YCbCr 형식입니다. Y 평면이 밝기이고, 풀 레인지에 픽셀당 1바이트입니다. 고마운 일입니다. “장면이 어두운가?”를 묻는 데 색 공간 계산이 필요 없습니다. 장면의 밝기는 곧 Y 평면의 평균값입니다.

그래서 실시간 프레임에 작은 처리기를 붙였습니다. 하는 일은 Y 평면을 훑어 숫자 하나를 알려 주는 것뿐입니다.

// 설명용 코드입니다. 이름은 단순화했습니다.
func averageLuma(of frame: VideoFrame) -> Float {
    let y = frame.lumaPlane          // 픽셀당 0..255
    var total: UInt64 = 0
    var samples = 0
    for row in stride(from: 0, to: frame.height, by: 8) {
        for col in stride(from: 0, to: frame.width, by: 8) {
            total += UInt64(y[row, col])
            samples += 1
        }
    }
    return Float(total) / Float(samples)   // 0..255를 반환
}

몇 가지 짚어 둘 점이 있습니다.

  • 8픽셀마다 샘플링합니다. 모든 픽셀을 읽지 않습니다. 1080p 프레임이면 64배 빨라져서 200만 번 대신 약 3만 2천 번이면 됩니다. 평균을 구하는 데는 이걸로 충분합니다.
  • 샘플링은 1초에 한 번이고, 프레임마다 하지 않습니다. 타이머가 1초에 한 번만 실행되게 합니다.
  • 이동 평균을 한 번 더 구합니다. 초당 샘플을 몇 초씩 묶어 밝기 값 하나로 내보냅니다. 시스템의 나머지 부분이 보는 신호는 이것입니다. 몇 초마다 숫자 하나입니다.

판단 로직에 필요한 입력은 이게 전부입니다.

2단계: 노이즈에 속지 않기: 히스테리시스, 잠금, 확인

이 밝기 신호로 if luma < threshold { goDark() }라고만 쓰면 사용 경험이 끔찍해집니다. 복도 불이 꺼지면 저조도 모드로 바뀌고, 누가 문을 열면 다시 돌아옵니다. 바뀔 때마다 카메라가 다시 시작되고, 보는 쪽 화면이 0.5~1초 멈춥니다. 다들 싫어합니다.

그래서 보호 장치 세 개를 겹쳐 두었습니다.

// 설명용 코드입니다.
let enterDarkBelow:  Float = 50    // 밝기 < 50: 어두운 장면
let exitDarkAbove:   Float = 130   // 밝기 > 130: 밝은 장면
let lockoutSeconds         = 15    // 전환 사이의 최소 실제 시간
let confirmSamples         = 2     // 전환 전에 필요한 연속 샘플 수

히스테리시스. 저조도 모드에 들어가는 기준은 밝기 < 50, 나오는 기준은 밝기 > 130입니다. 이 차이는 일부러 크게 두었습니다. 저조도 모드에 들어가면 카메라가 저조도 부스트를 켜고 노출을 높이기 때문에 측정되는 밝기가 올라갑니다. 두 기준이 같다면 우리가 한 보정이 효과를 내는 순간 저조도 모드에서 나오고, 보정을 되돌리면 곧바로 다시 들어가게 됩니다. 80포인트의 차이가 이걸 흡수합니다.

잠금. 다른 조건을 모두 통과해도 전환은 15초에 한 번을 넘지 못합니다. 기준 계산으로 막지 못한 경우를 위한 최후의 안전장치입니다. 갑작스러운 조명 변화, 반사처럼 잠깐 기준을 넘는 경우가 해당합니다.

확인 횟수. 새 상태 쪽의 샘플이 두 번 연속 나와야 전환합니다. 샘플 하나가 몇 초 분량의 영상이므로, 변화가 몇 초 동안 이어져야 합니다. 이건 15초 잠금과 별개입니다. 장면이 분명히 어둡거나 분명히 밝은 상태가, 깜빡임으로는 설명할 수 없을 만큼 이어질 때만 전환됩니다.

명시적인 예외가 하나 있습니다.

사용자가 손전등을 켜면 판단을 완전히 멈춘다.

그러지 않으면 어두운 방 한가운데의 밝은 빛이 평균 밝기를 나오는 기준 위로 끌어올립니다. 그러면 저조도 모드에서 나오고, 장노출 형식이 해제되고, 화면은 거의 새까매집니다.

3단계: 저조도 모드에서 실제로 바뀌는 것

여기가 실제로 일을 하는 부분입니다. 감지를 잘해도 카메라 설정을 바꿔 화면이 나아지지 않으면 소용이 없습니다.

저조도 모드로 바뀌면 AVCaptureDevice에 두 가지를 적용합니다.

// 설명용 코드입니다. 실제로는 lockForConfiguration 안에서 호출합니다.
camera.automaticallyEnablesLowLightBoostWhenAvailable = true   // 지원하는 후면 카메라만
camera.setExposureTargetBias(+1.0)                              // 한 스톱 밝게

첫 줄은 iOS 기본 저조도 부스트를 켭니다. 어두운 장면에서 센서 게인을 높이는 기능입니다. 후면 카메라에서, 지원하는 기기에서만 작동하므로 그 조건으로 확인합니다.

둘째 줄은 노출 목표 바이어스를 직접 +1.0 EV로 맞춥니다. 저조도 부스트가 이미 게인을 높여 주기 때문에, +1.0이면 화면이 눈에 띄게 밝아지면서도 밝은 부분(창문, 복도 불빛, 지나가는 차의 전조등)이 날아가지 않습니다. +1.5는 이런 부분이 날아가기 쉬운데, 장면에서 정보가 가장 많은 곳이 바로 거기인 경우가 많습니다.

저조도 모드에서는 프레임 레이트도 낮아지므로, 캡처는 새로운 AVCaptureDevice.Format으로 다시 시작됩니다. 형식을 고르는 우선순위는 이렇습니다.

  1. 최대 ISO. 첫 번째 필터입니다. 최대 ISO가 가장 높은 형식이 남습니다.
  2. 넓은 화각. ISO가 같은 형식 중에서 화각이 가장 넓은 것을 고릅니다. 모니터링 앱이니까요. 어둡고 좁은 화면은 최악의 조합입니다.
  3. 장노출. 나머지 중에서 maxExposureDuration이 가장 긴 것을 고릅니다. 어두운 곳에서 장노출은 정말 귀합니다. 저조도 모드에서 프레임 레이트를 10fps로 제한하는 이유이기도 합니다. 센서가 빛을 모으려면 시간이 필요하고, 장노출과 30fps는 함께 갈 수 없습니다.

어두울 때 fps를 낮추는 데 불만인 분도 있을 겁니다. 하지만 장노출 형식을 피하고 30fps를 지키면 화면은 더 어둡고 노이즈도 많아집니다. 베이비 모니터나 복도 카메라라면 10fps로 충분합니다. 한밤중 벌새를 라이브 방송하고 싶다면 이 앱은 맞지 않습니다.

할 수 없는 것

소프트웨어만으로 하는 나이트 비전이 할 수 있는 것과 없는 것을 솔직하게 적어 둡니다.

완전히 깜깜한 곳은 볼 수 없습니다. 적외선 조명이 없기 때문입니다. 창을 가리고 불을 끄고 달빛도 없는 정말 어두운 방이라면, Phonitor에 보이는 건 아이폰 카메라에 보이는 것뿐이고 거의 노이즈입니다.

대신 대부분의 집에 밤에도 남아 있는 빛으로 쓸 만한 화면을 만들 수 있습니다. 수면등, 커튼 너머 가로등, 켜 둔 복도 불, TV 불빛 같은 것입니다. Phonitor 나이트 비전은 이 중간 영역에 맞춰 조정되어 있습니다. 설정만 맞으면 휴대폰 카메라로도 차분하게 볼 수 있는 화면을 낼 만한 신호가 있습니다.

다시 만든다면

처음부터 다시 만든다면 바꾸고 싶은 것이 몇 가지 있습니다.

  • Y뿐 아니라 U-V 평면도 쓰기. 지금은 밝기가 유일한 신호입니다. 색 정보가 있으면 “어두움”과 “주황색 가로등”(빨강 신호는 강하지만 전체 밝기는 낮음)을 구분할 수 있을지도 모릅니다. 아마 노출 방식을 달리하는 편이 좋은 장면들입니다. 아직 하지 않았습니다.
  • 장면별 머신러닝. 작은 Core ML 모델이면 “밤의 아기 방”, “어두운 거실”, “해 질 녘의 방”을 구분해서 각각에 맞는 형식과 바이어스를 고를 수 있을지도 모릅니다. 이것도 아직 만들지 않았습니다.
  • 한계를 솔직하게 알려 주기. 정말 어두운 방에서 노이즈 가득한 화면을 보고, 그게 소프트웨어 버그가 아니라 하드웨어의 한계라는 걸 모르는 분들이 있습니다. 앱 안에서 더 분명히 알려야 할 것 같습니다.

실제로 보이는 것

Phonitor를 베이비 모니터나 복도 카메라로 써 보셨다면, 여기 적은 내용을 볼 일은 없었을 겁니다. 불이 꺼지면 화면이 조금 밝아지고, 누가 불빛 앞을 지나가도 깜빡이지 않습니다. 쓰는 쪽에서 보면 그게 전부입니다.


Phonitor는 남는 아이폰, 아이패드, Mac을 홈캠으로 바꿔 주는 앱입니다. App Store에서 무료로 받기. 처음이라면 공기계 아이폰을 홈캠으로 쓰는 방법부터 보세요.