El iPhone 12 Pro y el iPad Pro tienen un nuevo sensor lidar que agrega escaneo en profundidad para obtener mejores fotos, pero el futuro apunta a las gafas AR y más. Esto es lo que puede hacer y por qué es tan asombroso.
Apple se está volviendo optimista con lidar, una tecnología que es completamente nueva para la familia iPhone 12, específicamente para el iPhone 12 Pro y iPhone 12 Pro Max. Se rumorea que lidar también aparecerá en los cuatro modelos de la línea iPhone 13 de Apple (aunque es probable que no lo veamos en el evento «Spring Loaded» de Apple el 20 de abril).
Mire de cerca uno de los nuevos modelos de iPhone 12 Pro, o el iPad Pro más reciente, y verá un pequeño punto negro cerca de las lentes de la cámara, aproximadamente del mismo tamaño que el flash. Ese es el sensor lidar, y es un nuevo tipo de detección de profundidad que podría marcar la diferencia de varias maneras interesantes.
Si Apple se sale con la suya, lidar es un término que comenzará a escuchar mucho ahora, así que analicemos lo que sabemos, para qué lo usará Apple y dónde podría ir la tecnología a continuación. Y si tienes curiosidad por saber qué hace en este momento, también pasé un tiempo práctico con la tecnología.
¿Qué significa lidar?
Lidar significa detección de luz y rango, y ha existido por un tiempo. Utiliza láseres para hacer ping a los objetos y regresar a la fuente del láser, midiendo la distancia cronometrando el viaje o vuelo del pulso de luz.
¿Cómo funciona el lidar para detectar la profundidad?
Lidar es un tipo de cámara de tiempo de vuelo. Algunos otros teléfonos inteligentes miden la profundidad con un solo pulso de luz, mientras que un teléfono inteligente con este tipo de tecnología lidar envía ondas de pulsos de luz en un aerosol de puntos infrarrojos y puede medir cada uno con su sensor, creando un campo de puntos que traza distancias. y puede «engranar» las dimensiones de un espacio y los objetos en él. Los pulsos de luz son invisibles para el ojo humano, pero se pueden ver con una cámara de visión nocturna.
¿No es como Face ID en el iPhone?
Lo es, pero con mayor alcance. La idea es la misma: la cámara TrueDepth que habilita Face ID de Apple también dispara una serie de láseres infrarrojos, pero solo puede funcionar hasta unos pocos pies de distancia. Los sensores lidar traseros del iPad Pro y el iPhone 12 Pro funcionan a una distancia de hasta 5 metros.
Lidar ya está en muchas otras tecnologías
Lidar es una tecnología que está surgiendo en todas partes. Se utiliza para vehículos autónomos o conducción asistida. Se utiliza para robótica y drones. Los cascos de realidad aumentada como los HoloLens 2 tienen tecnología similar, mapeando los espacios de las habitaciones antes de colocar en capas objetos virtuales 3D en ellos. Pero también tiene una historia bastante larga.
El antiguo accesorio Xbox de detección de profundidad de Microsoft, el Kinect, era una cámara que también tenía escaneo de profundidad por infrarrojos. De hecho, PrimeSense, la compañía que ayudó a crear la tecnología Kinect, fue adquirida por Apple en 2013. Ahora, tenemos los sensores de cámara lidar trasera y TrueDepth de escaneo facial de Apple.
La cámara del iPhone 12 Pro funciona mejor con lidar
Las cámaras de tiempo de vuelo en los teléfonos inteligentes tienden a usarse para mejorar la precisión y la velocidad del enfoque, y el iPhone 12 Pro hace lo mismo. Apple promete un mejor enfoque con poca luz, hasta seis veces más rápido en condiciones de poca luz. El sensor de profundidad LIDAR también se utiliza para mejorar los efectos del modo de retrato nocturno. Hasta ahora, tiene un impacto: lea nuestra revisión del iPhone 12 Pro Max para obtener más información.
Un mejor enfoque es una ventaja, y también existe la posibilidad de que el iPhone 12 Pro agregue más datos de fotos en 3D a las imágenes. Aunque ese elemento aún no se ha establecido, la cámara TrueDepth de detección de profundidad y frontal de Apple se ha utilizado de manera similar con las aplicaciones, y los desarrolladores externos podrían sumergirse y desarrollar algunas ideas locas. Ya está sucediendo.
También mejora enormemente la realidad aumentada.
Lidar permite que el iPhone 12 Pro inicie aplicaciones de realidad aumentada mucho más rápidamente y cree un mapa rápido de una habitación para agregar más detalles. Muchas de las actualizaciones de AR de Apple en iOS 14 aprovechan LIDAR para ocultar objetos virtuales detrás de los reales (lo que se denomina oclusión) y colocar objetos virtuales dentro de asignaciones de habitaciones más complicadas, como en una mesa o silla.
Lo he estado probando en un juego de Apple Arcade, Hot Lava, que ya usa lidar para escanear una habitación y todos sus obstáculos. Pude colocar objetos virtuales en las escaleras y hacer que las cosas se escondieran detrás de objetos de la vida real en la habitación. Espere muchas más aplicaciones de AR que comenzarán a agregar soporte lidar como este para experiencias más ricas.
Pero hay un potencial adicional más allá de eso, con una cola más larga. Muchas empresas sueñan con auriculares que combinen objetos virtuales y reales: las gafas AR, en las que Facebook, Qualcomm, Snapchat, Microsoft, Magic Leap y probablemente Apple y otros, se basarán en tener mapas 3D avanzados del mundo para capa de objetos virtuales sobre.
Esos mapas en 3D se están construyendo ahora con escáneres y equipos especiales, casi como la versión de escaneo mundial de esos autos de Google Maps. Pero existe la posibilidad de que los propios dispositivos de las personas eventualmente ayuden a reunir esa información o agregar datos adicionales sobre la marcha.
Nuevamente, los auriculares AR como Magic Leap y HoloLens ya escanean previamente su entorno antes de colocar cosas en él, y la tecnología AR equipada con lidar de Apple funciona de la misma manera. En ese sentido, el iPhone 12 Pro y el iPad Pro son como auriculares AR sin la parte del auricular … y podrían allanar el camino para que Apple eventualmente fabrique sus propias gafas.
El escaneo 3D podría ser la aplicación perfecta
Lidar se puede utilizar para acoplar objetos y habitaciones 3D y superponer imágenes fotográficas en la parte superior, una técnica llamada fotogrametría. Esa podría ser la próxima ola de tecnología de captura para usos prácticos como mejoras para el hogar o incluso redes sociales y periodismo.
La capacidad de capturar datos en 3D y compartir esa información con otros podría convertir estos teléfonos y tabletas equipados con LIDAR en herramientas de captura de contenido en 3D. Lidar también podría usarse sin el elemento de la cámara para adquirir medidas para objetos y espacios.
Ya probé algunas de las primeras aplicaciones de escaneo 3D habilitadas para LIDAR en el iPhone 12 Pro con éxito mixto (Aplicación de escáner 3D, Escáner Lidar y Record3D), pero se pueden usar para escanear objetos o trazar un mapa de habitaciones con una velocidad sorprendente.
El alcance efectivo de 16 pies del escaneo LIDAR es suficiente para llegar a la mayoría de las habitaciones de mi casa, pero en espacios exteriores más grandes se necesita más movimiento. Una vez más, la cámara TrueDepth frontal de Apple ya hace cosas similares en un rango más cercano.
Apple no es el primero en explorar tecnología como esta en un teléfono
Google tenía esta misma idea en mente cuando se creó Project Tango, una de las primeras plataformas de RA que solo estaba disponible en dos teléfonos. El conjunto de cámaras avanzadas también tenía sensores infrarrojos y podía trazar un mapa de las habitaciones, creando escaneos 3D y mapas de profundidad para AR y para medir espacios interiores.
Los teléfonos equipados con Tango de Google duraron poco y fueron reemplazados por algoritmos de visión por computadora que han realizado una detección de profundidad estimada en las cámaras sin necesitar el mismo hardware. Pero el iPhone 12 Pro de Apple parece un sucesor significativamente más avanzado, con posibilidades para ese lidar que se extienden a automóviles, auriculares AR y mucho más.