Heimdall Inteligencia es una empresa especializada en mejorar el rendimiento de las bases de datos mediante su plataforma de software. Su proxy de base de datos distribuido, conocido como Heimdall Data, proporciona a las organizaciones mayor velocidad, confiabilidad y seguridad en la generación de contenido. Con Heimdall Data, los propietarios de aplicaciones e infraestructuras pueden tener visibilidad y control sobre su entorno de SQL.
Casos de uso del software Heimdall
El proxy de base de datos Heimdall tiene varios casos de uso clave, entre ellos:
- Pooling de conexiones: Heimdall permite el pooling de conexiones desde aplicaciones sin servidor, incluido el soporte para pooling multiusuario.
- Caché automático e invalidación: Heimdall realiza el caché automático y la invalidación en la caché de su elección, como Redis.
- División de lectura/escritura: Heimdall permite la división de lectura/escritura para reducir la carga en los servidores de escritura en un clúster multinodo.
- Mejora del rendimiento de la ingestión DML: Heimdall mejora el rendimiento de la ingestión DML, especialmente en entornos de bases de datos analíticas como Pivotal Greenplum y AWS Redshift.
Compatibilidad con bases de datos y caché
Heimdall es compatible con una variedad de bases de datos, como Postgres y sus variantes compatibles (Amazon RDS, Aurora y Redshift; VMWare Greenplum, Google Cloud SQL y AlloyDB), MySQL y bases de datos compatibles con SQL Server. Para el almacenamiento en caché, Heimdall es compatible con Hazelcast y Redis.
Arquitectura de caché
Heimdall opera de manera óptima mediante un sistema de caché de dos capas. La primera capa (L1) es una caché en memoria, cuyo tamaño se controla mediante la configuración de la memoria en la configuración VDB->proxy. La segunda capa (L2) se utiliza como almacenamiento secundario y como medio de comunicación entre los proxies implementados. El usuario puede elegir cualquier motor de caché compatible para proporcionar una caché distribuida entre los nodos.
Impacto en el rendimiento
Uno de los interrogantes frecuentes al implementar Heimdall es ¿cuál es el impacto en el rendimiento?. Esta es una pregunta difícil de responder, ya que las variables pueden ser bastante complejas, como:
- Tamaño de las solicitudes, es decir, consultas de varias páginas frente a consultas simples de una tabla.
- Número de solicitudes por segundo.
- Tamaño de los resultados y número de filas.
- Si está habilitado el registro de eventos.
- Tasa de aciertos en la caché (mientras más alta, mejor).
- Número de núcleos disponibles para el procesamiento.
- Número de conexiones en uso al mismo tiempo.
- Modelo de implementación (centralizado vs. distribuido).
En un escenario altamente optimizado con 6 núcleos físicos (12 hiperprocesamiento), con una tasa de aciertos en la caché del 100% y resultados simples, Heimdall puede lograr más de 250.000 consultas por segundo, con el cliente de prueba (jmeter) ejecutándose en el mismo host y consumiendo tiempo de CPU. Sin embargo, Heimdall está diseñado para operar de forma distribuida, por lo que puede escalar razonablemente hasta cualquier nivel de rendimiento. En la mayoría de los entornos, se sugiere utilizar hasta 8 núcleos y realizar una escalabilidad adicional basada en la carga de la CPU de manera horizontal, agregando nodos adicionales. En un entorno de AWS, esto se puede hacer fácilmente mediante grupos de escalado automático para tener en cuenta los aumentos repentinos de tráfico.
Tenga en cuenta que, si bien jmeter puede usarse para evaluar el rendimiento de Heimdall, no es la herramienta adecuada para conectarse directamente a la base de datos y probar y validar el almacenamiento en caché y la división de lectura/escritura. Los clientes deben utilizar sus propias aplicaciones para generar tráfico en un entorno de prueba. En esa configuración, jmeter se puede utilizar para generar carga de aplicaciones que LUEGO desencadena el tráfico de la base de datos a través de Heimdall. El uso de aplicaciones como JMeter, DBeaver u otras herramientas similares no reflejará con precisión el comportamiento de Heimdall con otras aplicaciones, por lo que se deben evitar para este propósito como regla general.
Prerrequisitos y requisitos
Para instalar y utilizar Heimdall, se necesitará lo siguiente:
- Un inicio de sesión para la base de datos: Para aprovechar todas las capacidades, este usuario debe tener la capacidad de iniciar sesión, ejecutar una consulta de verificación de estado, acceder (o crear) un esquema/base de datos llamado heimdall y tener acceso total a este esquema o base de datos. Esto se utiliza para la verificación de estado y otras funciones, como la detección de retraso.
- Comprensión de la configuración de la aplicación: Se debe entender cómo ajustar la configuración de la aplicación y cómo cambiar la base de datos a la que apunta. Esto puede variar según la aplicación, pero algunos lugares comunes son la configuración de IIS para una aplicación .NET, un archivo JSON de configuración o un archivo PHP de configuración.
- Preferiblemente, un entorno de prueba: Es recomendable contar con un entorno de prueba antes de pasar a producción.
- Un servidor Linux o un entorno Docker: Se requiere un servidor Linux o un entorno Docker con al menos 20 GB de espacio y 4 GB de RAM.
Las versiones de Linux compatibles incluyen versiones compatibles con los proveedores de (en orden alfabético):
- Alpine
- Amazon Linux 2+
- Centos
- Debian
- Oracle
- Redhat/Fedora
- Suse
- Ubuntu
Heimdall es un programa basado en Java sin código dependiente de la arquitectura de la CPU, por lo que se puede instalar en cualquier arquitectura compatible con Linux y Java. En el caso de AWS, las instancias Graviton 2 y 3 ofrecen una relación de precio/rendimiento aproximadamente un 30-50% mejor que las VM estándar de Intel en nuestras pruebas, por lo que deberían ser la primera opción al implementar un clúster de escalado automático. No se necesitan instrucciones especiales para usar Heimdall en sistemas no basados en arquitectura Intel.
Modelos de implementación
Heimdall se puede instalar como un proxy:
Modelo de proxy: En este modelo, Heimdall se instala como un proxy de base de datos y se configura para enrutar las solicitudes a la base de datos subyacente de manera eficiente.
Alternativamente, se puede instalar como un controlador JDBC (solo para aplicaciones Java) y puede admitir otras fuentes de datos JDBC:
Modelo de controlador JDBC: En este modelo, Heimdall se instala como un controlador JDBC y se utiliza para mejorar el rendimiento de las bases de datos mediante la optimización de las consultas y la caché de resultados.
Para la mayoría de los clientes, se recomienda comenzar con una implementación simple de proxy en un solo nodo y, una vez probada, trabajar con Heimdall para admitir configuraciones más avanzadas.
En el modo de proxy, Heimdall admite configuraciones de autoscaling y de múltiples zonas. Se recomienda utilizar la plantilla de AWS CloudFormation en AWS, que solicita las diversas opciones de configuración para implementar dicha configuración. Para otros entornos, comuníquese con el soporte de Heimdall para obtener orientación sobre cómo configurar dicha configuración.
Métodos de implementación
Para instalar Heimdall, se pueden utilizar varios métodos:
- Instalador de un solo comando: Heimdall proporciona un instalador de un solo comando para versiones compatibles de Linux como un servidor único.
- VM de mercado: Se pueden adquirir VM con Heimdall preinstalado en los mercados de nube como AWS, Azure o GCP.
- Imagen de Docker: Se puede utilizar el archivo Docker para crear una imagen de Docker con Heimdall (consultar documentación).
- Controlador JDBC: Heimdall también se puede instalar como un controlador JDBC para aplicaciones Java. En este caso, se debe contactar al soporte de Heimdall para obtener asistencia.
Para obtener una descripción detallada de cada uno de los métodos de instalación, consulte la página de instalación detallada.
Tenga en cuenta que, excepto en el caso de una VM precompilada, todos los métodos de instalación, por defecto, descargarán nuestra versión más reciente de código desde nuestro sitio de distribución de archivos S3 en el momento de la instalación. Por lo tanto, al realizar la instalación, asegúrese de que los grupos de seguridad o las ACL no bloqueen esta solicitud de salida. Una vez instalado y en línea, el sistema se puede bloquear si se desea (consultar la sección de seguridad).
Además, el modelo de implementación afectará el precio. En las imágenes de los mercados de nube, la compra se basa en el tamaño de la instancia y el tiempo de uso, aunque muchos ofrecen una prueba gratuita para fines de prueba o se puede solicitar una prueba gratuita. En las instalaciones locales, el precio se establecerá directamente con Heimdall y se negociará en función del número de instancias utilizadas y el volumen, junto con el modelo de soporte necesario.
En la mayoría de los casos, se puede realizar una configuración inicial en un plazo de 30 minutos y probarla utilizando herramientas como DBeaver, SQL Server Management Studio o PGAdmin
Configuración inicial
Una vez implementado, acceda al servidor en el puerto 8087/HTTP o 8443/HTTPS. Se recomienda que todos los usuarios utilicen el asistente de configuración una vez iniciada la sesión para realizar la instalación inicial, ya que tutorial la configuración mediante una serie de preguntas y sugerencias para crear una configuración válida. Consulte las instrucciones específicas de AWS para obtener información sobre cómo configurar una función IAM para la detección automática de configuración en AWS.
Una vez configurado, la pestaña de origen de datos proporciona un botón de prueba para validar el acceso a la base de datos. Del mismo modo, en la VDB, hay una opción de prueba para enviar tráfico básico a la VDB. Nota: Al utilizar la opción de prueba VDB, se requiere acceso para crear un nuevo esquema o base de datos (llamado Heimdall) y tablas dentro de él. Si el origen de datos no está configurado con un usuario que tenga acceso para hacer esto, la opción de prueba VDB fallará, incluso si todo está configurado correctamente para el acceso de la aplicación.
Si quieres conocer otras notas parecidas a Empresa heimdall inteligencia: rendimiento mejorado de bases de datos puedes visitar la categoría Inteligencia.