Skip to main content

Introducción a MinIO

Generator

Si estamos familiarizados con temas de la nube, seguro que nos suena el popular almacenamiento S3 de Amazon.

Amazon S3​

Pero ¿Qué es Amazon S3? Amazon S3 (Simple Storage Service) es un servicio de almacenamiento en la nube ofrecido por Amazon Web Services (AWS). Es uno de los servicios de almacenamiento en la nube más populares y ampliamente utilizados en el mundo. Permite a las empresas y desarrolladores almacenar y recuperar grandes cantidades de datos de forma segura, escalable y rentable.

Data Lakes​

Amazon S3 se relaciona estrechamente con los lagos de datos o data lakes como una de las opciones principales de almacenamiento para este tipo de arquitectura. Un data lake es un repositorio centralizado que permite almacenar todos los datos estructurados y no estructurados en su forma original a gran escala. La idea es que todos los datos de una organización se almacenen en un único lugar para su posterior análisis y procesamiento.

MinIO​

Lo que quizás no nos suena tanto es que tenemos una alternativa desde el software libre, llamada MinIO, que puede cubrir nuestras necesidades de almacenamiento, desde nuestra nube auto hospedada. Esta herramienta tiene una interfaz simple, es fácil de instalar, con compatibilidad con múltiples backends de almacenamiento y con la API de S3.

Tal y como indican en la documentación del proyecto, MinIO es una solución de almacenamiento de objetos de alto rendimiento, que proporciona una API compatible con Amazon Web Services S3 y es compatible con todas sus funcionales principales lo cual es genial ya que nos permite probar en nuestro entorno local esta poderoso almacenamiento. lo que significa que las aplicaciones y herramientas que se integran con S3 también pueden funcionar con MinIO sin necesidad de modificar el código. Es como tener Amazon S3 en tu propio entorno.

Como Funciona​

MinIO está diseñado para implementarse en cualquier lugar, esto es, nube pública o privada, infraestructura física, entornos orquestados, entre otros. El producto es ideal, de hecho, está pensado especialmente para ello, para plataformas con Kubernetes.

MinIO funciona almacenando datos en forma de objetos en buckets, permitiendo acceso a través de solicitudes HTTP compatibles con S3. Su arquitectura distribuida permite escalar horizontalmente para manejar grandes volúmenes de datos, ofreciendo alta disponibilidad y tolerancia a fallas. MinIO proporciona características de seguridad robustas, como cifrado en reposo y en tránsito, control de acceso basado en políticas y autenticación de clientes.

MinIO, de hecho, lo usamos en nuestra plataforma y proyectos para el almacenamiento de los backups de datos tanto en Kubernetes como en docker-compose; pero esto lo veremos más adelante.

MinIO en Mini-Data-Platform​

Integrar MinIO en Mini-Data-Platform nos permite utilizarlo como un componente central para almacenar, procesar y acceder a grandes volúmenes de datos. Aquí hay algunas formas comunes como usaremos MinIO en los diferenetes proyectos:

  1. Almacenamiento centralizado: MinIO puede servir como el almacenamiento centralizado, donde todos los datos los organizaremos y los almacenaremos en forma de objetos en buckets de MinIO. Esto permite una gestión unificada de datos y un acceso rápido y eficiente a través de la API de S3.

  2. Procesamiento de datos: Los datos almacenados en MinIO pueden ser procesados directamente en el lugar utilizando herramientas como Apache Spark, Apache Flink o Presto. Estas herramientas pueden acceder a los datos en MinIO utilizando conectores S3 y ejecutar consultas, análisis y procesamiento distribuido sobre ellos sin necesidad de mover los datos a otro sistema.

  3. Análisis de datos: MinIO puede integrarse con herramientas de análisis de datos como Apache Hive, Apache Hadoop, o herramientas de análisis de datos en tiempo real como Apache Kafka o Apache Pulsar. Estas herramientas pueden acceder a los datos en MinIO para realizar consultas complejas, generación de informes, análisis de tendencias y más.

  4. Machine Learning y AI: Los datos almacenados en MinIO pueden utilizarse como fuente de datos para entrenar modelos de machine learning y realizar análisis de inteligencia artificial. Herramientas como TensorFlow, PyTorch o Apache MXNet pueden acceder a los datos en MinIO para el entrenamiento de modelos y la inferencia.

  5. Streaming de datos: MinIO puede utilizarse como destino para el almacenamiento de datos en tiempo real generados por sistemas de streaming como Apache Kafka, Apache Flink, o Amazon Kinesis. Los datos se pueden escribir directamente en MinIO para su posterior análisis y procesamiento.

MinIO esta integrado en Mini-Data-Platform de varias maneras para proporcionar almacenamiento, acceso rápido a datos y soporte para una amplia gama de aplicaciones de análisis, procesamiento y machine learning. Su compatibilidad con el API de Amazon S3 lo vuelve mas genial ya que nos permite tener nuestro propio Amazon S3 en nuestro entorno local.