HispaWiki

Herramientas de usuario

Herramientas del sitio

Traza: • monitor_de_clima_sqlite • captador_de_datos_a_sqlite
captador_de_datos_a_sqlite

¡Esta es una revisión vieja del documento!

Captador de datos a SQLite

Descripción General del Sistema

Programa escrito en Free Pascal orientado a la captura automatizada de datos meteorológicos publicados por un bot en una instancia de Mastodon. Su función principal es consultar la red social mediante su API REST, extraer el contenido HTML del último estado publicado, limpiar las etiquetas, procesar los valores numéricos de temperatura, presión y humedad utilizando expresiones regulares, convertir la marca temporal UTC a hora local y grabar la información en una base de datos local SQLite si se trata de un nuevo registro.

Requisitos y Dependencias

  • Compilador: Free Pascal Compiler (FPC) configurado en modo Object Pascal ({$mode objfpc}{$H+}).
  • Librerías del Sistema / FPC:
    • Red y Protocolos: fphttpclient, opensslsockets
    • Procesamiento JSON: fpjson, jsonparser
    • Expresiones Regulares: RegExpr
    • Base de Datos: sqlite3conn, sqlite3dyn, sqldb
    • Utilidades Generales: SysUtils, Classes, DateUtils
  • Librería Externa: libsqlite3.so.0 (en entornos UNIX/Linux) o sqlite3.dll (en entornos Windows).
  • En entornos Linux, ejecución mediante un programador de tareas como Cron. También es posible crear un disparador como servicio en systemd que ejecute el programa a intervalos definidos.
FreePascal-Lazarus
program captadormedidasmastodon;

{$mode objfpc}{$H+}

uses
  // Soporte para UTF-8
  {$IFDEF UNIX}
    cwstring,
  {$ENDIF}
  // Soporte para Windows
  {$IFDEF WINDOWS}
    Windows,
  {$ENDIF}
  // SysUtils Siempre detrás de cwstring para evitar errores
  SysUtils,
  // Soporte de OOP
  Classes,
  // Soporte HTTP, SSL y JSON
  fphttpclient,
  opensslsockets,
  fpjson,
  jsonparser,
  // Procesado de expresiones regulares
  RegExpr,
  // Soporte SQL y SQLite
  sqlite3conn,
  sqlite3dyn,
  sqldb,
  // Soporte de fecha/hora
  DateUtils;

const
  // Constantes para leer el contenido del usuario bot (@meteo) en Mastodon
  INSTANCIA_MASTODON = 'social.hispa.net';
  USUARIO_MASTODON = 'meteo';
  USER_AGENT = 'MastodonWeatherReader/1.0 (FreePascal)';

  // Directorio para su uso en el sobremesa (testing)
  // DB_FILE = '/home/hispa/Nextcloud/Data_1/Documentos/Jorge/Programas/Pascal/captador_medidas_mastodon/clima.db';
  // Directorio para su uso en el servidor (definitivo)
  DB_FILE = '/media/Data_1/Documentos/Jorge/Programas/Pascal/captador_medidas_mastodon/clima.db';

type
  TMastodonPost = record
    Content: string;
    CreatedAt: string; // ISO 8601 UTC
  end;

  TDatosClima = record
    Temperatura: Double;
    Presion: Double;
    Humedad: Double;
  end;

{ ============================================================================ }
{ MÓDULO DE RED Y API MASTODON                                                 }
{ ============================================================================ }

// Realiza una petición GET HTTPS configurando el User-Agent
function HttpGet(const URL: string): string;
var
  Client: TFPHTTPClient = nil;
begin
  Result := '';
  try
    Client := TFPHTTPClient.Create(nil);
    Client.AddHeader('User-Agent', USER_AGENT);
    Result := Client.Get(URL);
  finally
    Client.Free;
  end;
end;

// Obtiene el ID numérico interno de un usuario de Mastodon
function ObtenerAccountId(const Instancia, Usuario: string): string;
var
  URL, Response: string;
  JsonData: TJSONData = nil;
  IdNode: TJSONData = nil;
begin
  Result := '';
  URL := Format('https://%s/api/v1/accounts/lookup?acct=%s', [Instancia, Usuario]);
  try
    Response := HttpGet(URL);
    JsonData := GetJSON(Response);
    if Assigned(JsonData) then
    begin
      IdNode := JsonData.FindPath('id');
      if Assigned(IdNode) then
        Result := IdNode.AsString;
    end;
  except
    on E: Exception do
      WriteLn('[Error HTTP/JSON] Al buscar usuario: ', E.Message);
  end;
  JsonData.Free;
end;

// Obtiene el contenido y fecha del último estado publicado por la cuenta
function ObtenerUltimoPost(const Instancia, AccountId: string; out Post: TMastodonPost): Boolean;
var
  URL, Response: string;
  JsonData: TJSONData = nil;
  JsonArray: TJSONArray;
  PostObj: TJSONObject;
begin
  Result := False;
  Post.Content := '';
  Post.CreatedAt := '';

  URL := Format('https://%s/api/v1/accounts/%s/statuses?limit=1', [Instancia, AccountId]);
  try
    Response := HttpGet(URL);
    JsonData := GetJSON(Response);
    if (JsonData is TJSONArray) and (TJSONArray(JsonData).Count > 0) then
    begin
      JsonArray := TJSONArray(JsonData);
      PostObj   := JsonArray.Objects[0];

      Post.Content   := PostObj.Get('content', '');
      Post.CreatedAt := PostObj.Get('created_at', '');
      Result := True;
    end;
  except
    on E: Exception do
      WriteLn('[Error HTTP/JSON] Al obtener publicaciones: ', E.Message);
  end;
  JsonData.Free;
end;

{ ============================================================================ }
{ MÓDULO DE TRATAMIENTO DE TEXTO Y VALORES METEOROLÓGICOS                      }
{ ============================================================================ }

// Remueve etiquetas HTML y espacios múltiples sobrantes
function LimpiarTextoHTML(const TextoHTML: string): string;
var
  Regex: TRegExpr = nil;
begin
  try
    Regex := TRegExpr.Create;
    Regex.Expression := '<[^>]+>';
    Result := Regex.Replace(TextoHTML, ' ', False);

    // Normalizar espacios múltiples a uno solo
    Regex.Expression := '\s+';
    Result := Trim(Regex.Replace(Result, ' ', False));
  finally
    Regex.Free;
  end;
end;

// Convierte fecha ISO 8601 UTC a hora local (formato YYYY-MM-DD HH:NN:SS)
function UTCaFechaLocal(const FechaUTC: string): string;
var
  DT_UTC, DT_Local: TDateTime;
begin
  try
    DT_UTC := ISO8601ToDate(FechaUTC, True);
    DT_Local := UniversalTimeToLocal(DT_UTC);
    Result := FormatDateTime('yyyy-mm-dd hh:nn:ss', DT_Local);
  except
    Result := FechaUTC;
  end;
end;

// Extrae valor numérico mediante Regex independientemente del separador (coma/punto)
function ExtraerValor(const Texto, Patron: string): Double;
var
  Regex: TRegExpr = nil;
  ValStr: string;
  FS: TFormatSettings;
begin
  Result := 0.0;

  // Configuración de formato independiente del locale
  FS := DefaultFormatSettings;
  FS.DecimalSeparator := '.';

  try
    Regex := TRegExpr.Create;
    Regex.ModifierI := True; // Insensible a mayúsculas
    Regex.Expression := Patron;

    if Regex.Exec(Texto) then
    begin
      ValStr := StringReplace(Regex.Match[1], ',', '.', [rfReplaceAll]);
      Result := StrToFloatDef(ValStr, 0.0, FS);
    end;
  finally
    Regex.Free;
  end;
end;

// Parsea las tres magnitudes principales del post
function ParsearDatosClima(const Texto: string): TDatosClima;
begin
  Result.Temperatura := ExtraerValor(Texto, '(?:temp|temperatura)[^\d]*(-?\d+(?:[\.,]\d+)?)');
  Result.Presion     := ExtraerValor(Texto, '(?:presi|barom)[^\d]*(\d+(?:[\.,]\d+)?)');
  Result.Humedad     := ExtraerValor(Texto, '(?:hum|humedad)[^\d]*(\d+(?:[\.,]\d+)?)');
end;

{ ============================================================================ }
{ MÓDULO DE BASE DE DATOS (SQLITE)                                             }
{ ============================================================================ }

// Prepara la conexión SQL asegurando el estado abierto
procedure AbrirConexion(Conn: TSQLite3Connection);
begin
  if Conn.DatabaseName = '' then
    Conn.DatabaseName := DB_FILE;
  if not Conn.Connected then
    Conn.Open;
end;

// Crea la estructura de tablas inicial
procedure InicializarBaseDatos(Conn: TSQLite3Connection; Trans: TSQLTransaction);
var
  Query: TSQLQuery = nil;
begin
  AbrirConexion(Conn);
  Trans.StartTransaction;

  try
    Query := TSQLQuery.Create(nil);
    Query.DataBase := Conn;
    Query.Transaction := Trans;
    Query.SQL.Text :=
      'CREATE TABLE IF NOT EXISTS mediciones (' +
      '  id INTEGER PRIMARY KEY AUTOINCREMENT,' +
      '  fecha TEXT NOT NULL,' +
      '  temperatura REAL,' +
      '  presion REAL,' +
      '  humedad REAL' +
      ');';
    Query.ExecSQL;
    Trans.Commit;
  except
    if Trans.Active then
      Trans.Rollback;
    Query.Free;
    raise;
  end;
  Query.Free;
end;

// Devuelve la última fecha registrada en SQLite o cadena vacía si no hay registros
function ObtenerUltimaFechaBD(Conn: TSQLite3Connection; Trans: TSQLTransaction): string;
var
  Query: TSQLQuery = nil;
begin
  Result := '';
  AbrirConexion(Conn);

  try
    Query := TSQLQuery.Create(nil);
    Query.DataBase := Conn;
    Query.Transaction := Trans;
    Query.SQL.Text := 'SELECT MAX(fecha) FROM mediciones;';
    Query.Open;

    if not Query.EOF and not Query.Fields[0].IsNull then
      Result := Query.Fields[0].AsString;
  finally
    Query.Free;
  end;
end;

// Guarda los valores parseados en la base de datos
procedure GuardarLectura(Conn: TSQLite3Connection; Trans: TSQLTransaction;
  const Fecha: string; const Datos: TDatosClima);
var
  Query: TSQLQuery = nil;
begin
  AbrirConexion(Conn);
  Trans.StartTransaction;

  try
    Query := TSQLQuery.Create(nil);
    Query.DataBase := Conn;
    Query.Transaction := Trans;
    Query.SQL.Text :=
      'INSERT INTO mediciones (fecha, temperatura, presion, humedad) ' +
      'VALUES (:fecha, :temp, :pres, :hum);';

    Query.Params.ParamByName('fecha').AsString := Fecha;
    Query.Params.ParamByName('temp').AsFloat   := Datos.Temperatura;
    Query.Params.ParamByName('pres').AsFloat   := Datos.Presion;
    Query.Params.ParamByName('hum').AsFloat    := Datos.Humedad;

    Query.ExecSQL;
    Trans.Commit;
    WriteLn('-> Nueva medida guardada con éxito.');
  except
    if Trans.Active then
      Trans.Rollback;
    Query.Free;
    raise;
  end;
  Query.Free;
end;

{ ============================================================================ }
{ BLOQUE PRINCIPAL                                                             }
{ ============================================================================ }

var
  Connection: TSQLite3Connection = nil;
  Transaction: TSQLTransaction = nil;
  AccountId, UltimaFechaBD, FechaLocal, TextoLimpio: string;
  Post: TMastodonPost;
  Clima: TDatosClima;

begin
  {$IFDEF UNIX}
    SQLiteDefaultLibrary := 'libsqlite3.so.0';
  {$ENDIF}
  {$IFDEF WINDOWS}
    SQLiteDefaultLibrary := 'sqlite3.dll';
  {$ENDIF}

  Connection := TSQLite3Connection.Create(nil);
  Transaction := TSQLTransaction.Create(nil);
  Connection.Transaction := Transaction;

  try
    WriteLn('Base de datos: ', DB_FILE);
    InicializarBaseDatos(Connection, Transaction);

    WriteLn(Format('Buscando cuenta "@%s@%s"...', [USUARIO_MASTODON, INSTANCIA_MASTODON]));
    AccountId := ObtenerAccountId(INSTANCIA_MASTODON, USUARIO_MASTODON);

    if AccountId = '' then
    begin
      WriteLn('Error: No se pudo resolver la cuenta del usuario.');
      Exit;
    end;

    WriteLn('Consultando último post...');
    if not ObtenerUltimoPost(INSTANCIA_MASTODON, AccountId, Post) then
    begin
      WriteLn('No se encontraron publicaciones.');
      Exit;
    end;

    TextoLimpio := LimpiarTextoHTML(Post.Content);
    FechaLocal  := UTCaFechaLocal(Post.CreatedAt);

    WriteLn('Fecha UTC: ', Post.CreatedAt);
    WriteLn('Fecha Local: ', FechaLocal);
    WriteLn('Contenido: ', TextoLimpio);

    UltimaFechaBD := ObtenerUltimaFechaBD(Connection, Transaction);

    if UltimaFechaBD <> '' then
      WriteLn('Última fecha registrada en BD: ', UltimaFechaBD)
    else
      WriteLn('Última fecha registrada en BD: Ninguna (BD vacía)');

    // Verificar si la fecha actual es posterior a la almacenada
    if (UltimaFechaBD = '') or (FechaLocal > UltimaFechaBD) then
    begin
      Clima := ParsearDatosClima(TextoLimpio);

      WriteLn(Format('Extraído -> Temp: %.2f °C | Presión: %.2f hPa | Humedad: %.2f%%',
        [Clima.Temperatura, Clima.Presion, Clima.Humedad]));

      GuardarLectura(Connection, Transaction, FechaLocal, Clima);
    end;

  finally
    Transaction.Free;
    Connection.Free;
  end;
end.

Estructura de Datos

  • TMastodonPost: Registro que almacena el contenido bruto del estado (Content) y su fecha de creación en formato ISO 8601 UTC (CreatedAt).
  • TDatosClima: Registro numérico con las tres variables climáticas capturadas: Temperatura, Presion y Humedad (todas de tipo Double).

Arquitectura y Módulos del Sistema

  1. Módulo de Red y API de Mastodon
    • HttpGet(URL: string): string: Realiza una petición HTTPS GET configurando una cabecera User-Agent personalizada para cumplir con los requisitos de la API.
    • ObtenerAccountId(Instancia, Usuario: string): string: Consulta el endpoint de búsqueda de cuentas (/api/v1/accounts/lookup?acct=…) para resolver el identificador numérico interno del usuario.
    • ObtenerUltimoPost(Instancia, AccountId: string; out Post: TMastodonPost): Boolean: Obtiene el listado de estados recientes del usuario (/api/v1/accounts/{id}/statuses?limit=1) y extrae el contenido y la fecha de creación del último mensaje.
  2. Módulo de Tratamiento de Texto y Valores Meteorológicos
    • LimpiarTextoHTML(TextoHTML: string): string: Elimina todas las etiquetas HTML mediante expresiones regulares y normaliza los espacios múltiples a un solo carácter.
    • UTCaFechaLocal(FechaUTC: string): string: Transforma la marca temporal ISO 8601 UTC a la hora local del sistema aplicando el huso horario correspondiente y formateándola como YYYY-MM-DD HH:NN:SS.
    • ExtraerValor(Texto, Patron: string): Double: Aplica un patrón de expresión regular independiente de mayúsculas/minúsculas para extraer un valor numérico, normalizando separadores decimales (comas y puntos) mediante un objeto TFormatSettings.
    • ParsearDatosClima(Texto: string): TDatosClima: Ejecuta de manera secuencial la extracción de temperatura, presión y humedad sobre el texto limpio del post.
  3. Módulo de Base de Datos (SQLite)
    • AbrirConexion(Conn: TSQLite3Connection): Verifica y asigna la ruta del archivo de base de datos (DB_FILE) y asegura que la conexión se encuentre abierta.
    • InicializarBaseDatos(Conn: TSQLite3Connection, Trans: TSQLTransaction): Crea la tabla relacional mediciones si esta no existe previamente en el archivo SQLite.
    • ObtenerUltimaFechaBD(Conn: TSQLite3Connection, Trans: TSQLTransaction): string: Consulta la marca temporal máxima registrada (SELECT MAX(fecha)) para determinar el estado actual de los registros.
    • GuardarLectura(Conn: TSQLite3Connection, Trans: TSQLTransaction, Fecha: string, Datos: TDatosClima): Inserta una nueva fila en la base de datos utilizando parámetros tipados para prevenir inyecciones SQL, controlando transacciones y aplicando un Rollback automático en caso de fallo.

Esquema de Base de Datos

La persistencia se realiza en una base de datos SQLite con la siguiente estructura de tabla:

  • Nombre de la tabla: mediciones
  • Campos:
    • id: INTEGER PRIMARY KEY AUTOINCREMENT (Identificador único autoincremental).
    • fecha: TEXT NOT NULL (Marca temporal local en formato YYYY-MM-DD HH:NN:SS).
    • temperatura: REAL (Valor numérico de la temperatura).
    • presion: REAL (Valor numérico de la presión barométrica).
    • humedad: REAL (Valor numérico del porcentaje de humedad).

Flujo de Ejecución Principal

  1. Configuración de Entorno: Asignación de la librería dinámica de SQLite en función de la plataforma de compilación (UNIX o WINDOWS).
  2. Conexión Inicial: Creación de los componentes de conexión y transacción, seguido de la inicialización automática de la base de datos y su estructura de tablas.
  3. Consulta en Red: Resolución del ID de la cuenta de Mastodon (@meteo@social.hispa.net) y obtención del estado más reciente.
  4. Procesamiento: Limpieza del código HTML del mensaje, conversión de la fecha UTC a hora local y consulta de la última fecha existente en la base de datos local.
  5. Evaluación y Persistencia: Si la fecha del último post es posterior a la almacenada en la base de datos (o si la base de datos está vacía), se realiza el análisis sintáctico de las variables climáticas y se inserta el nuevo registro de manera transaccional.
, , ,
Este sitio web utiliza cookies. Al utilizar el sitio web, usted acepta almacenar cookies en su computadora. También reconoce que ha leído y entendido nuestra Política de privacidad. Si no está de acuerdo abandone el sitio web.Más información
captador_de_datos_a_sqlite.1788938267.txt.gz · Última modificación: por hispa
Donate Powered by PHP Valid HTML5 Valid CSS Driven by DokuWiki