Module pipelines.rj_cor.meteorologia.precipitacao_alertario.tasks

Tasks for precipitacao_alertario

Functions

def check_to_run_dbt(dataset_id: str, table_id: str, mode: str = 'dev') ‑> bool

It will run even if its upstream tasks skip.

def download_data() ‑> pandas.core.frame.DataFrame

Request data from API and return each data in a different dataframe.

def save_data(dfr: pandas.core.frame.DataFrame, data_name: str = 'temp', wait=None) ‑> Union[str, pathlib.Path]

Salvar dfr tratados em csv para conseguir subir pro GCP

def save_data_old(dfr: pandas.core.frame.DataFrame, data_name: str = 'temp', wait=None) ‑> Union[str, pathlib.Path]

Salvar dfr tratados em csv para conseguir subir pro GCP

def save_last_dbt_update(dataset_id: str, table_id: str, mode: str = 'dev', wait=None) ‑> None

Save on dbt last timestamp where it was updated

def treat_old_pluviometer(dfr: pandas.core.frame.DataFrame, wait=None) ‑> pandas.core.frame.DataFrame

Renomeia colunas no estilo do antigo flow.

def treat_pluviometer_and_meteorological_data(dfr: pandas.core.frame.DataFrame, dataset_id: str, table_id: str, mode: str = 'dev') ‑> Tuple[pandas.core.frame.DataFrame, bool]

Renomeia colunas e filtra dados com a hora e minuto do timestamp de execução mais próximo à este