Logo
ChuJALT /

Portal

Últimos temas

Estadísticas del foro
  • Mensajes del foro:85
  • Temas del foro:55
  • Miembros:38
  • Último miembro:Caronte3D

  Saber nuestra IP publica. Servicio tipo no-ip o DynDNS.

Enviado por: chujalt
07-03-2021, 21:53
Foro: php
- Sin respuestas

Saludos amigos.

Si tenemos un servidor montado en casa y nuestro proveedor de internet no nos facilita una IP fija tendremos la necesidad de saber en todo momento nuestra IP pública. Vamos a montar un servicio tipo no-ip o DynDNS.

El servicio consta de dos partes, una en nuestro ordenador y por otra parte necesitaremos un servidor de internet, por ejemplo, si no tenemos un servicio de hosting, https://www.hostinger.es/ , nos ofrece de forma gratuita todo lo que necesitamos, 2 GB de almacenamiento, php y bases de datos MySQL. 



EN NUESTRO ORDENADOR

Tengo que aclarar que lo que explico a continuación lo he hecho bajo un sistema linux.

En  primer lugar crearemos un directorio en el servidor de nuestro pc, yo lo he llamado curl, la ruta sería /var/www/html/curl.

Abrimos nuestro editor de texto favorito y escribimos

Código:
#!/bin/bash
curl -d "value1=pepico" http://midominio.com/curl/index.php


Lo guardamos con el nombre 1.sh, por ejemplo, y le damos permisos de ejecución. En la última linea cambiar midominio.com por el de nuestro servidor de hosting, también, donde vemos value1=pepico. cambiamos el nombre por el que queramos.

Este script lo que hace es enviar el nombre de usuario a nuestra página index.php del servidor de hosting mediante el método post.

Ahora vamos a editar crontab para que nuestro script se ejecute cada dos horas. Abrimos un terminal y escribimos 

Código:
sudo gedit /etc/crontab


y en crontab añadimos esta línea

Código:
0 */2    * * *    root    /var/www/html/curl/1.sh


guardamos y cerramos. Como hemos dicho, ésto hará que nuestro script se ejecute cada dos horas.

Ya hemos terminado en nuestro PC, ahora iremos a nuestro servidor de hosting.



EN NUESTRO SERVIDOR DE HOSTING 

Deberemos crear una base de datos MySQL con nombre curl, con una tabla llamada datos y 4 columnas, id (int, primary key, auto_increment), nombre (varchar 50), ip (varchar 50) y fecha (timestamp, CURRENT_TIMESTAMP)

Ahora vamos a crear la página index que recogerá los datos que le hemos enviado antes por el script bash y los introducirá en nuestra base de datos. Paso previo es crear también una página conex.

conex.php

Código PHP:
<?php
// hostname o ip del servidor de Base Datos
$bd_host='localhost';
 
// nombre de usuario 
$bd_usuario='usuario';
 
// la contraseña para la BBDD  
$bd_password='contraseña';
 
// nombre del BBDD
$bd_base='curl';
$conexion = new mysqli($bd_host, $bd_usuario, $bd_password, $bd_base);
 
if ($conexion->connect_errno) 
{
    echo "No se pudo conectar a la Base Datos: (" . $mysqli->connect_errno . ") " . $mysqli->connect_error;
}
?>


index.php 

Código PHP:
<?php

include("conex.php");
if($_POST)
      {
         $queryInsert = "INSERT INTO datos (nombre, ip) VALUES ('".$_POST['value1']."', '".$_SERVER['REMOTE_ADDR']."');";
 
         $resultInsert = mysqli_query($conexion, $queryInsert); 
 
         if($resultInsert)
         {
            echo "<strong>Se ingresaron los registros con exito</strong>. <br>";
         }
         else
         {
            echo "No se ingresaron los registros. <br>";
         }
 
      }
?>


Con esto ya tenemos nuestra última ip metida en la base de datos.

Ahora vamos a crear dos sencillas páginas para saber cual es nuestra actual ip pública de nuestro PC, buscar.php y encontrado.php.

buscar.php

Código PHP:
<html>
<head>
<title>Entrada de enlaces</title>
<meta http-equiv="Content-Type" content="text/html; charset=ISO-8859-1">
</head>

<body>
<form action="encontrado.php" method="post">
  Nombre:<br>
  <input type="text" name="nombre"><br><br>
  <input type="submit" value="Submit">
</form>
</body>
</html> 


Nos mostrará un sencillo formulario donde debemos poner nuestro nombre de usuario que está en el script bash.

encontrado.php 

Código PHP:
<html>
<head>
<title>Entrada de enlaces</title>
<meta charset="UTF-8">
</head>
<body>
<?php
include("conex.php");
$consulta = "SELECT nombre, ip, DATE_FORMAT(fecha, 'Con fecha: %d/%m/%y y hora: %H:%i:%s') AS fecha FROM datos WHERE nombre = '" . $_POST["nombre"] . "' ORDER BY id  DESC LIMIT 1";
$resultado = $conexion -> query($consulta);
echo "<span style='color: blue;'>Extracción de último dato ...</span> <br><br>";
while($fila = $resultado -> fetch_array())
{
echo "Usuario: " . $fila["nombre"] . "<br>";
echo "Última IP asignada: " . $fila["ip"] . "<br>";
echo "" . $fila["fecha"] . "<br><hr>";
}
mysqli_free_result($resultado);
mysqli_close($conexion);
?>
</body>
</html> 


Nos mostrará la última ip pública que tenemos asignada y a que fecha y hora se captó.

Cita:Extracción de último dato ... 

Usuario: pepico
Última IP asignada: 11.111.11.111
Con fecha: 29/04/17 y hora: 18:00:02



Todo esto está bien, pero queremos algo mas, no tener que ir a un formulario para saber nuestra ip, lo que queremos es poner en el navegador una dirección y que nos redireccione a nuestro servidor local, una dirección tipo "midominio.com/pepico". Recordad que pepico era nuestro usuario con el que se guardaban las ip de nuestro servidor local.

Bien, como al poner esa dirección en el navegador, el directorio pepico no existe, el servidor nos enviará un error 404, página no encontrada. Vamos a crear una página de error 404 tuneada por nosotros.

Antes de nada vamos a tener que tocar el archivo .htaccess para que cuando se de el error 404 nos muestre nuestra página 404. Abrimos el archivo .htaccess y añadimos la linea

Código:
ErrorDocument 404 /404.php
 
Con esto le decimos que cuando se produzca el error 404 nos muestre la página 404.php.

Ahora vamos a crear la página 404.php, que a continuación diré lo que hace.

404.php

Código PHP:
<html>
<head>
<title>Entrada de enlaces</title>
<meta charset="UTF-8">
<script language="JavaScript">
function enviar()
{
document.form.submit();
}
</script>
</head>
<body onload="enviar()">
<?php
$url =  "{$_SERVER['REQUEST_URI']}";
$resultado = str_replace("/", "", $url);
?>
<form method="POST" action="curl/redireccionar.php" name="form">
<p><input type="text" value="<?php echo $resultado; ?>" name="nombre"></p>
<p><input type="submit" value="Enviar" name="B1"></p>
</form>
</body>
</html> 


Esta página lo que hace es eliminar de la dirección web todo lo que vaya antes de la barra "/", en nuestro caso quedaría pepico y lo envía directamente a otra página que luego vamos a crear, redireccionar.php, la cual estará dentro del directorio curl.

redireccionar.php

Código PHP:
<html>
<head>
<title>Entrada de enlaces</title>
<meta charset="ISO-8859-1" />
</head>
<body>
<?php
include("conex.php");
$consulta = "SELECT nombre, ip, DATE_FORMAT(fecha, 'Con fecha: %d/%m/%y y hora: %H:%i:%s') AS fecha FROM datos WHERE nombre = '" . $_POST["nombre"] . "' ORDER BY id  DESC LIMIT 1";
$resultado = $conexion -> query($consulta);
 
if ($fila = $resultado -> fetch_array())
{ 
echo "<script language=\"javascript\">window.location.href=\"http://" . $fila["ip"] . "\";</script>";
}
else {
echo "NO encontrado";
}
mysqli_free_result($resultado);
mysqli_close($conexion);


?>
</body>
</html> 


Esta página lo que hace es buscar en la base de datos la última ip registrada del usuario que queremos, en este caso pepico , y nos redirecciona directamente a esa ip. Si ese usuario no existe o nos equivocamos al escribir la dirección, la página actuará como una página 404 y nos mostrará un mensaje de "no encontrada".

Todo el proceso, desde que pones la dirección en el navegador hasta que te redirecciona a la ip de tu servidor local es limpio y automático.


Bueno, espero que le sirva a alguien de ayuda.

Saludos.


  Ejecutar python desde php.

Enviado por: chujalt
07-03-2021, 21:51
Foro: php
- Sin respuestas

Saludos

Vamos a ejecutar un programa python desde php e imprimir las salidas que tengan dicho programa.

Primero el programa python, como veréis es muy sencillo, sólo imprime unas lineas, asigna un valor a una variable y la imprime 

Código:
#! /usr/bin/env python
print ("Soy Python me han llamado desde PHP. Linea 1")
print ("Soy Python me han llamado desde PHP. Linea 2")
print ("Soy Python me han llamado desde PHP. Linea 3")
print ("Soy Python me han llamado desde PHP. Linea 4")
print ("Soy Python me han llamado desde PHP. Linea 5")
print ("Soy Python me han llamado desde PHP. Linea 6")
print ("Soy Python me han llamado desde PHP. Linea 7")
print ("Soy Python me han llamado desde PHP. Linea 8")
print ("Soy Python me han llamado desde PHP. Linea 9")
print ("Soy Python me han llamado desde PHP. Linea 10")

pepe = "Hola soy Pepe"
print (pepe)


Bien, ahora supongamos que queremos imprimir desde php la salida que pone "print ("Soy Python me han llamado desde PHP. Linea 4")". Entonces en nuestro código php deberíamos poner

Código:
<?php
$salida = array(); //contendrá cada linea salida desde la aplicación en Python
exec("python /var/www/html/phppython/contar.py", $salida);
echo $salida[3]."<br>";    }
?>


Lo que nos daría un resultado de 

Cita:Soy Python me han llamado desde PHP. Linea 4

Fijaros que en la última línea php he puesto $salida[3], acordaros que los arrays empiezan por el cero.

Si quisiéramos imprimir todas las salidas del programa python deberíamos hacer un bucle for

Código:
<?php
$salida = array(); //contendrá cada linea salida desde la aplicación en Python
exec("python /var/www/html/phppython/contar.py", $salida);
for($i = 0; $i < count($salida); $i++){
        echo $salida[$i]."<br>";
    }
?>

Lo que nos daría un resultado

Cita:Soy Python me han llamado desde PHP. Linea 1
Soy Python me han llamado desde PHP. Linea 2
Soy Python me han llamado desde PHP. Linea 3
Soy Python me han llamado desde PHP. Linea 4
Soy Python me han llamado desde PHP. Linea 5
Soy Python me han llamado desde PHP. Linea 6
Soy Python me han llamado desde PHP. Linea 7
Soy Python me han llamado desde PHP. Linea 8
Soy Python me han llamado desde PHP. Linea 9
Soy Python me han llamado desde PHP. Linea 10
Hola soy Pepe


Bueno, ya está, espero que le sirva a alguien

Saludos.


  Menú de opciones en bash.

Enviado por: chujalt
07-03-2021, 21:48
Foro: Bash
- Sin respuestas

Saludos.

Vamos a hacer un menú de opciones en bash, es un menú bastante sencillo, pero demuestra todo el potencial que tiene.

El script es este:

Código:
#!/bin/bash

MENU="SELECCIONAR UNA OPCION DEL MENU: "
while :
do
  echo -e " \e[101;92m MENU PRINCIPAL \e[0m"
  PS3=$MENU

  select option in "Menu 1" "Menu 2" "Menu 3" "salir"
  do
    case $REPLY in 
      1) # menu 1
         echo -e "\e[30;107m Has pulsado la opcion $option \e[0m"
         sleep 2
         clear
         break
         ;;
      2) # menu 2
         echo -e " \e[30;107m Has pulsado la opcion $option \e[0m"
         sleep 2
         clear
         break
         ;;
      3) # menu 3
         echo -e " \e[30;107m Has pulsado la opcion $option \e[0m"
         sleep 2
         clear
         break
         ;;
      4) # salir
         clear
         break 2  #  sale del script
         ;;
      *) # tecla erronea
         echo -e "\e[1;31mHas pulsado una tecla erronea [${REPLY}]\e[0m"
         sleep 2
         clear
         break
         ;;
    esac
  done
done

exit 0
 

Al ejecutarlo nos saldrá este menú en la ventana del terminal

[Imagen: terminal_1.png]



Como vemos tenemos 4 opciones, menú 1, 2, 3 y la opción de salir. Vamos a pulsar la opción 1


[Imagen: terminal_2.png]



Si pulsamos la opción 4 saldremos del programa y si pulsamos cualquier otra tecla que no sea de las cuatro opciones nos informará que hemos pulsado una tecla errónea y tendremos la oportunidad de volver a seleccionar una opción.

Saludos.


  Enumerar - renombrar archivos de directorio en bash.

Enviado por: chujalt
07-03-2021, 21:46
Foro: Bash
- Sin respuestas

Saludos.

Vamos a ver un script en bash el cual ordena los archivos de un directorio, lo que hace es enumerarlos, es decir, mantiene el nombre del fichero pero le pone delante el número de orden, 1-_-unarchivo, 2-_-otroarchivo... etc.

Primero veamos el script y luego comentamos:

Código:
#!/bin/sh
i=1
for f in *.*
do
  renombrar="$i"-_-"${f#*}"
  mv "$f" "$renombrar"
  i=$((i+1))
done


Este script se debe ejecutar en el directorio donde están los archivos a enumerar.

El script enumera todos los archivos del directorio, pero si queremos que, por ejemplo, sólo enumere los archivos con extensión mp3 deberemos cambiar la línea for f in *.* por for f in *.mp3 

Otro ejemplo, vamos a suponer que en ese directorio hay varios tipos de archivos (mp3, mp4, wav) y queremos enumerarlos por separado. Entonces vamos a reservar la serie 1000 para los archivos mp3, la serie 2000 para mp4... etc. Entonces cambiaremos la línea que hemos comentado antes y donde pone i=1 lo cambiaremos por i=1000, para los archivos mp4 cambiaremos for f in *.* por for f in *.mp4 e i=1 por i=2000 y así sucesivamente.

Ahora vamos a suponer que por cualquier razón, por ejemplo que tenemos archivos nuevos y hay que borrar la numeración para luego volver a enumerarlos, entonces ejecutaremos este script:

Código:
#!/bin/sh
for f in *.*
do
  renombrar=${f##*-_-}
  mv "$f" "$renombrar"
done


Esto dejará el archivo con su nombre original, sin la numeración. Acordaros que como está el script quitará la numeración a todos los archivos, si queréis hacerlo en una extensión en concreto deberéis ponerla.

Bueno, ya está, espero que le sirva a alguien.

Saludos.


  Web scraping con python y selenium.

Enviado por: chujalt
07-03-2021, 21:44
Foro: Python
- Respuestas (1)

Saludos.

Vamos a utilizar python y selenium (que es una librería de python) para loguearnos y escribir un post en un foro, todo ello de manera automática.

El script está probado en este mismo foro y funciona perfectamente, aunque en el que se publica aquí he puesto una dirección ficticia.

Lo que vamos a necesitar es, además de tener python instalado, instalarnos la librería selenium

Código:
sudo pip install selenium

y tener el controlador geckodriver, lo podeís bajar de AQUÍ.

Este trabajo está hecho bajo entorno linux y hay que tener ciertas nociones de html porque selenium busca entre los tags para poder trabajar. Lo que busca son elementos por name, id, texto del enlace, texto parcial del enlace, xpath, CSS, tagname y Classname.

Voy a poner en script completo y luego iremos linea por linea.

Código:
#!/usr/bin/env python    
from selenium import webdriver
import time
driver = webdriver.Firefox(executable_path='/home/chujalt/geckodriver')
driver.get('https://paginaweb.com')
link = driver.find_element_by_link_text('Iniciar sesión').click()
time.sleep(2)
driver.find_element_by_id('quick_login_username').send_keys("Pepito")
driver.find_element_by_id('quick_login_password').send_keys("contraseña_de_Pepito")
driver.find_element_by_name('submit').click()
time.sleep(5)
driver.find_element_by_link_text('Chistes').click()
time.sleep(2)
driver.find_element_by_class_name('new_thread_button').click()
time.sleep(5)
driver.find_element_by_name('subject').send_keys("Chiste de Pepito")
driver.find_element_by_xpath("//iframe").send_keys("Hola, este es mi primer chiste")
driver.find_element_by_name('submit').click()
time.sleep(2)
driver.close()

Importamos webdriver de selenium
Código:
from selenium import webdriver

Importamos Time
Código:
import time

Vamos a trabajar con Firefox y le decimos donde está el ejecutable geckodriver
Código:
driver = webdriver.Firefox(executable_path='/home/chujalt/geckodriver')

Le decimos la página web a abrir
Código:
driver.get('https://paginaweb.com')

Buscamos un enlace que tenga el texto "Iniciar sesión" y que lo pulse
Código:
link = driver.find_element_by_link_text('Iniciar sesión').click()

Esperamos 2 segundos a que se cargue la página de autentificación
Código:
time.sleep(2)

En el formulario, la id de la caja de texto donde va el usuario es "quick_login_username" y le enviamos nuestro usuario
Código:
driver.find_element_by_id('quick_login_username').send_keys("Pepito")

En el formulario, la id de la caja de texto donde va la contraseña es "quick_login_password" y le enviamos nuestra contraseña
Código:
driver.find_element_by_id('quick_login_password').send_keys("contraseña_de_Pepito")

En el formulario, el botón de enviar el name es "submit" y hacemos click en él
Código:
driver.find_element_by_name('submit').click()

Esperamos 5 segundos a que la autentificación se realice y se vuelva a cargar la página
Código:
time.sleep(5)

Vamos a postear un chiste, por lo que vamos a ir a la sección chistes, buscamos un enlace con el texto "Chistes" y hacemos click en él
Código:
driver.find_element_by_link_text('Chistes').click()

Esperamos 2 segundos a que se cargue la sección chistes
Código:
time.sleep(2)

El botón para crear un nuevo hilo es una class con el nombre "new_thread_button" lo buscamos y hacemos click en él
Código:
driver.find_element_by_class_name('new_thread_button').click()

Esperamos 5 segundos a que se cargue la caja para hacer los post
Código:
time.sleep(5)

En la caja para hacer posts, la caja de texto para poner el título del post tiene el name "subject", lo buscamos y enviamos el título
Código:
driver.find_element_by_name('subject').send_keys("Chiste de Pepito")

El post en si está en un iframe, lo buscamos por el path, que puede ser absoluto o relativo (es este caso relativo), y le enviamos el texto
Código:
driver.find_element_by_xpath("//iframe").send_keys("Hola, este es mi primer chiste")

Hacemos click en el botón de envío cuyo name es submit
Código:
driver.find_element_by_name('submit').click()

Esperamos 2 segundos para que se realice la grabación del post
Código:
time.sleep(2)

Y cerramos el navegador y la aplicación
Código:
driver.close()

Con esto habremos conseguido identificarnos y realizar un post.
Saludos.


  Web scraping con python BeautifulSoup y MySql.

Enviado por: chujalt
07-03-2021, 21:43
Foro: Python
- Respuestas (2)

Saludos.

Vamos a recoger los datos que nos interesan de una página web y los vamos a meter en una base de datos MySql para su almacenamiento y posteriormente tratar esos datos como mas nos convenga.

Yo trabajo en entorno linux, pero bajo Windows o MAc debería funcionar igual.

Para poder realizar este trabajo necesitaremos tener instalado MySql en nuestro PC. Además, entre otras librerías tenemos que tener instalada la de BeautifulSoup y el conector a la base de datos MySql

Código:
sudo pip install beautifulsoup4

sudo pip install mysql-connector

En este ejemplo vamos a trabajar con la página de la Bolsa de Madrid, si la quieres ver PULSA AQUI, concretamente en la sección donde nos da la información de las cotizaciones de las empresas del Ibex 35. Esta información se actualiza cada 15 minutos, pero nosotros vamos a ejecutar nuestro script a la hora de cierre para saber como han cerrado las cotizaciones día por día.

Yo he creado una base de datos llamada "ibex35" con una tabla llamada "diario" y en esta tabla 9 campos, id, nombre, fecha, ultimo, diferencia, max, min, volumen y efectivo.

Voy a poner el script completo y luego comentaremos por bloques.

Código:
#!/usr/bin/env python
# -*- coding: utf-8 -*-
import json
from bs4 import BeautifulSoup
import requests
from functools import reduce
import os
import mysql.connector
import datetime
website_url = requests.get("http://www.bolsamadrid.es/esp/aspx/Mercados/Precios.aspx?indice=ESI100000000&punto=indice").text
soup = BeautifulSoup(website_url,'lxml')
soup = soup.find('table',{'id':'ctl00_Contenido_tblAcciones'})
rows = soup.findAll("tr")[1:]
headers = {}
thead = soup.findAll("th")
for i in range(len(thead)):
   headers[i] = thead[i].text.strip().lower()
data = []
for row in rows:
   cells = row.find_all("td")
   item = {}    
   for i in headers:
       item[headers[i]] = cells[i].text  
   data.append(item)
pepe = json.dumps (data, indent=4)
diccionario = [
("\\u00fa", "u"),
("\\u00ed", "i"),
("\\u00e1", "a"),
("\\u20ac", "€")  
]
salida = reduce(lambda a, kv: a.replace(*kv), diccionario, pepe)
data = json.loads(salida)
mydb = mysql.connector.connect(
 host="localhost",
 user="usuario",
 passwd="contraseña",
 database="ibex35"
)
mycursor = mydb.cursor()
for device in data:
  fecha = datetime.datetime.strptime(device["fecha"], '%d/%m/%Y')
  sql = "INSERT INTO diario (nombre, fecha, ultimo, diferencia, max, min, volumen, efectivo) VALUES (%s, %s, %s, %s, %s, %s, %s, %s)"
  val = (device["nombre"], fecha, device["ult."].replace(".", "").replace(",", "."), device["% dif."].replace(".", "").replace(",", "."), device["max."].replace(".", "").replace(",", "."), device["min."].replace(".", "").replace(",", "."), device["volumen"].replace(".", "").replace(",", "."), device["efectivo (miles €)"].replace(".", "").replace(",", "."))
  mycursor.execute(sql, val)
  mydb.commit()
  print(mycursor.rowcount, "Datos de ",device["nombre"]," introducidos correctamente")
print ("Todos los datos han sido introducidos correctamente")



BLOQUE 1

Código:
#!/usr/bin/env python
# -*- coding: utf-8 -*-
import json
from bs4 import BeautifulSoup
import requests
from functools import reduce
import os
import mysql.connector
import datetime
website_url = requests.get("http://www.bolsamadrid.es/esp/aspx/Mercados/Precios.aspx?indice=ESI100000000&punto=indice").text
soup = BeautifulSoup(website_url,'lxml')
soup = soup.find('table',{'id':'ctl00_Contenido_tblAcciones'})

En este bloque cargamos todas las librerías necesarias, cargamos la página y metemos en una variable la tabla que nos interesa, concretamente la que tiene id = ctl00_Contenido_tblAcciones.



BLOQUE 2 

Código:
rows = soup.findAll("tr")[1:]
headers = {}
thead = soup.findAll("th")
for i in range(len(thead)):
   headers[i] = thead[i].text.strip().lower()
data = []
for row in rows:
   cells = row.find_all("td")
   item = {}    
   for i in headers:
       item[headers[i]] = cells[i].text  
   data.append(item)
pepe = json.dumps (data, indent=4)  

En este bloque con todos los datos almacenados de la tabla creamos un json con la estructura cabecera tabla / valor, eso por cada fila de la tabla.



BLOQUE 3 

Código:
diccionario = [
("\\u00fa", "u"),
("\\u00ed", "i"),
("\\u00e1", "a"),
("\\u20ac", "€")  
]
salida = reduce(lambda a, kv: a.replace(*kv), diccionario, pepe)
data = json.loads(salida)
mydb = mysql.connector.connect(
 host="localhost",
 user="usuario",
 passwd="contraseña",
 database="ibex35"
)
mycursor = mydb.cursor()
for device in data:
  fecha = datetime.datetime.strptime(device["fecha"], '%d/%m/%Y')
  sql = "INSERT INTO diario (nombre, fecha, ultimo, diferencia, max, min, volumen, efectivo) VALUES (%s, %s, %s, %s, %s, %s, %s, %s)"
  val = (device["nombre"], fecha, device["ult."].replace(".", "").replace(",", "."), device["% dif."].replace(".", "").replace(",", "."), device["max."].replace(".", "").replace(",", "."), device["min."].replace(".", "").replace(",", "."), device["volumen"].replace(".", "").replace(",", "."), device["efectivo (miles €)"].replace(".", "").replace(",", "."))
  mycursor.execute(sql, val)
  mydb.commit()
  print(mycursor.rowcount, "Datos de ",device["nombre"]," introducidos correctamente")
print ("Todos los datos han sido introducidos correctamente")

En este bloque lo primero que hacemos, como la página web tiene acentos y python no es amigo de ellos, ha escrito símbolos raros en las palabras que tenían acentos, cambiamos esos símbolos por las sílabas pero sin los acentos.
Volvemos a cargar en json, conectamos con la base de datos y hacemos un bucle for para hacer insert por cada fila de la tabla.

Nótese que debemos de hacer varios "replace" pues la información de la página nos da los miles en puntos y los decimales con comas, cosa que no admite la base de datos mysql, por lo que quitamos los puntos y las comas las transformamos en puntos. También transformamos el campo fecha en tipo "date".

Bueno, ya está, espero que le sirva a alguien.

Saludos.


  Wemos mini, controlar servo via wifi.

Enviado por: chujalt
06-03-2021, 13:16
Foro: Anduino, Nodemcu, Wemos
- Sin respuestas

Saludos.

Recientemente he adquirido una placa Wemos mini D1 y me parece increíble que con lo pequeña que es, lo funcional que resulta, con wifi integrado y todo (ESP8266). Fijaros en la foto de mas abajo su tamaño, el cable conectado a ella es un micro-usb. El precio también es muy atractivo, por unos 3 € la podéis encontrar.

Con ella vamos a controlar el giro de un servo vía wifi desde una página web.


Material necesario:

  • Una placa Wemos mini D1.
  • Un Micro Servo 9G

[Imagen: wemosmini.jpg]


[Imagen: servo.jpg]




Conexiones:

  • Pin cable amarillo del servo al pin D7 de la Wemos mini.
  • Pin cable rojo del servo al pin 5v de la Wemos mini.
  • Pin cable marrón del servo al pin GND de la Wemos mini.


Página web para controlar el servo:
Código:
<!DOCTYPE html PUBLIC "-//W3C//DTD HTML 4.01//ES" "http://www.w3.org/TR/html4/strict.dtd">
<html>
 <head>
   <meta content="text/html; charset=ISO-8859-1" http-equiv="content-type">
   <title>Control servo</title>
<style type="text/css">
#juan {
   position: absolute;
   left: 50%;
   top: 50%;
   transform: translate(-50%, -50%);
   -webkit-transform: translate(-50%, -50%);
}
</style>
 </head>
 <body>
<div id="juan">
  <input type="button" onclick="location.href='http://192.168.1.111/angulo=000';" value="000" />
  <input type="button" onclick="location.href='http://192.168.1.111/angulo=005';" value="005" />
  <input type="button" onclick="location.href='http://192.168.1.111/angulo=010';" value="010" />
  <input type="button" onclick="location.href='http://192.168.1.111/angulo=015';" value="015" />
  <input type="button" onclick="location.href='http://192.168.1.111/angulo=020';" value="020" />
  <input type="button" onclick="location.href='http://192.168.1.111/angulo=025';" value="025" /></br>
  <input type="button" onclick="location.href='http://192.168.1.111/angulo=030';" value="030" />
  <input type="button" onclick="location.href='http://192.168.1.111/angulo=035';" value="035" />
  <input type="button" onclick="location.href='http://192.168.1.111/angulo=040';" value="040" />
  <input type="button" onclick="location.href='http://192.168.1.111/angulo=045';" value="045" />
  <input type="button" onclick="location.href='http://192.168.1.111/angulo=050';" value="050" />
  <input type="button" onclick="location.href='http://192.168.1.111/angulo=055';" value="055" /></br>
  <input type="button" onclick="location.href='http://192.168.1.111/angulo=060';" value="060" />
  <input type="button" onclick="location.href='http://192.168.1.111/angulo=065';" value="065" />
  <input type="button" onclick="location.href='http://192.168.1.111/angulo=070';" value="070" />
  <input type="button" onclick="location.href='http://192.168.1.111/angulo=075';" value="075" />
  <input type="button" onclick="location.href='http://192.168.1.111/angulo=080';" value="080" />
  <input type="button" onclick="location.href='http://192.168.1.111/angulo=085';" value="085" /></br>
  <input type="button" onclick="location.href='http://192.168.1.111/angulo=090';" value="090" />
  <input type="button" onclick="location.href='http://192.168.1.111/angulo=095';" value="095" />
  <input type="button" onclick="location.href='http://192.168.1.111/angulo=100';" value="100" />
  <input type="button" onclick="location.href='http://192.168.1.111/angulo=105';" value="105" />
  <input type="button" onclick="location.href='http://192.168.1.111/angulo=110';" value="110" />
  <input type="button" onclick="location.href='http://192.168.1.111/angulo=115';" value="115" /></br>
  <input type="button" onclick="location.href='http://192.168.1.111/angulo=120';" value="120" />
  <input type="button" onclick="location.href='http://192.168.1.111/angulo=125';" value="125" />
  <input type="button" onclick="location.href='http://192.168.1.111/angulo=130';" value="130" />
  <input type="button" onclick="location.href='http://192.168.1.111/angulo=135';" value="135" />
  <input type="button" onclick="location.href='http://192.168.1.111/angulo=140';" value="140" />
  <input type="button" onclick="location.href='http://192.168.1.111/angulo=145';" value="145" /></br>
  <input type="button" onclick="location.href='http://192.168.1.111/angulo=150';" value="150" />
  <input type="button" onclick="location.href='http://192.168.1.111/angulo=155';" value="155" />
  <input type="button" onclick="location.href='http://192.168.1.111/angulo=160';" value="160" />
  <input type="button" onclick="location.href='http://192.168.1.111/angulo=165';" value="165" />
  <input type="button" onclick="location.href='http://192.168.1.111/angulo=170';" value="170" />
  <input type="button" onclick="location.href='http://192.168.1.111/angulo=175';" value="175" /></br>
  <input type="button" onclick="location.href='http://192.168.1.111/angulo=180';" value="180" />
</div>

</body>
</html>



Imagen de la página web:

[Imagen: grados.png]



Código Wemos mini:
Código:
//Conexiones
//Amarillo: D7
//Rojo: 3V
//Marrón: GND
#include <Servo.h>
#include <ESP8266WiFi.h>
const int servo_pin = D7;
Servo myservo;  
unsigned int old_value;
const char* ssid = "Tu_ssid";
const char* password = "Tu_contraseña";
IPAddress ip(192,168,1,111);
IPAddress gateway(192,168,1,1);
IPAddress subnet(255,255,255,0);
WiFiServer server(80);

void setup()
{
 Serial.begin(115200);
 delay(10);
myservo.attach(servo_pin);
  old_value = 90;
WiFi.begin(ssid, password);
 WiFi.config(ip, gateway, subnet);
 
 server.begin();
}

String f = "";
void loop() {

 WiFiClient client = server.available();
 if (!client) {
   return;
 }


 Serial.println("new client");
 while(!client.available()){
   delay(1);
 }

 String request = client.readStringUntil('\r');
 client.flush();


  char i1 = request.indexOf("GET /angulo="), i2;
  if (i1 != -1)
    i2 = request.indexOf(" ", i1+12);
    f = request.substring(i1+12, i2);
int g = f.toInt();

   
  if ((0 <= g) && (g <= 180)) {
       
     if (g < old_value)
      {  
     for(int i = old_value ; i > g ; i -= 1)
        {
        myservo.write(i);
        delay(15);
        }
        old_value = g;
      }
     
    if (g > old_value)
      {
      for(int i = old_value ; i < g ; i += 1)
        {
        myservo.write(i);
        delay(15);
        }
        old_value = g;
     }

  }  


delay(100);
client.println("HTTP/1.1 200 OK");
 client.println("Content-Type: text/html");
 client.println("");
 client.println("<!DOCTYPE HTML>");
 client.println("<html>");
 client.print("<body onload='history.back();'>\n");
 client.println("</body>");
 client.println("</html>");

 delay(1);
}



Comentario del código:
  • Se incluyen las librerías necesarias.
  • Se indica el pin del servo.
  • Se dan todos los parámetros para la conexión wifi. En este caso a la placa le hemos asignado la dirección IP 192.168.1.111.
  • Se inicia el servo y la conexión wifi.
  • Se recibe mediante el método GET los parámetros enviados desde la página web y se desecha todo menos lo que nos interesa, que es el número de grados.
  • Una vez captado ese número, se envía al servo para que gire esos grados.
  • La placa envía al navegador una pequeña página web con un "history.back()" para que nos vuelva a mostrar el teclado de manera inmediata.

Bueno, ya está, espero que a alguien le sirva.


Saludos


  Instalar micropython en Wemos Mini.

Enviado por: chujalt
06-03-2021, 13:14
Foro: Anduino, Nodemcu, Wemos
- Sin respuestas

Saludos.

Vamos a explicar como instalar una versión de micropython en nuestro Wemos Mini. Este tutorial está explicado para hacerlo en un sistema operativo LINUX.

Yo he utilizado un Wemos Mini D1.

[Imagen: wemosmini.jpg]


En primer lugar tenemos que bajarnos una herramienta que se llama esptool mediante el comando pip. Abrimos un terminal y escribimos:

Código:
sudo pip install esptool

En muchos sitios de internet pone que esta herramienta funciona bajo python 2.7, pero eran las versiones antiguas, ahora funciona en cualquier versión de python, yo trabajo con la 3.5

Una vez instalado esptool conectamos nuestro Wemos Mini al PC y tecleamos:

Código:
sudo esptool.py flash_id


[Imagen: micropython_1.png]

Como veis, sale varia información, entre ellas el tamaño de la memoria y el puerto serie al que está conectado, en mi caso /dev/ttyUSB0

Opcionalmente le doy permisos a ese puerto serie para luego no estar logeándome como sudo en todos los pasos siguientes:

Código:
sudo chmod 777 /dev/ttyUSB0

Vamos a bajarnos la versión de micropython de la siguiente dirección http://micropython.org/download#esp8266, yo me bajé la que pone entre paréntesis latest, que es la última.

Ahora vamos a flashear la memoria del Wemos Mini, tecleamos:

Código:
esptool.py --port /dev/ttyUSB0 erase_flash

Si todo ha ido bien no os dará ningún mensaje de error y os informará que la memoria ha sido flasheada. El proceso dura poco, unos 10 segundos.

Seguidamente cargamos micropython en nuestro Wemos Mini (el archivo que nos hemos bajado antes) tecleamos:

Código:
esptool.py --port /dev/ttyUSB0 --baud 460800 write_flash --flash_size=detect 0 /home/chujalt/esp8266-20180511-v1.9.4.bin

Lógicamente cambiar la ruta donde tenéis vuestro archivo. OJO este comando es el que sale en la página oficial de micropython, si carga correctamente, pero luego, a la hora de comprobar por consola si funcionaba micropython (último paso de este tutorial), no sale nada, volved a flashear la memoria y probad con estos comandos:

Código:
esptool.py --port /dev/ttyUSB0 --baud 115200 write_flash --flash_mode=dout --flash_size=detect 0 /home/chujalt/esp8266-20180511-v1.9.4.bin

Si no os da errores os dirá que ya está cargado micropython.

Ahora toca comprobar que funciona correctamente, hay varios programas para comunicarnos con el puerto serie, screen, minicom, picocom..... Yo he utilizado screen. Si no lo tenéis instalado:

Código:
sudo apt install screen

 
Una vez instalado, tecleamos:
Código:
screen /dev/ttyUSB0 115200

Se quedará la pantalla en negro, pulsamos el botón reset de nuestro Wemos Mini para que se reseté, y si todo ha ido bien nos saldrá el promt de micropyton.

[Imagen: micropython_2.png]

Bueno, ya está, espero que le sirva a alguien.
Saludos.


  Controlar color de led rgb vía wifi con Nodemcu.

Enviado por: chujalt
06-03-2021, 13:11
Foro: Anduino, Nodemcu, Wemos
- Sin respuestas

Saludos....

En esta ocasión vamos a realizar un sistema para controlar desde una página web el color que mostrará un led rgb. Para ello necesitaremos dos tipos de código, el de la página web y el del Nodemcu (que al estar hecho para cargar con la Arduino IDE también sirve para Arduino).


Materiales utilizados

  • Una placa Nodemcu (yo he utilizado la V2).
  • 4 Cables dupont.
  • Un led rgb Keyes

[Imagen: nodemcu.jpg]


[Imagen: led_rgb.jpg]



Conexiones
  • Pin GND del Nodemcu al pin V/G del led rgb.
  • Pin D1 del Nodemcu al pin R del led rgb.
  • Pin D2 del Nodemcu al pin G del led rgb.
  • Pin D3 del Nodemcu al pin B del led rgb.


Código página Web:
Código:
<!DOCTYPE html>
<html lang="es"><head>

<meta charset="utf-8">
<title>Tabla colores</title>



<meta http-equiv="Content-Type" content="text/html; charset=utf-8">
<style>
table {
   width: 50%;
   height: 200px;
      text-align: left;
      margin-left: auto;
      margin-right: auto;
}
.link a{
display:block;
height:100%;
}
</style>
</head><body><br>
<div style="text-align: center;">
<h4><big><big>TABLA DE COLORES</big></big></h4>
<br>
</div>

<table border="1" cellpadding="0" cellspacing="0">

<tbody>
  <tr>
    <td style="vertical-align: top; background-color: rgb(255,255,255);" class="link"><a href="http://192.168.1.222/color=255255255"> </a><br>
    </td>
    <td style="vertical-align: top; background-color: rgb(153,153,153);" class="link"><a href="http://192.168.1.222/color=153153153"> </a><br>
    </td>
    <td style="vertical-align: top; background-color: rgb(0,0,0);" class="link"><a href="http://192.168.1.222/color=000000000"> </a><br>
    </td>
    <td style="vertical-align: top; background-color: rgb(255,0,0);" class="link"><a href="http://192.168.1.222/color=255000000"> </a><br>
    </td>
    <td style="vertical-align: top; background-color: rgb(102,0,0);" class="link"><a href="http://192.168.1.222/color=102000000"> </a><br>
    </td>
  </tr>
  <tr>
    <td style="vertical-align: top; background-color: rgb(255,153,0);" class="link"><a href="http://192.168.1.222/color=255153000"> </a><br>
    </td>
    <td style="vertical-align: top; background-color: rgb(153,51,0);" class="link"><a href="http://192.168.1.222/color=153051000"> </a><br>
    </td>
    <td style="vertical-align: top; background-color: rgb(255,204,102);" class="link"><a href="http://192.168.1.222/color=255204102"> </a><br>
    </td>
    <td style="vertical-align: top; background-color: rgb(153,102,51);" class="link"><a href="http://192.168.1.222/color=153102051"> </a><br>
    </td>
    <td style="vertical-align: top; background-color: rgb(255,255,0);" class="link"><a href="http://192.168.1.222/color=255255000"> </a><br>
    </td>
  </tr>
  <tr>
    <td style="vertical-align: top; background-color: rgb(102,102,0);" class="link"><a href="http://192.168.1.222/color=102102000"> </a><br>
    </td>
    <td style="vertical-align: top; background-color: rgb(51,255,51);" class="link"><a href="http://192.168.1.222/color=051255051"> </a><br>
    </td>
    <td style="vertical-align: top; background-color: rgb(0,102,0);" class="link"><a href="http://192.168.1.222/color=000102000"> </a><br>
    </td>
    <td style="vertical-align: top; background-color: rgb(102,204,204);" class="link"><a href="http://192.168.1.222/color=102204204"> </a><br>
    </td>
    <td style="vertical-align: top; background-color: rgb(51,102,102);" class="link"><a href="http://192.168.1.222/color=051102102"> </a><br>
    </td>
  </tr>
  <tr>
    <td style="vertical-align: top; background-color: rgb(51,102,255);" class="link"><a href="http://192.168.1.222/color=051102255"> </a><br>
    </td>
    <td style="vertical-align: top; background-color: rgb(0,0,153);" class="link"><a href="http://192.168.1.222/color=000000153"> </a><br>
    </td>
    <td style="vertical-align: top; background-color: rgb(255,153,255);" class="link"><a href="http://192.168.1.222/color=255153255"> </a><br>
    </td>
    <td style="vertical-align: top; background-color: rgb(204,51,204);" class="link"><a href="http://192.168.1.222/color=204051204"> </a><br>
    </td>
    <td style="vertical-align: top; background-color: rgb(102,51,102);" class="link"><a href="http://192.168.1.222/color=102051102"> </a><br>
    </td>
  </tr>
</tbody>
</table>

<br>

<br>
</body></html>


Este código lo que nos muestra es una página web sencilla con una tabla de unos cuantos colores, que enlaza con la dirección ip que le daremos al Nodemcu.


[Imagen: tabla_colores.png]



Código Arduino:
Código:
#include <ESP8266WiFi.h>

const char* ssid = "Tu_red";
const char* password = "Tu_Contraseña";
IPAddress ip(192,168,1,222);
IPAddress gateway(192,168,1,1);
IPAddress subnet(255,255,255,0);
       int pinLedR = D1;  
       int pinLedV = D2;  
       int pinLedA = D3;  
WiFiServer server(80);

void setup() {
Serial.begin(115200);
delay(10);

         pinMode(pinLedR, OUTPUT);    
         pinMode(pinLedV, OUTPUT);  
         pinMode(pinLedA, OUTPUT);  

WiFi.begin(ssid, password);
WiFi.config(ip, gateway, subnet);

server.begin();
}
String f = "";
void loop() {

WiFiClient client = server.available();
if (!client) {
  return;
}


Serial.println("new client");
while(!client.available()){
  delay(1);
}

String request = client.readStringUntil('\r');
client.flush();


 char i1 = request.indexOf("GET /color="), i2;
 if (i1 != -1)
   i2 = request.indexOf(" ", i1+11);
   f = request.substring(i1+11, i2);

String pepe = f.substring(0,2);
 String juan = f.substring(3,5);
 String pedro = f.substring(6,8);


 
analogWrite(pinLedR, pepe.toInt());
analogWrite(pinLedV, juan.toInt());
analogWrite(pinLedA, pedro.toInt());  


client.println("HTTP/1.1 200 OK");
client.println("Content-Type: text/html");
client.println("");
client.println("<!DOCTYPE HTML>");
client.println("<html>");
client.print("<body onload='history.back();'>\n");
client.println("</body>");
client.println("</html>");

delay(1);

 }



El código lo que hace en primer lugar es recibir todos los datos de red y asignarle una ip fija al Nodemcu (en este caso la 192.168.1.222).

 
Luego le asignamos los pines al led y los iniciamos como salida.
 
Luego inicia la comunicación wifi y recibe los datos del enlace que pulsemos en la página, esos datos son los valores para que muestre un color u otro.
 
Por último desde el Nodemcu enviamos una pequeña página con un javascript para que el navegador vuelva a mostrar la tabla de colores.
 
 
Bueno... espero que le sirva a alguien..... Saludos


  Nodemcu, alarma nivel agua via wifi.

Enviado por: chujalt
06-03-2021, 13:09
Foro: Anduino, Nodemcu, Wemos
- Sin respuestas

Saludos.

En esta ocasión vamos a crear una alarma de nivel de agua. Una página web creada al efecto nos informará si el agua no ha llegado al nivel o, si por el contrario, si que ha llegado.

Para ello necesitamos 2 tipos de código, el de la página web (con php) y el del Nodemcu, al cual le cargaremos el programa con la Arduino ID.


Materiales utilizados:

  • Una placa Nodemcu (yo he utilizado la V2).
  • Un módulo sensor de agua para Arduino.
  • 3 cables Dupont.

[Imagen: nodemcu.jpg]


[Imagen: sensoragua.jpg]




Conexiones:
  • Pin S del sensor de líquidos al pin A0 del Nodemcu.
  • Pin + del sensor de líquidos al pin 3.3V del Nodemcu.
  • Pin - del sensor de líquidos al pin GND del Nodemcu.


Código página web:
Código PHP:
<?php
    // this refreshes current page after 5 seconds.
    header( "refresh:5;" );
?>
<!doctype html>
<html lang="en">
<head>
  <meta charset="utf-8">
  <title>Sensor agua</title>
<style>
.normal
    {
        background: green;
        color: yellow;
        border-radius: 1em;
        padding: 1em;
        position: absolute;
        top: 50%;
        left: 50%;
        margin-right: -50%;
        transform: translate(-50%, -50%);
        text-align:center
    }
.anormal
    {
        background: red;
        color: yellow;
        border-radius: 1em;
        padding: 1em;
        position: absolute;
        top: 50%;
        left: 50%;
        margin-right: -50%;
        transform: translate(-50%, -50%);
        text-align:center
    }
</style>
</head>
<body>
<?
$url = 'http://192.168.1.222';
$content = file_get_contents($url);
$doc = new DOMDocument();
$doc->loadHtml($content);
$contenido = explode("\n", trim($doc->getElementById('nivel')->nodeValue))[0];
if ($contenido < 200)
{
echo"<div class='normal'>";
echo"En estos momentos no ocurre nada.<br/>TODO CORRECTO";
echo"</div>";
}
else
{
echo"<div class='anormal'>";
echo"ATENCION.... ATENCION.... ALARMA..... ALARMA<br/>La cosa no va bien";
echo"</div>";
} 
?>
</body>
</html> 


La página lo que realiza es conectar cada 5 segundos con la dirección ip del Nodemcu y leer las lecturas del sensor, en nuestro caso le hemos dado un límite de 200, si no llega a ese límite nos dará una información, si llega o lo sobrepasa nos dará otra.


Si no llega a la lectura límite:

[Imagen: aguabien.png]



Si llega a la lectura límite:

[Imagen: aguamal.png]




Código Nodemcu:
Código:
#include <ESP8266WiFi.h>
const char* ssid = "Tu_ssid";
const char* password = "Tu_contraseña";
IPAddress ip(192,168,1,222);
IPAddress gateway(192,168,1,1);
IPAddress subnet(255,255,255,0);
const int analogInPin = A0;
int sensorValue = 0;
WiFiServer server(80);
void setup() {
WiFi.begin(ssid, password);
 WiFi.config(ip, gateway, subnet);
 server.begin();
}
void loop() {
WiFiClient client = server.available();
 if (!client) {
   return;
 }
 while(!client.available()){
   delay(1);
 }
 String request = client.readStringUntil('\r');
 client.flush();
client.println("HTTP/1.1 200 OK");
 client.println("Content-Type: text/html");
 client.println("");
 client.println("<!DOCTYPE HTML>");
 client.println("<html>");
 client.print("<body>");  
  client.print("<div id='nivel'>");
 client.print(analogRead(analogInPin));
  client.print("</div>");
 client.println("</body>");
 client.println("</html>");

 delay(1);

}


Explicación del código:
  • Cargamos las librerías necesarias.
  • Le damos los parámetros de nuestra red wifi y le asignamos una dirección ip, en este caso la 192.168.1.222
  • Asignamos el pin de lectura del sensor.
  • Iniciamos el sensor y la comunicación wifi.
  • Creamos una página web que contiene la lectura del sensor de líquidos.

Bueno, ya está, espero que le sirva a alguien.

Saludos.