Descargar lista reproducción de Youtube

He pensado que con el gusto de Youtube por la eliminación de contenidos de forma arbitraria debía al menos descargar una lista en formato json de lo que contienen mis listas de reproducción para saber lo que desaparece en caso de que eliminen alguno de los vídeos. Si tienes paciencia, ancho de banda y almacenamiento suficiente puedes descargar todos los vídeos de una lista de Youtube porque la utilidad a usar es la misma pero usando otros parámetros.

La herramienta a usar es Youtube Download y para obtener un listado en formato json del contenido de una lista de reproducción basta con tener la lista como oculta o pública, si no quieres tener que logarte desde la herramienta, y ejecutar un comando como el siguiente de ejemplo:

youtube-dl -j --get-title --flat-playlist 'https://www.youtube.com/playlist?list=PL55EXXXE12DF2AE2'

Lógicamente, la URL debe ser la correspondiente a la lista que quieres descargar.

Para descargar  el contenido completo de la lista anterior se puede usar el parámetro --yes-playlist:

youtube-dl --yes-playlist 'https://www.youtube.com/playlist?list=PL55EXXXE12DF2AE2'

Descargar vídeos de Youtube con youtube-dl

Línea de comandos para descargar una lista completa de vídeos de Youtube a partir de un fichero de texto con las URLs, en formato mp4, con subtítulos en inglés e incluyendo en el nombre del fichero un autosecuencial para saber el orden de los vídeos descargados:

youtube-dl -c -o "%(autonumber)s - %(title)s.%(ext)s" --write-sub -f mp4 --sub-lang en --batch-file lista_de_URLs.txt

La herramienta usada es Youtube-dl

Ingeniería inversa para principiantes

He encontrado un magnífico libro gratuito sobre ingeniería inversa que comienza desde 0 y tiene 600 páginas: Reverse Engineering for Beginners

La página del autor, Dennis Yurichev, también tiene mucho material interesante.

L7-Filter

L7-Filter es un software para Linux que permite identificar el protocolo que se envía/recibe, a partir del contenido de los paquetes, para su tratamiento posterior con iptables (descartando los paquetes, por ejemplo) o ajustando prioridades con QoS.

Tiene buena pinta y existen paquetes para Debian pero el proyecto no parece muy activo porque su última versión es de 2011.

Auditorías de seguridad y gestión de logs en Linux

Voy a publicar en esta entrada del blog un compendio de utilidades para realizar auditorías de seguridad y gestionar logs en Linux. Seguramente son conocidas la mayor parte de ellas pero las resumo aquí para que no se me olviden y de paso sirva a los administradores de sistemas que lleguen a esta entrada desde Google ;-)

Tiger - Herramienta para detección de intrusos
Lynis - Herramienta para realizar auditorías de seguridad
Logwatch - Herramienta para análisis de logs
Swatch - Herramienta para monitorización de logs
Tripwire - Herramienta para monitorizar integridad de ficheros
AIDE - Herramienta para monitorizar integridad de ficheros

Algunas otras utilidades para realizar auditorías y gestionar logs en Linux en esta entrada de ServerFault:
What tool or scripts do you use to audit a Linux box?

En esta lista echo en falta otra herramienta para buscar rootkits, al margen de Rootkit Hunter, es chkrootkit Si conocen alguna otra digna de mención no duden en publicarlo como comentario.

Concatenar PDFs para generar un único fichero

Para concatenar distintos ficheros PDF en un único fichero debemos tener instalado Ghostscript y ejecutar esta línea, donde sólo deben indicarse el fichero de salida y la lista de ficheros PDF a concatenar:

gs -dNOPAUSE -sDEVICE=pdfwrite -sOUTPUTFILE=resultado.pdf -dBATCH [lista de ficheros]

Y para dividir un PDF en distintios ficheros .JPG sería de esta forma:

gs -sDEVICE=jpeg -q -dNOPAUSE -dBATCH -dMaxBitmap=100000000 -dJPEGQ=100 -r300 -dPDFFitPage -sDEFAULTPAPERSIZE=a4  -dFIXEDMEDIA -sOutputFile=resultado_%04d.jpg fichero.pdf

Programar servicios en Windows

Programar servicios en Windows no es tan sencillo como se haría en cualquier Linux, que basta con un script en /etc/init.d, sino que debe ser un ejecutable implementando ciertos métodos que serán llamados para consultar el estado del servicio, pararlo o arrancarlo.

Si lo que queremos es ejecutar un script como servicio una opción es usar el comando srvany.exe del kit de recursos de Windows a modo de envoltorio para llamar a cmd.exe y el correspondiente script como parámetro. Otra opción es usar la utilidad prunsrv.exe de la Fundación Apache, que inicialmente está pensada para arrancar aplicaciones Java (Tomcat, JBOSS, etc.) como servicios pero puede usarse para llamar a cualquier cosa.


Para llamar a cmd.exe tened en cuenta el parámetro /C y que el script  implemente un parámetro de arranque y otro de parada del servicio.


Para trabajar con el servicio creado están los comandos net start / net stop de Windows y SC.exe

Referencias:

SC.exe - Service Control

net start / net stop / net pause / net continue

Programación de servicios en .NET

Obtener certificado SSL de un servidor remoto

Para obtener la clave pública del certificado, su DN y forma de comunicación segura con un servidor remoto (protocolo de comunicación SSL, entre otras cosas), independientemente de si es un servidor web, correo, etc. podemos usar la auténtica navaja suiza para estos casos que es OpenSSL.

OpenSSL tiene un parámetro s_client con el que podemos obtener toda esta información sólo indicando el servidor y puerto donde responde de forma segura.
Por ejemplo, para obtener el certificado de la web de Amazon:

openssl s_client -connect amazon.com:443

Viene muy bien a la hora de importar un certificado en un repositorio sin tener un navegador o cliente que permita obtenerlo directamente del servidor.

Editando ficheros grandes con Vim

Editar ficheros grandes con vim, como en casi todos los editores, es un infierno pero vim tiene la ventaja de que con un pequeño plugin sencillo de instalar los ficheros grandes se vuelven más manejables sin tener que buscar otro tipo de software más específico.

Dejo aquí el enlace al plugin para que lo probéis:

LargeFile : Edit large files quickly

Buscar ficheros duplicados en Linux

A raíz de la entrada de @Manz en su blog sobre programas para encontrar ficheros duplicados en Windows, me he puesto a buscar algo parecido en Linux sin tener que escribir unas líneas en bash y he encontrado fdupes, que es una herramienta de línea de comandos disponible en los repositorios de la mayoría de distribuciones GNU/Linux.

Sus parámetros admitidos son los siguientes:


 -r --recurse         include files residing in subdirectories
 -s --symlinks        follow symlinks
 -H --hardlinks       normally, when two or more files point to the same
                      disk area they are treated as non-duplicates; this
                      option will change this behavior
 -n --noempty         exclude zero-length files from consideration
 -f --omitfirst       omit the first file in each set of matches
 -1 --sameline        list each set of matches on a single line
 -S --size            show size of duplicate files
 -q --quiet           hide progress indicator
 -d --delete          prompt user for files to preserve and delete all
                      others; important: under particular circumstances,
                      data may be lost when using this option together
                      with -s or --symlinks, or when specifying a
                      particular directory more than once; refer to the
                      fdupes documentation for additional information
 -v --version         display fdupes version
 -h --help            display this help message

Capturar tráfico HTTP en el navegador

Para ver las peticiones y respuestas HTTP completas, incluyendo las cabeceras HTTP, cookies, etc. he usado varios complementos de Firefox como Live HTTP Headers que dejó de funcionar en una de las actualizaciones de Firefox porque no era compatible, HTTPFox que dejó de funcionar al actualizar a Firefox 7.0 y el último que he usado y es compatible con todos los navagadores que admitan el uso de un proxy (Opera, Chrome, Internet Explorer, Safari, Firefox, etc.) es Fiddler2.

Fiddler2 es una aplicación realizada en .NET y es completísima además de freeware (lástima que no sea open source) pero sólo está disponible para Windows.

Crear un keystore vacío desde línea de comandos

Estaba buscando una forma de crear un almacén de certificados vacío y la única forma que he encontrado es crearlo con una clave y luego borrarla. Ahí van las dos líneas necesarias para crear el fichero vacío en dos formatos (PKCS12 y JKS) desde línea de comandos con la utilidad keytool que se incluye en JDK.


Creando el keystore en formato PKCS12:

keytool -genkey -alias prueba -storetype pkcs12 -keystore fichero.pfx
keytool -delete -alias prueba -storetype pkcs12 -keystore fichero.pfx


Y para crearlo en formato jks:

keytool -genkey -alias prueba -storetype jks  -keystore fichero.jks
keytool -delete -alias prueba -storetype jks  -keystore fichero.jks



Actualización (07/08/2013):

Viendo que esta es una de las entradas más visitadas del blog, os recomiendo usar una herramienta gráfica libre para crear, modificar o importar/exportar certificados: Portecle.
La he usado muchas veces y funciona perfectamente pero hay que tener en cuenta que con algunos certificados puede fallar debido a las restricciones de exportación de criptografía en EEUU y los límites impuestos en el JRE que tengamos instalado. Para no sufrir este problema deben descargar el fichero Java Cryptography Extension (JCE) Unlimited Strength Jurisdiction Policy y descomprimirlo en el directorio lib/security del JRE. Cierren Portecle y vuelvan a ejecutarlo tras este cambio en el JRE.

Fileformat.info: La caja de herramientas online

Buscando una página donde pudiera calcular rápidamente el MD5 de una cadena, sin instalar herramientas ni nada, he encontrado una página que es la auténtica navaja suiza para programadores y administradores de sistemas: Fileformat.Info

Incluye cosas tan útiles como una calculadora de hash donde podemos introducir una cadena o subir un fichero para aplicarles distintas funciones hash (crc32. md5, sha-1, sha-256, etc.), una referencia de los caracteres Unicode o una página para probar expresiones regulares.


Actualización (25/06/2009):
En Text Utilities he encontrado algo parecido pero tiene más funciones además de las que aporta Fileformat.info