Master en SQL Server Integration Services (SSIS) 2016 2017

Desde una base de datos SQL Server exportamos los datos de una tabla a otra base de datos en la misma instancia, todo esto utilizando SQL Server Management Studio. Terminamos el video exportando datos desde una tabla en nuestra instancia a un archivo de texto.

Hagamos ahora a través del SQL Server Data Tools el mismo ETL que desarrollamos con Management Studio en la clase número 6.

No pretendo que aprendas a hacer ETLs hasta este punto, la idea de esta clase es que te vayas haciendo una idea de la forma en que trabajamos con SSIS.

Aprendemos cómo manipular ETLs ya existentes y la forma en que podemos crear catálogos para desplegar nuestros proyectos de SSIS en una instancia de MSSQL

Con SQL Server Integration Services tenemos un amplio abanico de posibilidades cuando de conexiones se trata; entender cómo funcionan, cómo podemos compartirlas entre paquetes dentro de un mismo proyecto y cómo podemos configurarlas es parte fundamental de este curso y de todas las prácticas que realizaremos en lo adelante.

Acá vemos otras conexiones que no son de base de datos; hablamos de los permisos que debe tener el servicio de SQL Server Integration Services para interactuar con el sistema de archivos desde un paquete o ETL

El ejemplo del FTP Task lo vamos a tratar dentro de la sección Control Flow

Es la base de cada paquete o ETL. Vamos a conocerlo de cerca, sus funcionalidades y propiedades. Ya en la sesión dedicada al Control Flow realizaremos ejercicios en la parte práctica

Ambas tareas nos permiten ejecutar código T-SQL pero cada uno tienen sus particularidades. Aprovechamos acá para mostrar la forma en que podemos asignar el valor de un resultset a una variable.

Creando tareas que ejecuten procedimientos desde el sistema operativo (archivos por lotes, ejecutables, etc.)

En este video conoceremos el uso  que le podemos dar a los distintos contenedores que nos brinda SSIS, sus funciones y las propiedades compartidas entre ellos de forma común.

Aprenderemos sobre el uso y configuración del Sequence Container y por primera vez introducimos el concepto de Transacciones (begin tran, commit, rollback) dentro de un ETL.

Para el ejercicio puedes descargar el archivo con los scripts y las instrucciones para su realización

En esta ocación abordaremos unos de los dos contenedores que nos permiten iterar acciones dentro de un ETL, el ForEach Loop container. Al igual que en la clase del  sequence container, agregamos un ejemplo cuyas instrucciones puedes descargar en la sección de recursos de esta entrega.

Nuestro último contenedor es el For Loop Container y este capítulo vamos a abordar sobre su uso y configuración. Incluímos además las instrucciones en PDF para la realización del ejercicio correspondiente.

En la sección 2, dentro de la clase "Otras conexiones archivos y FTP" repasamso las funcionalidades del componente FTP Task, pero en esta ocasión lo estudiamos a fondo y realizamos un ejemplo real.

Aprendamos a configurar un servidor SMTP dentro de nuestro ETL y a la vez utlizarlo junto con el Send Mail Task para enviar mensajes de correos  electrónicos.

Script task nos brinda la facilidad de, a través de programación, construir tareas y soluciones que no están incluídas dentro de SSIS. 

Este componente puede ser de mucha utilidad cuando queramos transformar datos a escalas menores, de forma agregada (sumarizados, promediados, etc.)

Para las instrucciones del ejercicio debes descargar el PDF cargada dentro de los recursos.

El Conditional Split  es un componente que nos va a permitir evaluar expresiones para cada columna de un set de datos. El componente evalúa expresiones y basado en el resultado de estas dirige los datos a una salida en específico. 

En este video realizaremos un ejercicio, cuyas instrucciones puedes descargar en el apartado correspondiente. 

Tres componentes para trabajar sobre columnas de forma específicas ya sea copiándolas, creándolas, sustituyéndolas o cambiando su tipo de datos.

Tanto el Copy Column como el Data Conversion son de muy fácil uso y su aprendizaje no va más allá de 1 minuto; en cambio, la columna derivada es un componente de mucho uso y que tiene múltiples aplicaciones tal como lo vemos en la explicación dentro del video.

Sobre este último tenemos un ejemplo práctico que te invito a descargar y realizar para enraizar lo aprendido

Lookup nos ayuda a realizar búsquedas de filas de un set de datos dentro de otro; vamos a conocer el componente y a relizar el ejercicio correspondiente disponible para descarga.

Tres componentes que nos permiten agrupar distintos sets de datos, cada uno tiene sus particularidades y dependencias. En el video puedes aprender a utilizarlos y luego practicar el ejercicio que adjunto como pdf.

Este componente nos permite generar un set de datos final luego de regalizar relaciones o joins entre dos o más datasets tal como lo hacemos con código T-SQL

El multicast distruye un data set de entrada en uno o más datasets de salidas. Su comportamiento es similar al del Conditional Split. Ambas transformacinoes reciben una entrada de datos y las distribuyen en varias. La diferencia básicamente es que el conditional Split envía una fila  una única salida mientras que el multicast envía todas las filas existentes a cada una de las salidas definidas.

El Ole db command nos brinda la facilidad de ejecutar una instrucción SQL para cada una de las filas del data flow. 

Con este componente podemos contar los registros o filas que pasan a través de un data flow. Agregaremos al ETL del capítulo OLE DB Command, un paso adicional para almacenar un log de ejcución de nuestro ETL, donde utilizaremos además algunas variables del sitsema.

Muchas veces necesitamos trabajar solo con una parte de los datos; ya sea para manipular menos datos desde un ambiente de desarrollo o porque estamos realizando un ejercicio estadístico, Row y Percentage Sampling nos permiten elegir de manera aleatoria datos de un dataset, ya sea de forma absoluta especificando la cantidad de filas a requerir o de manera relativa eligiendo una muestra basada en un porcentaje

Uno de los componentes más cautivadores, SCD por sus siglas en inglés, Slowly Changing Dimensions, se refiere a los datos de las dimensiones que van cambiando a través del tiempo.

Las dimensiones pueden ser estáticas como los años y meses, o cambiar lentamente como los nombres de los países, o cambiar más rápidamente como la clasificación de los productos. 

Estos dos componentes nos ayudan a interactuar con archivos dentro de nuestro disco o en una base de datos. Pasemos a ver uno de los ejemplos más intersantes que tenemos dentro de todo el curso de SSIS

Forma de enriquecer nuestro data flow con código escrito en C# o en VB.Net

En el ejemplo convertiremos cadenas de caracteres a palabras separadas en filas.

Abordamos acá algunos componentes de fuentes y destinos que no son tan utilizados, pero que si necesitamos conocer. Hacemos además un pequeño ejercio escribiendo datos en Excel.

Integration services nos brinda muchos otros componentes de transformación que no son altamente usados, pero que es necesario conocer sus funcionalidades y características. Vemos además la manera en que podemos dividir nuestros ETL en distintos hilos del procesador (paralelismo)

Aprendamos acá los distintos niveles de seguridad que nos brinda SSIS

Aprendemos a enriquecer nuestro esquema de trabajo bajo SQL Server Data tools, instalando componentes que nos permiten realizar interacción con servicios de datos dentro de Azure

Aprendamos acá una de las funcionalidades más atractivas -dentro de mis favoritas- que nos ofrece SSIS. Vamos a ver el modo de configurar nuestros ETL sin necesidad de modificarlos desde el SQL Server Data Tools!

Parte de las funcionalidades que nos brinda SSIS desde Data tools para depurar nuestros paquetes de extracción, transformación y carga de datos

Evidenciamos la manera en que podemos desplegar un proyecto de SSIS a un catálogo dentro de una instancia de SQL Server

Los ETLs pueden ser ejecutados tanto de manera manual -desde el mismo data tools o desde el sistema operativo- o utilizando tareas automatizadas del SQL Server Agent. Pasemos a conocer la forma en ambas funcionan y las múltiples opciones a elegir 

No hay palabras para darte las gracias por haberme acompañado hasta aquí! Que el éxito esté SIEMPRE de tu lado.