De forma geral, os pipelines de dados se enquadram em um dos seguintes modelos: extrair-carregar, extrair-carregar-transformar ou extrair-transformar-carregar. Neste curso, descrevemos qual modelo deve ser usado e quando usá-lo para os dados em lote. Também tratamos de diversas tecnologias de transformação de dados disponíveis no Google Cloud Platform, como o BigQuery, a execução do Spark no Cloud Dataproc, os gráficos de pipeline no Cloud Data Fusion e o processamento de dados sem servidor com o Cloud Dataflow. Na atividade prática do Qwiklabs, os participantes criarão componentes de pipeline de dados no Google Cloud Platform.
Este curso forma parte de Programa Especializado - Data Engineer, Big Data and ML on Google Cloud em Português
ofrecido por
Acerca de este Curso
Certificado para compartir
Obtén un certificado al finalizar
100 % en línea
Comienza de inmediato y aprende a tu propio ritmo.
Fechas límite flexibles
Restablece las fechas límite en función de tus horarios.
Nivel intermedio
Aprox. 13 horas para completar
Portugués (de Brasil)
Subtítulos: Portugués (de Brasil), Inglés (English)
Certificado para compartir
Obtén un certificado al finalizar
100 % en línea
Comienza de inmediato y aprende a tu propio ritmo.
Fechas límite flexibles
Restablece las fechas límite en función de tus horarios.
Nivel intermedio
Aprox. 13 horas para completar
Portugués (de Brasil)
Subtítulos: Portugués (de Brasil), Inglés (English)
ofrecido por
Google Cloud
We help millions of organizations empower their employees, serve their customers, and build what’s next for their businesses with innovative technology created in—and for—the cloud. Our products are engineered for security, reliability, and scalability, running the full stack from infrastructure to applications to devices and hardware. Our teams are dedicated to helping customers apply our technologies to create success.
Programa - Qué aprenderás en este curso
6 minutos para completar
Introdução
Neste módulo, apresentaremos o curso e a programação
6 minutos para completar
2 videos (Total 6 minutos)
1 hora para completar
Introdução aos pipelines de dados em lote
Neste módulo, falaremos sobre os diferentes métodos de carregamento de dados: EL, ELT e ETL, e quando usar cada um deles
1 hora para completar
5 videos (Total 18 minutos)
5 videos
Considerações sobre qualidade1m
Como fazer operações no BigQuery3m
Limitações3m
ETL para solucionar problemas de qualidade de dados4m
1 ejercicio de práctica
EL, ELT, ETL30m
2 horas para completar
Como executar o Spark no Cloud Dataproc
Neste módulo, mostraremos como executar o Hadoop no Cloud Dataproc, como usar o GCS e como otimizar seus jobs do Dataproc
2 horas para completar
9 videos (Total 49 minutos)
9 videos
Como executar o Hadoop no Cloud Dataproc10m
GCS em vez do HDFS6m
Como otimizar o Dataproc5m
Como otimizar o armazenamento do Dataproc9m
Como otimizar os modelos e o escalonamento automático do Dataproc4m
Como otimizar o monitoramento do Dataproc3m
Introdução ao laboratório: Como executar jobs do Apache Spark no Cloud Dataproc27s
Resumo31s
1 ejercicio de práctica
Como executar o Spark no Cloud Dataproc4m
3 horas para completar
Gerencie pipelines de dados com o Cloud Data Fusion e o Cloud Composer
Neste módulo, mostraremos como gerenciar pipelines de dados com o Cloud Data Fusion e o Cloud Composer.
3 horas para completar
11 videos (Total 45 minutos)
11 videos
Componentes do Data Fusion2m
Como criar pipelines6m
Como analisar dados usando o Wrangler1m
Laboratório: Como criar e executar um gráfico de pipeline no Cloud Data Fusion17s
Como orquestrar o trabalho entre os serviços do GCP com o Cloud Composer1m
Ambiente do Apache Airflow1m
DAGs e operadores12m
Como programar o fluxo de trabalho6m
Monitoramento e registro4m
Laboratório: Introdução ao Cloud Composer12s
1 ejercicio de práctica
Cloud Data Fusion e Cloud Composer30m
7 horas para completar
Processamento de dados sem servidor com o Cloud Dataflow
Neste módulo, explicaremos como usar o Cloud Dataflow para criar pipelines de processamento de dados
7 horas para completar
12 videos (Total 40 minutos)
12 videos
Por que os clientes valorizam o Dataflow3m
Como criar pipelines do Cloud Dataflow em código3m
Principais considerações no design de pipelines2m
Como transformar dados com PTransforms3m
Laboratório: Como criar um pipeline simples do Dataflow17s
Como agregar com GroupByKey e Combine7m
Laboratório: MapReduce no Cloud Dataflow18s
Entradas secundárias e janelas de dados4m
Laboratório: Prática de entradas secundárias de pipelines11s
Como criar e reutilizar modelos de pipeline3m
Pipelines de SQL do Cloud Dataflow3m
1 ejercicio de práctica
Processamento de dados com o Cloud Dataflow30m
4 minutos para completar
Resumo
Neste módulo, revisaremos os temas abordados no curso
4 minutos para completar
1 video (Total 4 minutos)
1 video
Acerca de Programa especializado: Data Engineer, Big Data and ML on Google Cloud em Português
Nesta especialização on-line intensiva de cinco semanas, os participantes terão uma introdução prática sobre como projetar e criar sistemas de processamento de dados no Google Cloud Platform. Por meio de uma combinação de apresentações, demonstrações e laboratórios práticos, os participantes aprenderão a projetar sistemas de processamento de dados, criar canais completos e análises de dados e desenvolver soluções de aprendizado de máquina. Neste curso, abordamos dados estruturados, não estruturados e de streaming.
Neste curso, os participantes irão adquirir as seguintes habilidades:
• projetar e criar sistemas de processamento de dados no Google Cloud Platform
• usar dados não estruturados com as APIs do Spark e de aprendizado de máquina no Cloud Dataproc
• processar dados em lote e streaming com a implementação de canais de dados de escalonamento automático no Cloud Dataflow
• derivar insights de negócios a partir de conjuntos de dados extremamente grandes usando o Google BigQuery
• treinar, avaliar e prever com modelos de aprendizado de máquina usando o TensorFlow e o Cloud ML
• ativar insights instantâneos dos dados de streaming
Esta aula destina-se a desenvolvedores experientes responsáveis pelo gerenciamento de transformações de Big Data.
>>> Ao se inscrever nesta especialização, você concorda com os Termos de Serviço do Qwiklabs conforme estabelecido na seção de perguntas frequentes. Veja os Termos de Serviço aqui: https://qwiklabs.com/terms_of_service <<<
Preguntas Frecuentes
¿Puedo acceder a una vista preliminar del curso antes de inscribirme?
Sí, puedes acceder a una vista preliminar del primer video y ver el programa antes de inscribirte. Debes comprar el curso para acceder a contenido que no está incluido en la vista preliminar
¿Qué recibiré cuando me inscriba?
Una vez que te inscribes y comienza la sesión, tendrás acceso a todos los videos y otros recursos, incluidos artículos de lectura y el foro de debate del curso. Podrás ver y enviar tareas de práctica y completar tareas con calificación obligatorias para obtener un título y un Certificado de curso
¿Cuándo recibiré mi Certificado de curso?
Si completas el curso de manera correcta, tu Certificado de curso electrónico se agregará a la página Logros. Desde allí, puedes imprimir tu Certificado de curso o agregarlo a tu perfil de LinkedIn
¿Por qué no puedo participar como oyente en este curso?
Este curso es uno de los pocos que se ofrecen en Coursera que está actualmente disponible solo para estudiantes que pagaron o que recibieron ayuda económica, si está disponible.
Is financial aid available?
Sí, Coursera ofrece ayuda económica a los estudiantes que no pueden pagar la tarifa. Solicítala haciendo clic en el enlace de Ayuda económica que está debajo del botón “Inscribirse” a la izquierda. Se te pedirá que completes una solicitud. Recibirás una notificación en caso de que se apruebe. Deberás completar este paso para cada uno de los cursos que forman parte del Programa especializado, incluido el proyecto final. Obtén más información.
¿Recibiré crédito universitario por completar el Curso?
Este Curso no otorga crédito universitario, pero algunas universidades pueden aceptar los Certificados del curso para obtener crédito. Consulta con tu institución para obtener más información. Los Títulos en línea y los Certificados Mastertrack™ de Coursera brindan la oportunidad de obtener créditos universitarios.
¿Tienes más preguntas? Visita el Centro de Ayuda al Alumno.
