While a short answer would be inviting, this will be the last question to be answered.
The exponential increase in data availability, driven by Industry 4.0 and the sustainability goals of Industry 5.0, is reshaping industry overall. According to McKinsey & Company, advanced analytics and machine learning can boost production efficiency by 10%, while reducing energy consumption and maintenance costs by 20%. At the same time, lab data cost is as high as before and datasets remain small. With such a diversity of data, can machine learning be a fit-for-all tool?
Yes and no. Indeed, machine learning, coupled with more traditional statistics and data science, can uncover patterns in most datasets. However, this is only possible by tailoring the machine learning approach to the data at stake.
The first step is thus to identify the key characteristics of data, using univariate and multivariate statistics to recognize the variables distributions. These initial insights can guide us to reprocess the data to augment its value, e.g., by removing outliers or imputing missing values. If traditional statistics doesn’t provide a full picture, data science tools can be applied to understand the key variability in the dataset (e.g., PCA) or samples with similar characteristics (e.g., clustering). Such a comprehensive exploratory analysis of the data builds the ground for supervised machine learning, where output where outputs can be estimated from inputs and leveraged not only for prediction, but also for process control, optimization, decision-making. A true rainbow of possibilities opens up and once again the question is: what is the best method to extract value from this particular data?
How can a biochemist or chemical engineer swim in this huge machine learning pool? By recognizing the value in data and by selecting the best techniques to make use of that value. Does this mean we all need a 5-year bachelor in machine learning? Not really. In two intense days you will go from standing at the edge to diving into the ML pool.
If you want to deepen your knowledge and apply machine learning in real-world Chemical Engineering contexts, explore the 8-hour specialization courses Machine Learning & AI for Chemical Engineering – Basic and Machine Learning & AI for Chemical Engineering – Advanced. In just two intensive days, you will gain practical skills to turn data into value, even when datasets seem small, unstable, or complex. Choose the level that best fits your profile and learn how to apply AI to chemical processes in a hands-on way.
About the authors
Pedro Mendes is a Professor at Instituto Superior Técnico and the Coordinator of the Machine Learning & AI for Chemical Engineering – Basic and Advanced courses.
Bárbara Sequeira is a Master’s student in Chemical Engineering.
[Texto completo em português]
Existe valor nos meus dados pequenos e muitas vezes pouco fiáveis, ou nos meus dados grandes e estáveis?
Embora uma resposta curta fosse tentadora, esta será a última pergunta a ser respondida.
O aumento exponencial da disponibilidade de dados, impulsionado pela Indústria 4.0 e pelos objetivos de sustentabilidade da Indústria 5.0, está a transformar o setor industrial como um todo. Segundo a McKinsey & Company, a análise avançada e o machine learning podem aumentar a eficiência da produção em 10% e reduzir os custos com energia e manutenção em 20%. Ao mesmo tempo, os custos associados aos dados laboratoriais continuam elevados e os conjuntos de dados permanecem pequenos. Com uma diversidade tão grande de dados, será o machine learning uma ferramenta universal?
Sim e não. De facto, o machine learning, aliado às estatísticas tradicionais e à ciência de dados, pode revelar padrões na maioria dos conjuntos de dados. No entanto, isso só é possível se a abordagem de machine learning for adaptada ao tipo de dados em questão.
O primeiro passo é, portanto, identificar as principais características dos dados, utilizando estatísticas univariadas e multivariadas para reconhecer a distribuição das variáveis. Estas perceções iniciais ajudam-nos a reprocessar os dados para aumentar o seu valor, por exemplo, removendo os valores aberrantes (outliers) ou imputando os valores em falta. Se as estatísticas tradicionais não forem suficientes para obter uma visão completa, podem ser aplicadas ferramentas de ciência de dados para compreender a variabilidade dominante nos dados (por exemplo, PCA) ou identificar amostras com características semelhantes (por exemplo, clustering). Esta análise exploratória abrangente constitui a base para o machine learning supervisionado, em que as variáveis de saída podem ser estimadas a partir das variáveis de entrada e utilizadas não apenas para previsão, mas também para controlo de processos, otimização e apoio à tomada de decisão. Abre-se assim um verdadeiro leque de possibilidades e, mais uma vez, a pergunta impõe-se: qual é o melhor método para extrair valor destes dados em particular?
Como pode um bioquímico ou engenheiro químico navegar neste vasto universo do machine learning? Reconhecendo o valor dos dados e escolhendo as melhores técnicas para explorar esse valor. Será que isso significa que todos temos de tirar uma licenciatura de cinco anos em machine learning? Nem por isso. Em apenas dois dias intensivos, passará de quem apenas observa da margem a quem mergulha de cabeça na piscina do machine learning.
Se deseja aprofundar os seus conhecimentos e aplicar o machine learning em contextos reais da Engenharia Química, descubra os cursos de especialização (8h) em Machine Learning & AI for Chemical Engineering – Basic e Machine Learning & AI for Chemical Engineering – Advanced. Em dois dias intensivos, irá adquirir competências práticas para transformar dados em valor, mesmo quando os conjuntos de dados parecem pequenos, instáveis ou complexos. Escolha o nível mais adequado ao seu perfil e aprenda de forma prática a aplicação de IA aos processos químicos.
Sobre os autores
Pedro Mendes é Professor no Instituto Superior Técnico e Coordenador dos cursos Machine Learning & AI for Chemical Engineering – Basic e Advanced.
Bárbara Sequeira é estudante de mestrado na áreas da ciência de dados e engenharia química.
