While the capabilities of Claude, ChatGPT and other LLM-based APIs keep surprising us every day, 91% of manufacturing companies are still not considering it at all. Other than the data security issues, their direct translation to research and industry is not straightforward because agentic AI is based on a multitude of agents that excel in specific tasks. To get competent agents, proprietary data must be used in the training stage, coping with its specificities.
The key questions is value: is there any value in my small, often unreliable data or in my huge, but rather stable data? While a short answer would be inviting, this will be the last question to be answered.
The exponential increase in data availability, driven by Industry 4.0 and the sustainability goals of Industry 5.0, is reshaping industry overall. According to McKinsey & Company, advanced analytics and machine learning can boost production efficiency by 10%, while reducing energy consumption and maintenance costs by 20%. At the same time, lab data cost is as high as before and datasets remain small. With such a diversity of data, can machine learning be a fit-for-all tool?
Yes and no. Indeed, machine learning, coupled with more traditional statistics and data science, can uncover patterns in most datasets. However, this is only possible by tailoring the machine learning approach to the data at stake.
The first step is thus to identify the key characteristics of data, using univariate and multivariate statistics to recognize the variables distributions. These initial insights can guide us to reprocess the data to augment its value, e.g., by removing outliers or imputing missing values. If traditional statistics doesn’t provide a full picture, data science tools can be applied to understand the key variability in the dataset (e.g., PCA) or samples with similar characteristics (e.g., clustering). Such a comprehensive exploratory analysis of the data builds the ground for supervised machine learning, where output where outputs can be estimated from inputs and leveraged not only for prediction, but also for process control, optimization, decision-making. A true rainbow of possibilities opens up and once again the question is: what is the best method to extract value from this particular data?
How can a biochemist or chemical engineer swim in this huge machine learning pool? By recognizing the value in data and by selecting the best techniques to make use of that value. Does this mean we all need a 5-year bachelor in machine learning? Not really. In two intense days you will go from standing at the edge to diving into the ML pool.
Ready to turn your data into actionable insights?
Build practical machine learning skills for Chemical Engineering with the Machine Learning & AI for Chemical Engineering – Fundamentals to Advanced programme. Through intensive, hands-on training, you will learn how to extract value from laboratory and industrial data, select the right machine learning techniques for different types of datasets, and apply AI to real Chemical Engineering challenges. Choose the level that best matches your experience and start putting machine learning into practice.
About the authors
Pedro Mendes is a Professor at Instituto Superior Técnico and the Coordinator of the Machine Learning & AI for Chemical Engineering – Basic and Advanced courses.
Bárbara Sequeira is a Master’s student in Chemical Engineering.
[Texto completo em português]
O Papel do Machine Learning na Era da IA Agêntica
Apesar de as capacidades do Claude, do ChatGPT e de outras APIs baseadas em LLMs continuarem a surpreender-nos diariamente, 91% das empresas do setor industrial ainda não consideram, de todo, a sua adoção. Para além das questões de segurança dos dados, a sua transposição direta para a investigação e para a indústria não é simples, uma vez que a IA agêntica assenta numa multiplicidade de agentes que se destacam em tarefas específicas. Para obter agentes competentes, é necessário utilizar dados proprietários na fase de treino, lidando com as suas especificidades próprias.
A questão-chave é o valor: existirá algum valor nos meus dados reduzidos e, frequentemente, pouco fiáveis, ou nos meus dados volumosos, mas relativamente estáveis? Embora uma resposta curta fosse tentadora, essa será precisamente a última pergunta a ser respondida.
O crescimento exponencial da disponibilidade de dados, impulsionado pela Indústria 4.0 e pelos objetivos de sustentabilidade da Indústria 5.0, está a reconfigurar a indústria global. Segundo a McKinsey & Company, a análise avançada de dados e o machine learning podem aumentar a eficiência da produção em 10%, reduzindo simultaneamente o consumo de energia e os custos de manutenção em 20%. Ao mesmo tempo, o custo dos dados laboratoriais continua tão elevado como antes e os conjuntos de dados permanecem reduzidos. Com uma tal diversidade de dados, poderá o machine learning ser uma ferramenta universal?
Sim e não. De facto, o machine learning, aliado às estatísticas tradicionais e à ciência de dados, pode revelar padrões na maioria dos conjuntos de dados. No entanto, isso só é possível se a abordagem de machine learning for adaptada ao tipo de dados em questão.
O primeiro passo é, portanto, identificar as principais características dos dados, utilizando estatísticas univariadas e multivariadas para reconhecer a distribuição das variáveis. Estas perceções iniciais ajudam-nos a reprocessar os dados para aumentar o seu valor, por exemplo, removendo os valores aberrantes (outliers) ou imputando os valores em falta. Se as estatísticas tradicionais não forem suficientes para obter uma visão completa, podem ser aplicadas ferramentas de ciência de dados para compreender a variabilidade dominante nos dados (por exemplo, PCA) ou identificar amostras com características semelhantes (por exemplo, clustering). Esta análise exploratória abrangente constitui a base para o machine learning supervisionado, em que as variáveis de saída podem ser estimadas a partir das variáveis de entrada e utilizadas não apenas para previsão, mas também para controlo de processos, otimização e apoio à tomada de decisão. Abre-se assim um verdadeiro leque de possibilidades e, mais uma vez, a pergunta impõe-se: qual é o melhor método para extrair valor destes dados em particular?
Como pode um bioquímico ou engenheiro químico navegar neste vasto universo do machine learning? Reconhecendo o valor dos dados e escolhendo as melhores técnicas para explorar esse valor. Será que isso significa que todos temos de tirar uma licenciatura de cinco anos em machine learning? Nem por isso. Em apenas dois dias intensivos, passará de quem apenas observa da margem a quem mergulha de cabeça na piscina do machine learning.
Pronto para transformar os seus dados em conhecimento prático?
Desenvolva competências práticas de machine learning para Engenharia Química com o programa Machine Learning & AI for Chemical Engineering – Fundamentals to Advanced. Através de uma formação intensiva e prática, aprenderá a extrair valor de dados laboratoriais e industriais, a selecionar as técnicas de machine learning certas para diferentes tipos de conjuntos de dados e a aplicar a IA a desafios reais da Engenharia Química. Escolha o nível que melhor se adapta à sua experiência e comece a colocar o machine learning em prática.
Sobre os autores
Pedro Mendes é Professor no Instituto Superior Técnico e Coordenador dos cursos Machine Learning & AI for Chemical Engineering – Basic e Advanced.
Bárbara Sequeira é estudante de mestrado na áreas da ciência de dados e engenharia química.
