Não é de hoje que os jogos de estratégia chamam a atenção para a capacidade humana de raciocínio e criatividade. Nas últimas décadas, eles também têm sido palco para atestar o avanço da Inteligência Artificial, com as famosas vitórias sobre campeões de jogos de tabuleiro como o xadrez, em 1997, e o Go, em 2016. O que a maioria das pessoas talvez não perceba é que, para além de demonstrações, o uso desse tipo de jogo se constitui numa importante ferramenta para “treinar” a Inteligência Artificial para outros usos, com implicações diretas em vários campos da ação humana, como na indústria, saúde e defesa militar.

É pensando nisso que um grupo de pesquisa ligado ao Laboratório de Jogos (GameLab) do Instituto Metrópole Digital (IMD/UFRN) vem intensificando os estudos na área, mas com uma diferença importante: ao invés de fazer uso de um jogo de tabuleiro, os pesquisadores empregam um jogo digital conhecido por sua alta complexidade. Trata-se do StarCraft II, um clássico dos games de estratégia em tempo real, que se passa em um universo de ficção científica futurista.

Essa linha de pesquisa é intitulada como “Construção automatizada de estratégias para jogos complexos, por meio de técnicas de aprendizado por reforço profundo”, conforme explica o professor do IMD Charles Madeira, coordenador da iniciativa. Mas o que são jogos de estratégia complexos e por que eles desafiam tanto o homem como a Inteligência Artificial?

Bem, antes de mais nada, é preciso explicar o primeiro qualificador – a “estratégia”. Tais jogos são definidos assim pelo fato de seu resultado não depender primariamente da sorte, mas sim das decisões planejadas dos jogadores, baseadas na análise de múltiplos fatores, inclusive na antecipação das ações futuras dos oponentes. E são “complexos” por aspectos como: terem um alto número de estados possíveis; possuírem vários agentes com objetivos próprios; acontecerem em tempo real; serem afetados por variáveis externas; e possuírem regras que proporcionam diversos caminhos estratégicos e formas de vitórias.

Para compreender melhor a linha de pesquisa, também é importante saber do que se trata o “aprendizado por reforço profundo”. Charles Madeira o define como aquele que, em vez de se basear em regras pré-definidas, o agente interage com o ambiente por tentativa e erro, recebendo reforços positivos ou negativos e aprimorando suas ações com o auxílio de redes neurais profundas, que funcionam como o “cérebro” do sistema. Ele compara esse mecanismo ao aprendizado de uma criança que descobre como andar ou falar a partir das próprias experiências e da resposta do ambiente.

Resultados

O trabalho do grupo de pesquisa do IMD nessa área já vem acumulando resultados relevantes. Um dos mais recentes foi a publicação de um artigo científico de revisão sistemática sobre o tema, em um periódico internacional de alto impacto do Institute of Electrical and Electronics Engineers (IEEE). O artigo reúne e categoriza os principais estudos existentes sobre o uso de jogos de estratégia complexos como ambiente de teste para algoritmos de Inteligência Artificial.

Intitulado Deep reinforcement learning in real-time strategy games: a systematic literature review, o paper é fruto do trabalho de mestrado de Gabriel Caldas Barros e Sá, sendo de autoria dele e de Charles Madeira, que foi seu orientador no Programa de Pós-graduação em Tecnologia da Informação (PPGTI).

Segundo detalha o docente, o trabalho não apenas mapeia as soluções existentes e as dificuldades encontradas pelos pesquisadores da área, mas também aponta as lacunas e os caminhos que ainda precisam ser trilhados para o desenvolvimento de sistemas mais eficientes. “Fizemos uma categorização detalhada, mostrando as possibilidades e os desafios do uso desse tipo de abordagem em ambientes de grande complexidade, como o StarCraft”, afirma.

A publicação do artigo já começa a gerar repercussões no meio acadêmico. O próprio Charles Madeira foi convidado a integrar banca de avaliação de trabalho no exterior e a atuar como revisor de artigos sobre o tema. Uma dessas participações ocorreu no mês de julho em Paris, na Universidade de Sorbonne, onde ele fez parte da banca de doutorado de um pesquisador que desenvolveu uma tese relacionada ao uso de aprendizado por reforço profundo aplicado à defesa aérea, inspirando-se em situações reais de conflito, como os recentes ataques com drones e mísseis entre Irã e Israel.

Trajetória

O foco da linha de pesquisa também guarda relação direta com a trajetória acadêmica do professor Charles Madeira. Em 2007, ele defendeu seu doutorado na Universidade de Sorbonne, em Paris, já trabalhando com o desenvolvimento de estratégias para ambientes de alta complexidade por meio de Inteligência Artificial. Na época, as soluções ainda eram baseadas em redes neurais rasas (bem mais simples que as atuais redes profundas), devido às limitações tecnológicas do período, mas a temática central era a mesma: treinar sistemas computacionais a tomar decisões estratégicas em cenários imprevisíveis, como os de simulação militar.

A experiência acumulada nesse período foi ampliada quando, após o doutorado, ele passou quase cinco anos atuando em uma empresa francesa especializada no desenvolvimento de tecnologias de defesa. Lá, participou da criação de sistemas de IA voltados à formulação de estratégias adaptativas para situações de conflito em ambientes com informações incompletas ou em constante mudança. Agora, com o avanço das técnicas de aprendizado por reforço profundo e da capacidade computacional, ele tem retomado esses estudos no IMD, aproximando a UFRN de uma das fronteiras mais atuais da pesquisa em Inteligência Artificial.

Segundo Charles Madeira, a evolução recente da Inteligência Artificial só foi possível graças a um conjunto de fatores tecnológicos que se combinaram nos últimos anos. Ele destaca, principalmente, o avanço da supercomputação e das placas gráficas (GPUs), originalmente desenvolvidas para jogos, mas que passaram a ser usadas em larga escala no treinamento de redes neurais profundas.

Esse aumento de poder computacional permitiu que os sistemas de IA deixassem de depender de modelos simplificados e fossem capazes de lidar com volumes massivos de dados e problemas de altíssima complexidade. “Hoje, conseguimos colocar toda a informação disponível no sistema e deixar que ele mesmo encontre as melhores soluções, sem precisar fazer aquele pré-processamento manual de abstração que era obrigatório no passado”, explica.

Apesar desse salto tecnológico, o docente lembra que o caminho da Inteligência Artificial não foi linear. Ele aponta que a história da área é marcada por ciclos de grande entusiasmo seguidos por períodos de queda e estagnação, os chamados “invernos da IA”. A atual ascensão, que consiste na terceira forte progressão da área, iniciada na segunda década do século XXI, está sendo impulsionada pelo que ele chama de um “coquetel tecnológico”: supercomputação acessível, dados abundantes circulando em rede e técnicas avançadas de aprendizado profundo.

Esse cenário tornou possível resolver problemas antes considerados inalcançáveis, mas também trouxe novos desafios, como a dificuldade de interpretar as decisões tomadas pelos algoritmos — uma questão central para áreas como a defesa e a segurança, que exigem explicações claras sobre as estratégias adotadas por sistemas autônomos. Inclusive, a explicabilidade da solução foi um ponto importante explorado na tese de doutorado cuja banca de defesa contou com a participação de Charles Madeira em julho na Universidade de Sorbonne.

Domo de Ferro

Um exemplo concreto da importância desse tipo de pesquisa pôde ser visto recentemente no conflito entre Israel e Irã. Apesar de contar com um dos sistemas de defesa aérea mais avançados do mundo, o chamado “Domo de Ferro”, Israel não conseguiu interceptar todos os mísseis e drones lançados pelo adversário. O motivo, segundo Charles Madeira, está na mudança do cenário militar: os ataques passaram a ser realizados com armamentos de menor custo e em grande quantidade, tornando as estratégias tradicionais de defesa menos eficazes.

“Muitos dos sistemas atuais são baseados em regras pré-programadas, mas o ambiente de combate mudou. Agora, é preciso desenvolver sistemas adaptativos, capazes de encontrar novas estratégias em tempo real e se ajustar a situações que não foram previstas anteriormente”, afirma o pesquisador.

Mas as aplicações desse tipo de tecnologia vão muito além do campo militar. O mesmo tipo de algoritmo testado nos jogos de estratégia pode ser empregado em diversas outras áreas que envolvem ambientes dinâmicos e de alta complexidade. Exemplos incluem a otimização de processos industriais, o gerenciamento de redes logísticas, a análise do mercado financeiro, o controle inteligente de recursos hospitalares, a busca por novos medicamentos, entre outros.

Para o professor Charles, essa capacidade de aprender a partir da interação com o próprio ambiente e de propor soluções novas para problemas complexos é justamente o que torna o aprendizado por reforço profundo uma das áreas mais promissoras da Inteligência Artificial.

As perspectivas futuras da linha de pesquisa vinculada ao GameLab, segundo ele, envolvem tanto o aprofundamento dos estudos quanto a ampliação das parcerias nacionais e internacionais. Com a recente criação do doutorado do PPGTI no Instituto Metrópole Digital, o grupo pretende formar novos especialistas e aumentar a produção científica na área, investindo em projetos colaborativos com instituições estrangeiras, como a Universidade de Sorbonne.

Além disso, o grupo de pesquisa planeja expandir os estudos de técnicas desenvolvidas para aplicações práticas em diferentes setores da sociedade. A proposta é transformar os algoritmos e modelos testados no ambiente do jogo em soluções concretas para problemas reais, ajudando a construir sistemas inteligentes mais eficientes e adaptáveis. “Estamos apenas começando a explorar o potencial dessas tecnologias”, diz Charles Madeira.