Jogos de Ritmo: geração automática de beatmaps e alternativas de jogabilidade

MAC0499 - Trabalho Supervisionado de Graduação

Aluna: Nathalia Orlandi Borin

Orientador: Prof. Dr. Marcelo Queiroz

Resumo

Este trabalho tem o objetivo de explorar soluções para duas limitações presentes na maioria dos jogos de ritmo do mercado: o número restrito de músicas, devido ao caráter manual e demorado da criação de beatmaps que compõem suas fases, e alternativas de paradigmas na jogabilidade dos mesmos, que costumam exigir que o jogador execute ações em sincronia com a música, em instantes de tempo especificados por esse mesmo beatmap.

Foi desenvolvido um estudo na área de processamento de sinais de áudio musicais, especificamente no campo de detecção de onsets - instante que caracteriza o início do ataque de uma nota tocada por um instrumento - e beats, ou pulsos - correspondentes a uma subdivisão temporal regular da música - a fim de automatizar o processo de criação de beatmaps. Esses beatmaps foram gerados a partir de diferentes características de áudio (energéticas,espectrais, de fase e complexas) para determinar se um onset ocorre em um certo instante de tempo. Os beatmaps gerados automaticamente a partir dos arquivos de áudio foram validados através da comparação com 77 beatmaps originais (anotados manualmente) do jogo de código aberto osu!, que é referência de mercado, sendo a combinação entre classificadores baseados em características energéticas e complexas responsável pelo melhor resultado de 60% de similaridade média entre beatmaps (original e gerado automaticamente para uma mesma música)

Esses beatmaps foram usados no desenvolvimento de dois protótipos de jogos originais baseados em ritmo, um dentro do paradigma tradicional e outro com modelo de jogabilidade original, com músicas selecionadas pelos próprios jogadores. Os protótipos foram testados por 14 pessoas, que os avaliaram nos aspectos de diversão e percepção de sincronia em relação às músicas selecionadas. Numa escala de 1 a 5 de sincronia, os dois protótipos obtiveram média de 3,5, enquanto a média para o fator diversão foi de 3,85 e 2,92, respectivamente, avaliações estas acima do ponto médio da escala

Os resultados mostram que, ainda que os algoritmos e mecânicas desse trabalho possam e devam ser aprimorados em trabalhos futuros, a automatização do processo de geração de beatmaps para jogos de ritmo tradicionais, assim como usos alternativos do ritmo para compor paradigmas originais de jogabilidade, têm potencial para serem bem recebidos pelos jogadores, oferecendo estratégias viáveis para o desenvolvimento de jogos de ritmo originais.

Palavras-chave: jogos de ritmo, beatmap, processamento de áudio, extração de informações musicais

Anexos

Proposta Inicial Monografia (final) Apresentação (slides) Apresentação (gravação)

Código

Desenvolvimento do Beatmapper

Experimentos com detecção de onsets e beats para uso na geração automática de beatmaps. Para fins de encontrar e validar o melhor algoritmo, foram comparados os mapas gerados pelo beatmapper desenvolvido e mapas já existentes do jogo osu!.

Link: https://gitlab.com/papukweh/mir-experiments

Pipeline dos experimentos
Exemplo do início de uma música: as linhas representam beats em duas dificuldades diferentes do jogo osu!

Protótipo #1: Star Connect

Primeiro protótipo desenvolvido, segue o estilo de jogos de ritmo tradicional, exigindo que o jogador aperte os botões certos dentro de um certo intervalo de tempo. Possui uma temática de unir estrelas formando constelações. Jogadores podem jogar com as próprias músicas, basta colocar o arquivo .mp3 na pasta do jogo.

Link: https://gitlab.com/papukweh/rhythm-prototype

Menu inicial do jogo
Imagem da jogabilidade

Protótipo #2: Star Shooter

Segundo protótipo desenvolvido, foge do estilo de jogos de ritmo tradicional, misturando ritmo com shoot'em'up. O jogador controla uma nave e deve desviar de estrelas cadentes. Assim como no protótipo anterior, jogadores podem jogar com as próprias músicas, colocando o arquivo .mp3 na pasta do jogo.

Link: https://gitlab.com/papukweh/rhythm-prototype

Menu inicial do jogo
Imagem da jogabilidade