Seguinte, provavelmente vc sem querer clicou ESC na tela de de configuração de teclado, "bindando" o tela de macro à tecla ESC.
Se vc reinstalar tudo de novo como disseram é claro que não vai dar o problema, rsrsrs, mas vc nao preciosa fazer isso.
Cria ou edita uma macro qualquer e coloca na 1a linha isso:
gui(options);
Quando vc executar esta macro vai abrir a tela de opções que vc não consegue mais abrir. Então vá direto para onde configura as teclas (não as macros, as teclas do Minecraft de atacar, agachar, dropar, etc).
Aí vc procura a bind pra tela do Mod Macro, e "desbinda" a tecla ESC dela, pondo qualquer outra no lugar.
Então teu ESC volta ao comportamento normal.
Foi assim que fiz. Dá pra editar direto o arquivo options.txt(?) tbem, mas não lembro agora qual linha e to sem mine no momento.