Ups!, nunca había visto ese problema en MAME pero a ver... podrías verificar algunas cosas...
El último MAME pide DirectX 9, podrías ver que versión tienes instalada, en el Menú Inicio / Ejecutar escribe : "dxdiag" y abajo aparece "Versión de DirectX"
Si no tienes la última, bájala desde acá:
http://www.microsoft.com/directx/
Otra cosa... instala el mame32fx en una carpeta nueva, no encima de la que ya tengas ya que podría haber algún archivo cfg que esté molestando.
Una vez que lo tengas instalado desde 0 anda al menú Options / Default Game Options y haz lo siguiente:
Display:
- Desmarca "Run in a window"
- Marca "Start out maximized"
- Desmarca "Enforce aspect ratio"
- Marca "Throttle"
- Bitmap prescaling: 1
- Gamma Correction: 1.00
- Brightness Correction: 1.00
- Contrast Correction: 1.00
- Pause Brightness: 0.65 (si la dejas en 1.00 cuando pones pausa se ve igual que cuando estás jugando)
- Videomode: Direct3D
- Rotation: Default
- Desmarca "Flip screen upside-town"
- Desmarca "Flip screen left-right"
- Desmarca "Use Bilinear Filtering"
- Direct3D: Version 9
Advanced:
- Marca "Triple buffering"
- Desmarca "Sync to monitor refresh"
- Marca "Wait for vertical sync"
- Frame skipping marca "Automatic"
- Full screen gamma: 1.00
- Full screen brightness: 1.00
- Full screen contrast: 1.00
Screen:
- Screen: Auto
- Marca Autoselect aspect
- View: Auto
- Size: Auto
- Refresh: Auto
- Desmarca "Switch resolutions to fit"
Yo utilizo estas opciones y me anda super bien
Saludos