Una cosa es que el libro se llame REGLAS y otra que tenga REGLAS como título.
En el primero de los casos debes utilizar la tag display e indicar el nombre del libro dentro de Name. Sin embargo, en el segundo caso, el título del libro está almacenado directamente en title, dentro de tag y fuera de display.
Esto se resume en que el comando que buscas puede ser este:testfor @a {SelectedItem:{id:"minecraft:written_book",Count:1b,tag:{display:{Name:"REGLAS"}}}}
O este, utilizando el título del libro, y no el nombre, como identificador:/testfor @a {SelectedItem:{id:"minecraft:written_book",Count:1b,tag:{title:"REGLAS"}}}
Además de esto te aconsejo comprobar que la ejecución de los bloques de comandos es apropiada o probar a ejecutar tu comando desde una función, con el comando function y un archivo de texto plano con tu comando (con extensión mcfunction).
No dudes en comentar si tienes alguna otra pregunta o tu duda no queda resuelta.