Para que versión estas intentando hacerlo.
Si es posible hacerlo, hay muchas formas de conseguir lo que pides si no has conseguido hacerlo háblame por privado y te explico el proceso porque es más un pequeño mecanismo que un sólo comando en si.

En la versión 1.13.2 es mas fácil lo único que necesitas es un bloque de comandos en modo repetición y que este siempre activo.
El comando es el siguiente  /execute as @a[nbt={Inventory:[{id:"minecraft:diamond"}]}] run effect give @a minecraft:speed 2 0 true este comando sirve para detectar cuando en tu inventario hay almenos un diamante, si eso es correcto te dará velocidad nivel 1 mientras tengas el diamante en el inventario

Para alterarlo a tu gusto tienes que cambiar los siguientes datos del comando
 /execute as @a[nbt={Inventory:[{id:"minecraft:diamond"}]}] run effect give @p minecraft:speed 2 0 true

Por ejemplo si quieres que en lugar de un diamante sea una esmeralda y en lugar de velocidad sea velocidad de picar Nivel 2 seria así
/execute as @a[nbt={Inventory:[{id:"minecraft:emerald"}]}] run effect give @p minecraft:haste 2 1 true

Lo he probado y funciona!  Un par de dudas, a parte de lo que comenté sobe que el efecto sea solo por un diamante concreto y no cualquiera, por ejemplo.

Para que no aparezca en el chat lo que hace el bloque de comando como se hacía? Porque no para de salirme el mensaje "Se ha aplicado el efecto..." Y otra cosa, esto mismo no se puede hacer con los encantamientos, no? Por ejemplo que al tener un diamante en el inventario en lugar de darme velocidad me de caída de pluma.