Máscaras en Photoshop:

Hay varios tipos de máscaras. 

Para aplicar una máscara de transparencia, a una capa ya existente: 

En ventana 'Capas', y con la capa implicada seleccionada, abajo, pulsar botón que sigue al de 'fx'. Funciona en escala de grises (blanco = transparente, negro = opaco). 

Más info sobre máscaras en: 
http://cgsign.blogspot.com/2009/08/uso-de-mascaras-en-photoshop-parte-i.html