El apareamiento no aleatorio o endogamia se presenta cuando los individuos tienden a aparearse con otros con los cuales están emparentados y tienen, por tanto, un genotipo muy similar a ellos. Este fenómeno se presenta normalmente cuando el tamaño de la población es pequeño. El caso más extremo de endogamia es la autofecundación, en la que los gametos de un mismo individuo se unen para formar un cigoto, lo cual es frecuente entre las plantas hermafroditas, aunque también se presenta en algunos animales, como las tenias. El apareamiento no aleatorio puede deberse a la poca capacidad de dispersión que tienen los individuos quienes, por esta razón, forman pequeñas poblaciones dentro de las cuales se reproducen, o bien, cuando una población atraviesa por un cuello de botella (reducción del número de individuos por eventos al azar) y tienen la consecuente necesidad de aparearse con organismos relacionados genéticamente.
El cambio de frecuencias genotípicas resultado de la endogamia se cuantifica mediante el coeficiente de endogamia, que mide la probabilidad de que dos alelos de un individuo sean idénticos por ascendencia, es decir, que tengan un ancestro común. Como consecuencia del apareamiento endogámico aumenta la proporción de los homocigotos y disminuye la de los heterocigotos. Si continúa el apareamiento no aleatorio entre individuos y existen alelos recesivos deletéreos en su acervo génico, se reducirá la adaptación promedio de los individuos, lo que puede llevarlos incluso a la extinción. La reducción de la aptitud que presentan las poblaciones con una alta homocigosis se denomina depresión endogámica.
El aumento de la homocigosis producida por los apareamientos no aleatorios se analiza con facilidad si consideramos una población de individuos que se autofecundan y en la que están presentes los alelos A1 y A2. Iniciamos el ejercicio con una población que tiene los siguientes genotipos: A1A1, A1A2 y A2A2, con una frecuencia de 0.25, 0.50, 0.25, respectivamente. Y si suponemos que la especie se autofecunda, los genotipos A1A1 y A2A2 tendrán únicamente progenie homocigota, porque producen gametos femeninos y masculinos solamente de una clase: A1 o A2; pero el genotipo A1A2, al formar gametos de dos clases, A1 y A2, producirá 50% de homocigotos (A1A1 y A2A2) y 50% de heterocigotos. Cuando se efectúa la autofecundación, la proporción de los homocigotos aumenta en cada generación filial, mientras el número de heterocigotos se reduce a la mitad, hasta que finalmente llega a cero.
La endogamia es un proceso que puede llevar al empantanamiento en algunos casos y a la pérdida de variabilidad, esto puede tener efectos profundos sobre las frecuencias alélicas de una población al provocar el aumento del genotipo homocigoto, mientras el heterocigoto disminuye en la misma proporción. Por ejemplo, en las poblaciones humanas, los efectos adversos de la endogamia son el aumento de la incidencia de numerosas enfermedades recesivas, como el síndrome de Ellis van Creveld, la fenilcetonuria o la enfermedad de Tay-Sachs.
