Тут всё довольно просто. Первым животным, прирученным человеком, была собака. И именно в связке человек-собака наши предки противопоставляли человеческие качества животным. В частности, считалось, что в выборе партнера человек руководствуется движением души, а животное инстинктом. Поэтому людей, которые в сексуальном плане вели себя, как животные, называли - "кобель" и "сучка". А известное русское слово на букву "б" происходит от общеарийского названия крови (отсюда, кстати, и английское blood), в том числе менструальной крови при течке у животных. Поэтому дословно "б..." - это течная сучка, которой под действием гормонов и инстинктов в такой момент становится всё равно, с кем спариваться. Когда так себя ведет женщина, то её тоже называли "б...", а само поведение - "блудом". Видимым плодом блуда, естественно, является "сукин сын" (ну или "пся крев" ("пёсья кровь") по-польски).
Теперь к теме вопроса. Выражение "... твою мать" является синонимом фразы "сукин сын", поскольку подразумевает, что мать того, кому оно адресовано, есть женщина лёгкого поведения, она же "б...", она же "сучка", и вступать в сексуальные отношения с ней мог любой желающий, включая автора тирады. То есть исконный смысл - низвести своего оппонента до "мира зверей", показав ему, что до человека он, вместе со всей его родней, ещё не дорос.