Почему? 42!
Оказывается у жеста кручения пальцем у виска есть смысл, по крайней мере в английском - "have a screw loose in the head" (что объясняет, почему именно пальцем, почему именно у виска, и почему именно крутить). Но в русском похоже в какой-то момент смысл потерялся, остался только сам жест и его общее значение.