Смысл этого выражения прост, это означает, что человек говорит, что-то несуразное, неправдоподобное. Это означает, что мнение одного человека идет в разрез с чужим мнением, и тогда он применяет эту фразу. Человек хочет доказать, что вы говорите полную нелепость и чушь. И что в принципе этого не может быть.
