Вопрос о крылатой фразе «играть без дураков» не дает особых подсказок. Главное — определиться в каком направлении искать на него ответ. Начнем с того, что в вопросе написано слово  «чему» . Стало быть, эта фраза не подразумевает человека, который ее произнес. Теперь следует обратить внимание на слово  «играть» . Обычно играют или в игру, или на музыкальном инструменте.

Скорее всего под словом «дурак» подразумевается какой-то термин. В музыке такой термин не встречается. Поэтому, остаются только игры. В карточного дурака без дураков играть невозможно. В такой игре как бильярд, шары классифицируются на «своего» и «чужого».

Если шар останавливается возле лузы так, что до него стоит «дотронуться» любым шаром, и он падает в лузу, то это называется «подставка». Если при ударе шар не намерено, а случайно попадает в лузу, то такой шар называется «дурак». В официальных правилах такие шары засчитываются. Но противники при дружеской игре или игре на интерес могут договориться между собой не засчитывать такие шары. Бывает и уговор не добивать «подставки». Ответ: бильярд.