Вопрос: Может ли ИП вести предпринимательскую деятельность не по месту своей регистрации?

Да, может. 

Уплата налогов обычно осуществляется по месту регистрации ИП. Там же регистрируется и кассовый аппарат (пункт 15 Положения о регистрации ККТ).

Исключение составляют случаи, когда в другом регионе вы осуществляете деятельность, переведенную на ЕНВД. Тогда там надо становиться на учет в налоговом органе в качестве плательщика ЕНВД, предоставлять отчетность по месту осуществления деятельности (декларацию по ЕНВД) и уплачивать единый налог в бюджет этого субъекта. При наличии сотрудников в другом регионе, часть налогов с заработной платы будет уплачивать в бюджет этого региона, туда же должна будет представляться и соответствующая отчетность.

Это правило может применяться к НДФЛ, когда ИП выступает налоговым агентом - выплачивает зарплату наемным работникам, работающим в другом регионе, удерживает и перечисляет налог на доходы в бюджет при применении определенного режима налогообложения, например ЕНВД (Письмо Минфина РФ от 05.10.2010 N 03-04-05/3-590).