Так что я, пожалуй, откажусь.
Слово "пожалуй" выделяется на письме запятыми в том случае, когда можно употребить это предложение без этого слова. Хороший пример этому наше предложение: Так что я, пожалуй, откажусь. Если убрать слово "пожалуй", смысл предложения не изменится: Так что я откажусь.
Но очень часто слово "пожалуй" может являться формой глагола "пожаловать". В таких случая "пожалуй" запятыми не выделяется. Пример: Пожалуй к нам в гости. В данном примере "пожалуй" это не частица, а глагол, поэтому запятыми не выделяем.