Скорее всего горожане Деревни Фуоша и отчасти сам Гарп.

Во время арки ASL первая панель, которую мы видим, это Гарп, приводящий Луффи к Дадану. Вы видите здесь, что Гарп говорит

Это моя вина, что я оставил тебя в этой беззаботной деревне ветряных мельниц.

Очевидно, он говорил это, потому что встретил там Шанкса, но это также доказывает, что Луффи действительно жил там с горожанами.

В главе 1 One Piece рассказывается о том, как Луффи получил соломенную шляпу от Шанкса. Это произошло до того, как он встретил Эйса и был доставлен в Дадан. Основываясь на разговоре, мы можем сделать вывод, что Луффи жил с Макино или главой города и, таким образом, всегда был возле бара, когда приходил Шанкс.

Так что Луффи определенно жил в деревне вместе с горожанами. Всякий раз, когда появляются новости о Луффи, горожане также говорят о нем, как будто все его знают.

Мы также знаем, что Гарп часто тренировал Луффи. Во флешбэке в ASL мы редко видим там Гарпа, там он тренировался с Эйсом и Сабо. Так что вполне вероятно, что Гарп тренировал его, пока Луффи был в деревне Фуоша.

Итак, чтобы ответить на вопрос, он был воспитан Макино и горожанами и частично обучался Гарпом всякий раз, когда он находил время, чтобы навестить его.