onScrollで下に移動すると自動的にロードするプログラムをここを参考に書いていた
http://kernhack.hatenablog.com/entry/2013/10/25/211637

しかし、場合によってnotifyDataSetChangedやinvalidateViewsを呼んでも更新されないことがあるように気づいた。
AsyncTaskでonPostExecute内でnotifyDataSetChangedで呼んだ場合だけ更新されるようだ。
特に理由はわからないが、

AsyncTask<Void, Void, Void> task = new AsyncTask<Void, Void, Void>() {

@Override
protected Void doInBackground(Void… params) {
// TODO Auto-generated method stub
return null;
}
@Override
protected void onPostExecute(Void result) {
adapter.notifyDataSetChanged();
listView.invalidateViews();
}
};
task.execute();

これで正しく更新されるようになった。onScroll内で呼ぶとダメなのかもしれない