[PHP]Wyświetlanie kategorii z użyciem cache w Laravel - optymalizacja Opcje

[trifek]

Witajcie.
Mam zagwozdkę. Mam stronę wykorzystującą https://www.jstree.com oraz Laravel 7 z wykorzystaniem https://packagist.org/packages/kalnoy/nestedset

Mam tabelę z kategoriami (164574 rekordów) - która zajmuje około 22,3 MB (po zrzucie z phpmyadmin). Kategorie są praktycznie niezmienne.

Mój model i migracja wyglądają następująco:

[PHP] pobierz, plaintext 
class Category extends Model
{
    use ScopeActiveTrait;
    use NodeTrait;
    use HasSlug;
 
    /**
     * Get the options for generating the slug.
     */
    public function getSlugOptions() : SlugOptions
    {
        return SlugOptions::create()
            ->generateSlugsFrom('category_name')
            ->slugsShouldBeNoLongerThan(160)
            ->saveSlugsTo('slug');
    }
 
    protected $guarded = ['id'];
    protected $fillable = ['category_name', 'description', 'keywords', 'content', 'enable', 'photo', 'order', 'slug', '_lft', '_rgt', 'parent_id'];
    public $timestamps = false;
 
}
 
Schema::create('categories', function (Blueprint $table) {
            $table->bigIncrements('id');
            $table->string('category_name', 155);
            $table->string('description', 155)->nullable();
            $table->string('keywords', 155)->nullable();
            $table->longText('content')->nullable();
            $table->char('enable', 1)->default(0);
            $table->string('photo', 155)->nullable();
            $table->bigInteger('order')->default(0);
            $table->string('slug', 160)->nullable();
            NestedSet::columns($table);
            $table->engine = "InnoDB";
            $table->charset = 'utf8mb4';
            $table->collation = 'utf8mb4_unicode_ci';
        });
 
[PHP] pobierz, plaintext 

Założenie:
1. wyświetlić drzewko kategorii
2. zaznaczyć na drzewku wybrane kategorie


Do zapisu wybranych kategorii mam:

[PHP] pobierz, plaintext 
Schema::create('selected_product_categories', function (Blueprint $table) {
            $table->id();
            $table->bigInteger('product_id')->unsigned()->default(0);
            $table->foreign('product_id')->references('id')->on('products')->onDelete('cascade');
            $table->bigInteger('category_id')->unsigned()->default(0);
            $table->foreign('category_id')->references('id')->on('categories')->onDelete('cascade');
            $table->timestamps();
        });
 
class SelectedProductCategory extends Model
{
    protected $fillable = ['product_id', 'category_id'];
    protected $guarded = ['id'];
}
 
[PHP] pobierz, plaintext 

Mój kod do wyświetlania wygląda następująco:

[PHP] pobierz, plaintext 
<div id="ajax" class="ajax"></div>
<script>
        $(function () {
            $('#ajax').jstree({
                "checkbox": {
                    "keep_selected_style": false
                },
                "plugins": [
                    "checkbox",
                ],
                'core': {
                    'data': {
                        "url": "domain.com/products/categoryTree",
                        "dataType": "json"
                    }
                }
            }).on('changed.jstree', function (e, data) {
                var checked_ids = [];
                var selectedNodes = $('#ajax').jstree("get_selected", true);
                $.each(selectedNodes, function () {
                    checked_ids.push(this.id);
                });
                $('.categoryTree').val(checked_ids);
            });
        });
 
    </script>
 
 
 
public function categoryTree(Category $category, SelectedProductCategory $selectedProductCategory, Request $request)
    {
        $tree = Cache::remember('categories', 31536000, function () use ($category) {
            return $category->select(['id', 'category_name', 'parent_id', 'order', '_lft', '_rgt'])->active()->orderBy('order', 'ASC')->get();
        });
 
        $nodes = $this->generateJsTree($tree->toTree(), ($request->exists('id')) ? $selectedProductCategory->where('product_id', $request->input('id'))->orderBy('id', 'ASC')->get() : null);
        return $nodes;
 
    }
 
 
    private function generateJsTree($nodes, $selectedCategories): array
    {
        $categoryArray = array();
        $traverse = function ($categories, $prefix = '-') use (&$traverse, &$categoryArray, $selectedCategories) {
            foreach ($categories as $category) {
                $selected = false;
                if (!is_null($selectedCategories)) {
                    $selected = $selectedCategories->contains('category_id', $category->id) ? true : false;
                }
 
                $categoryArray[] = ['id' => $category->id, 'text' => $category->category_name, 'parent' => $category->parent_id  '#', 'state' => ['opened' => false, 'selected' => $selected]];
                $traverse($category->children, $prefix . '-');
            }
        };
        $traverse($nodes);
        return $categoryArray;
    }
[PHP] pobierz, plaintext 

Skrypt generuje mi plik z cache (~250MB) na serwerze, jednak drzewko wyświetla się baaaardzo wolno (po 3-5min).

W momencie gdy wkleję link z html do przeglądarki: domain.com/products/categoryTree to wygenerowanie danych zajmuje mu parę minut.

Co może być przyczyną takiego długiego wczytywania?
Co można lepiej zoptymalizować? Bardzo proszę o pomoc

[nospor]

Ponad 160tys kategorii i te je wszystkie naraz wyswietlasz uzytkownikowi.... Co mozna zoptymalizowac sie jeszcze pytasz? WYwal to. Nie generuje sie takiej ilosci danych na raz to chyba logiczne
Masz generowac pierwszy poziom kategorii a po kliknieciu w ktorys masz ajaxem leciec po podkategorie dla tego poziomu. Ale tez tylko z jednego poziomu nizej a nie ze wszystkich

[trifek]

Tak, ale w momencie gdy ktoś doda produkt do np. 15 różnych kategorii (mam 7 poziomów "w głąb"), to jak w edycji pokazać takie drzewko?Musi być wczytane całe i rozłożone żeby użytkownik mógł znaleść co dodał.... Chyba że masz jakiś inny pomysł?

Używam tego drzewka: https://www.jstree.com/docs/json/

[nospor]

Co to w ogole za kategorie ze moze ich byc 160tys?

- Samochod
--- Samochod z jednymi drzwiamu
------ Z jedna klamka
------ Z dwoma klamkami
--- Samochod z dwoma drzwiami
....
--- Samochod z 10 drzwiami


Moze poprostu przedobrzyles ze szczegolowoscia kategorii?
Nie mozesz pokazac wszystkich tylu kategorii i tyle w temacie. Albo wiec otwieraj to drzewko tylko dla wybranych kategorii zeby user widzial co wybral - to nadal nie bedzie 160tys albo kategorie wybrane wyswietlaj podspodem i tyle

[gino]

Tak, ale w momencie gdy ktoś doda produkt do np. 15 różnych kategorii...

pomijając już co napisał @nospor pozwalasz użytkownikowi na coś takiego? Czyli mogę wrzucić kosiarkę do kategorii dajmy na to noże i nożyczki jak i do pojazdy samochodowe i narzędzia piekarskie? Ładny kocioł w tym sklepie.

gino

[trifek]

Sklep motoryzacyjny.
Produkt - przykładowo płyn do chłodnic może być w Volksvagen Golf 1, 2, 3, 4, 5, 6, 7, 8 + Seat Leon 1, 2, 3..., Skoda Octavia 1, 2, 3 itp....
Założenie jest takie że 1 produkt może być w wielu miejscach

Co to w ogole za kategorie ze moze ich byc 160tys?

- Samochod
--- Samochod z jednymi drzwiamu
------ Z jedna klamka
------ Z dwoma klamkami
--- Samochod z dwoma drzwiami
....
--- Samochod z 10 drzwiami


Moze poprostu przedobrzyles ze szczegolowoscia kategorii?
Nie mozesz pokazac wszystkich tylu kategorii i tyle w temacie. Albo wiec otwieraj to drzewko tylko dla wybranych kategorii zeby user widzial co wybral - to nadal nie bedzie 160tys albo kategorie wybrane wyswietlaj podspodem i tyle

technicznie rzecz biorąc, to nie jest tak, że jak mam plik z cache to powinien być błyskawicznie przekazany do przeglądarki przez php?

Wydaje mi się że to wszystko "klęka" przez to:

[PHP] pobierz, plaintext 
private function generateJsTree($nodes, $selectedCategories): array
    {
        $categoryArray = array();
        $traverse = function ($categories, $prefix = '-') use (&$traverse, &$categoryArray, $selectedCategories) {
            foreach ($categories as $category) {
                $selected = false;
                if (!is_null($selectedCategories)) {
                    $selected = $selectedCategories->contains('category_id', $category->id) ? true : false;
                }
 
                $categoryArray[] = ['id' => $category->id, 'text' => $category->category_name, 'parent' => $category->parent_id  '#', 'state' => ['opened' => false, 'selected' => $selected]];
                $traverse($category->children, $prefix . '-');
            }
        };
        $traverse($nodes);
        return $categoryArray;
    }
 
[PHP] pobierz, plaintext 

Bez tego odznaczania działa to sporo szybciej