Belekezdtem a régóta halogatott projectembe - a Cursor AI Code Editor segítségével

Kb. egy hete elkezdtem használgatni a Cursor-t, ami egy VSCode alapú, integrált AI-jal rendelkező IDE. Claude 3.5 Sonnet-et használok, az X felhasználók elsöprő többsége szerint jelenleg a legjobb LLM programozáshoz.

Ahhoz, hogy elkezdhessem végre a projectet, az első feladatok, amiket meg kellett oldani:

• az adat beszerzése
• értelmezése
• SQLite adatbázis schema létrehozása
• script írása az adatbázis feltöltésére
• build script létrehozása ezek kezelésére

Az adatot a wikimediáról linkelt kaikki.org-ról szereztem be (raw Wiktextract data (JSONL, one object per line)).

Ugyan, ez egy hatalmas file, de mivel egy JSON object - egy sor, így talán tesztelésre jobb, illetve egyszerűbb az AI számára is megérteni a struktúráját egy kis objectnek, mint a hatalmas egésznek.

Le kell szögeznem, hogy az eddig elvégzett munka során egy sor programkódot nem írtam. De még az elején vagyunk, szóval biztos lesz, ahol kézzel bele kell nyúlnom.

Szóval megkértem Claude-ot, hogy írjon egy script-et, ami a JSONL file tetszőleges sorát kiírja.

import json
import sys

def extract_line(file_path, line_number):
    try:
        with open(file_path, 'r') as file:
            # Skip to the desired line
            for _ in range(line_number - 1):
                file.readline()
            # Read the desired line
            line = file.readline().strip()
            
        # Parse the JSON line
        json_object = json.loads(line)
        
        # Print the parsed JSON object
        print(json.dumps(json_object, indent=2))
    except FileNotFoundError:
        print(f"Error: The file '{file_path}' was not found.")
    except json.JSONDecodeError:
        print(f"Error: The line {line_number} is not valid JSON.")
    except Exception as e:
        print(f"An error occurred: {str(e)}")

# Check if correct number of arguments are provided
if len(sys.argv) != 3:
    print("Usage: python script.py <file_path> <line_number>")
    sys.exit(1)

# Get file path and line number from command line arguments
file_path = sys.argv[1]
line_number = int(sys.argv[2])

extract_line(file_path, line_number)

Ezzel felvértezve, kiírattam pár sort a nagy JSONL file-ból, ezeket elmentettem.

~/wikidata on  main! ⌚ 15:07:29
$ python3 extract-jsonl.py raw-wiktextract-data.jsonl 100 >> 100.json

Manuálisan lekérdeztem 6 különböző sort, és ezeket a JSON file-okat feltöltöttem Claude-nak, mondván, hogy találja meg a kötelező és az opcionális mezőket.

> These files are from the same dataset. Identify the mandatory and optional fields

Analysis of JSON Fields in Dataset

Mandatory Fields

These fields appear in all provided JSON files:

1. senses: An array containing detailed information about word meanings
2. pos: Part of speech
3. head_templates: Contains information about the word's grammatical form
4. categories: List of categories the word belongs to
5. etymology_text: Text describing the word's etymology

   ...

 

Ezt a választ elmentettem a Claude Project Knowledge-be és megkértem Claude-ot, hogy ezt használva készítsen egy SQLite schemát.

> Based on the "Analysis of JSON Fields", create a SQLite schema to store the data found in the JSON file in the database

-- Main table for words
CREATE TABLE words (
    id INTEGER PRIMARY KEY,
    word TEXT NOT NULL,
    lang TEXT NOT NULL,
    lang_code TEXT NOT NULL,
    pos TEXT,
    etymology_text TEXT
);

-- Table for word forms
CREATE TABLE forms (
    id INTEGER PRIMARY KEY,
    word_id INTEGER,
    form TEXT NOT NULL,
    FOREIGN KEY (word_id) REFERENCES words (id)
);

-- Table for sounds (pronunciations)
CREATE TABLE sounds (
    id INTEGER PRIMARY KEY,
    word_id INTEGER,
    ipa TEXT,
    audio_file TEXT,
    FOREIGN KEY (word_id) REFERENCES words (id)
);

...

Ezek után megkértem, hogy készítsen egy Python scriptet, ami:

Based on the SQLite schema you've created, create a Python script that creates a SQLite database based on the schema. The schema is stored in another file, defined in the source code. The Python script then reads a JSONL file (where one line is one JSON object), and dumps the data into the database. Make the start and end line number indicator configurable

import json
import sqlite3
import argparse
from pathlib import Path

def create_database(db_path, schema_path):
    conn = sqlite3.connect(db_path)
    cursor = conn.cursor()

    with open(schema_path, 'r') as schema_file:
        schema_script = schema_file.read()
        cursor.executescript(schema_script)

    conn.commit()
    return conn, cursor

def insert_word(cursor, word_data):
    cursor.execute('''
        INSERT INTO words (word, lang, lang_code, pos, etymology_text)
        VALUES (?, ?, ?, ?, ?)
    ''', (
        word_data['word'],
        word_data['lang'],
        word_data['lang_code'],
        word_data.get('pos'),
        word_data.get('etymology_text')
    ))
    return cursor.lastrowid


...

---------------

Már csak a build script generálása van hátra, de azt kifejtem egy másik postban/kommentben.

Jelenleg, amikor fel akarom tölteni az adatbázist a build script segítségével (az működik rendesen), akkor ilyen error-t kapok:

Unexpected error on line 2: Error binding parameter 1 - probably unsupported type.
Unexpected error on line 3: 'list' object has no attribute 'get'
Unexpected error on line 4: 'list' object has no attribute 'get'
Unexpected error on line 5: Error binding parameter 1 - probably unsupported type.
Unexpected error on line 6: 'list' object has no attribute 'get'

Szóval nem tökéletes a megoldás. De jelenleg itt tartok, szóval megyek is megkérni Claude-ot, hogy debugolja már meg a kódot, amit generált :)