Elveszett BTX Telesoftware kódolás dekódolása

Up

Up.

Ezt találtam, ha segít: https://gtoal.com/acorn/files/Teletext/Teletext%20Telesoftware%20Transm…

A btx-server/mupidforth-ot sikerült dekódolnom (valamennyire).
A végeredmény Forth programnak néz ki, de nem próbáltam futtatni.

mupidforth "btx" file két részböl áll:

• képernyö
• adat

1, képernyö, kb:

FIG-Forth ported to he MUPID II by Norbert Kehrer in April 2014
WWW:   http://web.utanet.at/nkehrer
Email: norbert_kehrer@yahoo.de
Loading. Please wait

2, adat

2.1, header:
hex "1F 3C 40 40 40 21 1F 3C 48 44 40" (vagy hosszabb 4-8-12-16... bájttal)

2.2 adat stream

4x6 bit van 3x8 bit-be csomagolva. 
Egy btx bájt max 0..127, de a 0..63 mindig vezérlökódok a program streamben is. Tehát marad 64...127 minden btx bájtban.

Programkóddal leírva (Python):

            # Convert 4 bytes to four 6-bit values (Offset-64)
            v = [((c - 64) & 0x3F) for c in data[i:i+4]]
            # Pack 4x6 bits into 3x8 bits.
            decoded_bytes.append((v[0] << 2) | (v[1] >> 4))
            decoded_bytes.append(((v[1] & 0x0F) << 4) | (v[2] >> 2))
            decoded_bytes.append(((v[2] & 0x03) << 6) | v[3])

2.3 stream vége. hex "28 1A"

Teljes Python programlista:

def extract_mupid_forth(input_file):        
    binary_marker_txt = "1F 3C 40 40 40 21 1F 3C 48 44 40"
    binary_marker = bytes.fromhex(binary_marker_txt.replace(" ", ""))
    
    with open(input_file, 'rb') as f:
        content = f.read()
            
    text_data = content.split(binary_marker)[0]
    with open(f'mupidforth.output.1.txt', 'wb') as text_file:
        text_file.write(text_data)  
    
    # Check if the binary marker is present in the file
    if binary_marker in content:
        print("Binary marker found in the file.")
                
        binary_data_start = content.index(binary_marker)
        data = content[binary_data_start + len(binary_marker) :]

        # Ensure length is a multiple of 4 for the 4-for-3 decoding
        data = data[:len(data) - (len(data) % 4)]

        decoded_bytes = bytearray()

        for i in range(0, len(data), 4):
            # if next byte is not in the range of 64 to 127, then we have reached the end of the data, as the encoded data only uses characters in that range. We can stop decoding at this point.
            if any(c < 64 for c in data[i:i+4]):
                break   

            # Convert 4 bytes to four 6-bit values (Offset-64)
            v = [((c - 64) & 0x3F) for c in data[i:i+4]]

            # Pack 4x6 bits into 3x8 bits.
            decoded_bytes.append((v[0] << 2) | (v[1] >> 4))
            decoded_bytes.append(((v[1] & 0x0F) << 4) | (v[2] >> 2))
            decoded_bytes.append(((v[2] & 0x03) << 6) | v[3])

        with open(f'mupidforth.output.2.bin', 'wb') as out_file:
            out_file.write(decoded_bytes)
    else: 
        print("Binary marker NOT found in the file.")
        return
  
# Usage
extract_mupid_forth('mupidforth')

Rendkivül érdekes feladvány. 

Online semmit se találtam az 1f 3C részleteiröl, és mi lehet a mágikus 3 byte a headerben (vagy 7 byte). Csak azt hogy "Mupid-Teleprogramm-Format" de ezt már tudod.

Spekulációk:

• gyanítom a headerben a 0x40,0x40,0x40-et 0,0,0-nak kell értelmezni (vagyis -0x40 mindegyikböl)
• sejtés, de a load address és esetleg a start address lehet benne
• a load address vagy 16bit-es "finom" cím, vagy csak 1k/4k/8k/16k blokk indexe
• bár 128k memórája volt a mupid-nak, de lehet programot csak az egyik 64k-os részbe töltötte, a többi rendszer meg képernyö memória

A visszafejtett 3 példaprogramról:

• a "basic" program is assemblynek néz ki, talán egy basic interpreter? vannak benne basic kulcsszavak. 12k elég lehet egy egyszerübb basichez.
• a "80z" több külön kis darabból áll,  amiböl három az 0 byte. az egyik darab eleje teljesen értelemes z80 assembly, a többit nem néztem.

Itt a kis dekódoló progim v2 változata:

def decode_btx(input_file):        
    binary_marker_txt = "1F 3C"
    binary_marker = bytes.fromhex(binary_marker_txt.replace(" ", ""))

    
    segment_index = 0
    with open(input_file, 'rb') as f:
        content = f.read()
        while True:
            binary_data_start = content.find(binary_marker)
            if binary_data_start == -1:
                break

            segment_index += 1

            if segment_index > 100:
                print("Too many segments found, stopping to prevent infinite loop.")
                break

            binary_data_start += len(binary_marker)
            binary_data_end = next(
                (i for i in range(binary_data_start, len(content)) if content[i] < 0x40),
                len(content)
            )

            data=content[binary_data_start:binary_data_end]
            content = content[binary_data_end:]

            # skip first 3 bytes of byte in data variableci
            bin_header_bytes = data[:3] 
            data = data[3:] 

            # Ensure length is a multiple of 4 for the 4-for-3 decoding
            data = data[:len(data) - (len(data) % 4)]

            decoded_bytes = bytearray()

            for i in range(0, len(data), 4):                
                if any(c < 64 for c in data[i:i+4]):
                    break   

                # Convert 4 bytes to four 6-bit values (Offset-64)
                v = [((c - 64) & 0x3F) for c in data[i:i+4]]

                # Pack 4x6 bits into 3x8 bits.
                decoded_bytes.append((v[0] << 2) | (v[1] >> 4))
                decoded_bytes.append(((v[1] & 0x0F) << 4) | (v[2] >> 2))
                decoded_bytes.append(((v[2] & 0x03) << 6) | v[3])

            out_file_name = f'{input_file}.out.{segment_index}.bin'
            bin_header_bytes_as_hex_str = ' '.join(f'{b:02X}' for b in bin_header_bytes)
            print(f"Writing decoded segment to {out_file_name} with header bytes: {bin_header_bytes_as_hex_str}")
            with open(out_file_name, 'wb') as out_file:
                out_file.write(decoded_bytes)
    
  
# Usage
decode_btx('mupidforth')
decode_btx('btx-basic.btx')
decode_btx('80z.btx')